Amazon EC2でHadoopが簡単に利用できる「Amazon Elastic MapReduce」が登場

大規模分散処理用フレームワークの「Hadoop」が、Amazon EC2で簡単に利用できるようにサービス化されたようだ。

その名も「Amazon Elastic MapReduce」

• Amazon EMR - Amazon Web Services

「Hadoop」は、Googleの基盤(MapReduce)を参考に作られたクローンであり、オープンソースソフトウェアです。大量のデータ処理を分散処理するためのプラットフォームなので、Hadoopの仕組みにのっとって機能を実装さえすれば、自動で分散処理が行えるというもの。

みたところ、APIを使った、コマンドラインツールや、GUIの"AWS Management Console"から、簡単に利用できるみたいで、Amazon S3上に配置したデータを使って、APIやGUIから、MapReduce操作(Job操作)が可能、かつモニタリングもできるみたいです。
Amazon S3がHDFS(Hadoop Distributed File System)となるわけですね。

料金は、Amazon EC2やAmazon S3の利用料に加えて、1インスタンスあたりに$0.015/hour〜が追加で必要になる、といったところですね。

ちなみに、利用の流れとしては、以下のデモムービーが参考になります！
http://s3.amazonaws.com/awsVideos/AmazonElasticMapReduce/AmazonElasticMapReduce.html

いよいよ、大規模データ処理を雲の向こう側で、といったクラウドコンピューティングをフル活用できる基盤が整ってきましたね。いよいよエンタープライズでも使いやすい、というか可能性が1つ開かれた感を受けています。
こういった動きは、これからも注目ですね。

また、近日中に触ってみて、改めて使い方を紹介したいと思います。

参考

• Amazon EMR - Amazon Web Services
• Announcing Amazon Elastic MapReduce | AWS News Blog
• アマゾン、ウィザードだけで使えるHadoopサービス開始 − ＠IT

---

まとめ

• Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次)

クラウドAMAZON EC2/S3のすべて (ITpro BOOKs)

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)