Amazon EC2でHadoopが簡単に利用できる「Amazon Elastic MapReduce」が登場

by Matt McGee


大規模分散処理用フレームワークの「Hadoop」が、Amazon EC2で簡単に利用できるようにサービス化されたようだ。

その名も「Amazon Elastic MapReduce


Hadoop」は、Googleの基盤(MapReduce)を参考に作られたクローンであり、オープンソースソフトウェアです。大量のデータ処理を分散処理するためのプラットフォームなので、Hadoopの仕組みにのっとって機能を実装さえすれば、自動で分散処理が行えるというもの。


https://farm4.static.flickr.com/3322/3406503861_f8afa9eb4f_o.png

https://farm4.static.flickr.com/3397/3406503905_1fc5066648_o.png

みたところ、APIを使った、コマンドラインツールや、GUIの"AWS Management Console"から、簡単に利用できるみたいで、Amazon S3上に配置したデータを使って、APIやGUIから、MapReduce操作(Job操作)が可能、かつモニタリングもできるみたいです。
Amazon S3がHDFS(Hadoop Distributed File System)となるわけですね。


https://farm4.static.flickr.com/3607/3406503963_c83ca9ba3e_o.png

料金は、Amazon EC2やAmazon S3の利用料に加えて、1インスタンスあたりに$0.015/hour〜が追加で必要になる、といったところですね。


ちなみに、利用の流れとしては、以下のデモムービーが参考になります!
http://s3.amazonaws.com/awsVideos/AmazonElasticMapReduce/AmazonElasticMapReduce.html


いよいよ、大規模データ処理を雲の向こう側で、といったクラウドコンピューティングをフル活用できる基盤が整ってきましたね。いよいよエンタープライズでも使いやすい、というか可能性が1つ開かれた感を受けています。
こういった動きは、これからも注目ですね。


また、近日中に触ってみて、改めて使い方を紹介したいと思います。

まとめ

クラウドAMAZON EC2/S3のすべて (ITpro BOOKs)

クラウドAMAZON EC2/S3のすべて (ITpro BOOKs)

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)