Hadoop

Hadoopの最新ニュースをまとめて検索！

この「Hadoop」はFLOSSに関連した書きかけ項目です。この記事を加筆して下さる協力者を求めています（Portal:FLOSS）。

Apache HadoopはフリーのJavaソフトウェアフレームワークであり、大規模データの分散アプリケーションをサポートする。^[1]Hadoopはアプリケーションが数千ノードおよびペタバイトクラスのデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。

HadoopはトップレベルのApacheプロジェクトであり、世界中の開発者からなるコミュニティにより開発、使用されている。^[2]

[編集] アーキテクチャ

[編集] Hadoop分散ファイルシステム

[編集] ジョブトラッカとタスクトラッカ: map/reduceエンジン

[編集] 他のアプリケーション

[編集] 主要なユーザ

[編集] Yahoo!におけるHadoop

[編集] 他のユーザ

Yahoo! 以外にも様々な組織がHadoopを使って大規模分散システムを構築している。以下に例を挙げる:^[3]

• A9.com
• Facebook
• Fox Interactive Media
• IBM
• ImageShack
• ISI
• Joost
• Last.fm
• Powerset
• ニューヨーク・タイムズ
• Rackspace
• Veoh
• Metaweb

[編集] Amazon EC2/S3サービスにおけるHadoop

[編集] Sun Grid EngineにおけるHadoop

HadoopにおけるSun Grid Engine — および於分散コンピューティング/コンピュータ・クラスター環境におけるジョブ管理システム。^[4]

[編集] 参考文献

• 日経BP出版局著 「クラウド大全 サービス詳細から基盤技術まで」2009年 ISBN10 4822283887

[編集] 脚注

1. ^ "Hadoop is a framework for running applications on large clusters of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named map/reduce, where the application is divided into many small fragments of work, each of which may be executed or reexecuted on any node in the cluster. In addition, it provides a distributed file system that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both map/reduce and the distributed file system are designed so that node failures are automatically handled by the framework." Hadoop Overview
2. ^ Hadoop Users List
3. ^ PoweredBy
4. ^ HDFS-Aware Scheduling With Grid Engine

[編集] 関連事項

• Nutch
• HBase
• Aster Data Systems
• クラウド・コンピューティング

[編集] 外部リンク