Apache Hadoop

维基百科，自由的百科全书


Hadoop是Apache軟件基金會所研發的開放源碼並行運算編程工具和分散式檔案系統，與MapReduce和Google檔案系統的概念類似。

目录   [隐藏]  1 主要子项目 2 相關项目 3 知名用戶 3.1 Hadoop在Yahoo!的應用 3.2 其他用戶 4 Hadoop與Sun Grid Engine 5 Hadoop與Condor 6 參見 7 註釋 8 外部連結

[编辑]主要子项目

• Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
• HDFS: Hadoop 分佈式文件系統 (Distributed File System) － HDFS (Hadoop Distributed File System)
• MapReduce：并行计算框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API

[编辑]相關项目

• HBase: 类似Google BigTable的分布式NoSQL列数据库。
• Hive：数据仓库工具，由Facebook贡献。
• Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
• Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。

[编辑]知名用戶

[编辑]Hadoop在Yahoo!的應用

2008年2月19日，Yahoo!使用10,000個微處理器核心的Linux计算机集群運行一個Hadoop應用程式。^[1]

[编辑]其他用戶

其他知名用戶包括：^[2]

• A9.com
• Facebook
• Fox Interactive Media
• IBM
• ImageShack
• 資訊科學研究院
• Joost
• Last.fm
• Powerset
• 紐約時報
• Rackspace
• Veoh
• 中華電信

[编辑]Hadoop與Sun Grid Engine

昇陽電腦的Sun Grid Engine可以用来调度Hadoop Job。^[3][4]

[编辑]Hadoop與Condor

威斯康辛大學麥迪遜分校的Condor計算機集群軟件也可以用作Hadoop Job的排程。^[5]

[编辑]參見

• 雲端運算‎
• OpenStack － 以Apache許可證授權的雲端運算‎軟件

[编辑]註釋

1. ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!)
2. ^ PoweredBy
3. ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16.
4. ^ HDFS-Aware Scheduling With Grid Engine. Sun Microsystems. 2009-09-10.
5. ^ Condor integrated with Hadoop's Map Reduce. 威斯康辛大學麥迪遜分校. 2010-04-15.

[编辑]外部連結

• Hadoop官方網站
• Hadoop In China 网站
• Hadoop中文网站
• Hadoop社区
• Hadoop论坛
• Hadoop Taiwan User Group