Apache Hadoop
目录[隐藏] |
[编辑]主要子项目
- Hadoop Common: 在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common
- HDFS: Hadoop 分佈式文件系統 (Distributed File System) - HDFS (Hadoop Distributed File System)
- MapReduce:并行计算框架,0.20前使用 org.apache.hadoop.mapred 旧接口,0.20版本开始引入org.apache.hadoop.mapreduce的新API
[编辑]相關项目
- HBase: 类似Google BigTable的分布式NoSQL列数据库。
- Hive:数据仓库工具,由Facebook贡献。
- Zookeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。
- Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。
[编辑]知名用戶
[编辑]Hadoop在Yahoo!的應用
[编辑]其他用戶
其他知名用戶包括:[2]
[编辑]Hadoop與Sun Grid Engine
[编辑]Hadoop與Condor
[编辑]參見
[编辑]註釋
- ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!)
- ^ PoweredBy
- ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16.
- ^ HDFS-Aware Scheduling With Grid Engine. Sun Microsystems. 2009-09-10.
- ^ Condor integrated with Hadoop's Map Reduce. 威斯康辛大學麥迪遜分校. 2010-04-15.