2011年终盘点：技术开发领域热点回顾与展望(4)

　　开源技术领域发展现状和热点回顾

　　电影“非诚勿扰II”中，葛优的一句经典台词是，“谁会永远打保票啊”。的确，创新是无限的，一切都是变化的。尽管我们不能承诺未来，但是我们可以预见未来。在以云计算为核心的未来，数据会因谁而改变呢?今日，Hadoop等开源软件之父、Apache软件基金会主席Doug Cutting表示，未来十年数据处理将因Hadoop而改变。那么Hadoop究竟是昙花一现呢，还是Hadoop之父真的预见未来了呢?我们将为您盘点您所不知道的Hadoop背后故事。

　　1、Hadoop 领跑大数据掌舵大数据处理模式

　　要说2011年最热的IT词汇之一，Hadoop恐怕要算在其中吧。近日，在由中科院计算所主办的Hadoop中国2011云计算大会上，Hadoop等开源软件之父、Apache软件基金会主席Doug Cutting表示，未来十年数据处理模式将因Hadoop而改变。

　　微软近日宣布开发一个兼容Windows Server与Windows Azure平台的Hadoop开源版本。IBM宣布在Hadoop上建立新的存储架构，作为群集运行DB2或Oracle数据库，目的是让应用程序，支持高性能分析，数据仓库应用程序和云计算的目的。EMC也推出了世界上第一个定制的、高性能的Hadoop专用数据协同处理设备Greenplum HD数据计算设备，为客户提供了最强大、最高效率的方法，充分挖掘大数据的价值。互联网搜索巨头百度也在考虑使用Hadoop。不过，出于性能与安全的考虑，百度在采用Hadoop架构的时候，将Hadoop计算层进行了重新编写。在2011Openworld大会上，甲骨文宣布发布了Big Data 机，它采用了NoSQL数据库和Hadoop框架，并且成功的将其商业化，用于大数据分析。

　　Apache Hadoop是一个分布式计算相关的开源项目。Hadoop起源于另一个网络搜索引擎相关的开源项目Apache Nutch，后者是Lucene项目的一部分。作为Apache Hadoop以及Lucene项目的创始人，Doug Cutting 这样解释Hadoop名字的起源：“这个名字是我孩子给一头吃饱的棕黄色大象命名的。我的命名标准就是简单，容易发音与拼写，名字没有太多的含义，并且不会用于别处。小孩子是这方面的高手，Google就是由小孩命名的。”

　　作为一个分布式计算基础架构，Hadoop项目拥有众多子项目，其技术栈如下：

　　Core(Common): 2009年7月更名为Hadoop Common。除MapReduce与HDFS之外的公用内容。

　　Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。2010年5月脱离Hadoop，更名为Apache Avro。

　　MapReduce：并行计算框架，由Google贡献。

　　HDFS (Hadoop Distributed File System)：Hadoop分布式文件系统。

　　ZooKeeper：分布式Lock同步机制，由Facebook贡献。2011年1月脱离Hadoop, 更名为Apache ZooKeeper。

　　Pig: 简化Hadoop编程。2011年9月，Pig脱离Hadoop，更名为Apache Pig。

　　Chukwa：基于Hadoop的大规模集群监控系统，可用于分析和收集系统中的数据(日志)，由Yahoo贡献。

　　Hive：数据仓库工具，由Facebook贡献。

　　HBase：类似Google BigTable的分布式NoSQL列数据库。2010年脱离Hadoop，更名为Apache Hbase。

　　2、Hadoop七年发展历程：开源趋势越演越烈

　　下面，我们不妨梳理一下Hadoop最近7年的发展里程：

　　1、2004年，Google发表了论文，向全世界介绍其核心搜素算法MapReduce。

　　2、2005年，作为Apache Lucene的子项目，Apache Nutch开发出了第一个成熟的MapReduce应用，用于网络搜索领域。

　　3、2006年，Apache Nutch从Apache Lucene中独立出来，更名为Hadoop。同年，Apache Hadoop创始人Doug Cutting加盟雅虎，继续致力于Hadoop的发展。

　　4、2008年， Hadoop羽翼丰满，雅虎开始大规模建设Hadoop集群，部署Yahoo搜索引擎。同年，Hadoop打破世界记录，成为最快排序1TB数据的系统，用时209秒。

　　5、2009年，Hadoop将这一数据缩小到62秒。

　　6、2010年，IBM宣布其第一款Hadoop 大数据分析软件InfoSphere BigInsights。

　　7、2011年，Hadoop中国云计算大会在北京召开，大会邀请了Doug Cutting发表主题演讲。

　　俗话说，年年岁岁花相似，岁岁年年人不同。说到底，技术的发展离不开人类的进步。2012不是世界末日，创新永无止境。甲骨文以及相关专家会继续推动Java的发展，Eclipse这把利器也会继续扮演“工欲善其事必先利其器”的角色。.NET Framework的脚步不会停止，Windows Azure的筋斗云会越翻越高。HTML 5是Web的未来，Hadoop是数据的未来。那么未来的未来，会是什么样子的呢?让我们一起期待。