金融其它Hadoop

元芳,Hadoop能完全替代传统的数据存储和处理吗? (送书)

Hadoop 是由Apache开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File  System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部...显示全部
Hadoop 是由Apache开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File  System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。Hadoop 以并行的方式工作,通过并行处理加快处理速度;还具有伸缩性,能够处理PB级数据。此外,Hadoop  依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

欢迎大家就以下任一问题展开讨论:
    1、Hadoop能否完全替代传统的数据存储和处理?
    2、企业Hadoop能否真的降低企业数据处理的成本?
    3、大家认为Hadoop是处理大数据,那么它需要多大的数据量?什么级别的企业和数据量需要部署Hadoop呢?

活动时间:2012年11月6号-11月16号
活动奖励:
    1:讨论结束后选出五位讨论最积极的会员赠送  200  米
    2:选出一位讨论最认真的会员赠送书籍《DB2深度解析-高级DBA和开发者篇》一本



此次奖讨论的获奖名单已经出来了:
讨论最积极的会员:
ljbupc
weiruan85
WUJJ0828
yuan23

每人获得奖励200大米。

讨论最认真的会员:
dou5205517
获得《DB2深度解析-高级DBA和开发者篇》一本

PS:
1:请dou5205517将尽快完善您的个人信息,以方便我们为你快递奖品

2:后续大家也可以在里面进行互动,继续加分哦。
收起
参与45

查看其它 44 个回答WUJJ0828的回答

WUJJ0828WUJJ0828系统架构师华际信息系统有限公司
网上找的Hadoop的发展历程

2cffe5f968d6d1bf.jpg



  1. 这一切是如何开始的—Web上庞大的数据!

  2. 使用Nutch抓取Web数据

  3. 要保存Web上庞大的数据——HDFS应运而生

  4. 如何使用这些庞大的数据?

  5. 采用Java或任何的流/管道语言构建MapReduce框架用于编码并进行分析

  6. 如何获取Web日志,点击流,Apache日志,服务器日志等非结构化数据——fuse,webdav, chukwa, flume, Scribe

  7. Hiho和sqoop将数据加载到HDFS中,关系型数据库也能够加入到Hadoop队伍中

  8. MapReduce编程需要的高级接口——Pig, Hive, Jaql

  9. 具有先进的UI报表功能的BI工具- Intellicus

  10. Map-Reduce处理过程使用的工作流工具及高级语言

  11. 监控、管理hadoop,运行jobs/hive,查看HDFS的高级视图—Hue, karmasphere, eclipse plugin, cacti, ganglia

  12. 支持框架—Avro (进行序列化), Zookeeper (用于协同)

  13. 更多高级接口——Mahout, Elastic map Reduce

  14. 同样可以进行OLTP——Hbase
互联网服务 · 2012-11-14
浏览614

回答者

WUJJ0828
系统架构师华际信息系统有限公司
擅长领域: 数据库服务器AIX

WUJJ0828 最近回答过的问题

回答状态

  • 发布时间:2012-11-14
  • 关注会员:0 人
  • 回答浏览:614
  • X社区推广