如何通过组合方式来适应实际需求并应用到具体场景中?

大数据平台建设中,Hadoop体系所包含的生态系统,如:Hbase,Hive,snoop,pig,spark等子系统,如何根据各自的特性,通过组合方式来适应实际需求并应用到具体场景中?可以举例说明 显示全部
大数据平台建设中,Hadoop体系所包含的生态系统,如:Hbase,Hive,snoop,pig,spark等子系统,如何根据各自的特性,通过组合方式来适应实际需求并应用到具体场景中?可以举例说明 收起
参与20

查看其它 6 个回答michaelhugang的回答

michaelhugangmichaelhugang产品总监星环科技
hadoop是一个ECOSYSTEM。HBASE是用来做随机查询的实时在线高并发的数据库,一般针对最终用户,比如联通用户查自己的上网记录,可以客户端,包括IOS,ANDROID来查,10010来查,电话投诉客服查询;HIVE是用来出统计报表,更强调顺序读写,离线批处理计算,要求吞吐,但不要求高并发。SQOOP是导入导出工具,传统关系数据库和HADOOP之间的桥梁。SPARK是计算引擎,正在替换MAPREDUCE。Hive over HDFS的性能比Hive over HBase的好,随着数据量的增大和计算的复杂,两者的差距也越来越大。
软件开发 · 2015-07-03
浏览2548

回答者

michaelhugang
产品总监星环科技
擅长领域: 大数据服务器大数据平台

michaelhugang 最近回答过的问题

回答状态

  • 发布时间:2015-07-03
  • 关注会员:2 人
  • 回答浏览:2548
  • X社区推广