互联网服务系统运维Hadoop

HADOOP比JOB更消耗资源,怎样的建构使物理资源得到充分的发挥?

用户的话单大小为100KB左右每天大约有上亿条待处理,使用HADOOP处理明显要比1G左右的JOB更消耗资源,怎样的建构使物理资源得到充分的发挥,又有效的做到数据的稽核比对?显示全部

用户的话单大小为100KB左右每天大约有上亿条待处理,使用HADOOP处理明显要比1G左右的JOB更消耗资源,怎样的建构使物理资源得到充分的发挥,又有效的做到数据的稽核比对?

收起
参与10

查看其它 2 个回答zv8912000的回答

zv8912000zv8912000系统架构师电信行业

个人HADOOP作为开源项目持续的发展中国,目前来说基本完成了hive到spark升级,job任务还是选择spark还是选择其他组件,会随着时间发展不断变化。 spark大致为hive15倍以上,有SQL还是NOSQL,不一定发展成什么样。

电信运营商 · 2015-11-06
浏览1976

回答者

zv8912000
系统架构师电信行业
擅长领域: 服务器云计算分布式系统

zv8912000 最近回答过的问题

回答状态

  • 发布时间:2015-11-06
  • 关注会员:4 人
  • 回答浏览:1976
  • X社区推广