工业制造其它etl系统运维etl瓶颈

制约etl的瓶颈是什么?CPU 内存 IO还是网络?

制约etl的瓶颈是什么?CPU 内存 IO还是网络?如何从IT架构方面去避免可能存在的瓶颈?

参与14

3同行回答

尘世随缘尘世随缘技术总监上海某互联网金融公司
个人观点:网络假如我们使用hadoop来做ETL处理,一个数据块对应了一个Map,CPU绝对是没有问题的,因为可以分布式来计算,关键点还是网络。显示全部

个人观点:网络

假如我们使用hadoop来做ETL处理,一个数据块对应了一个Map,CPU绝对是没有问题的,因为可以分布式来计算,关键点还是网络。

收起
互联网服务 · 2015-10-15
浏览1751
xuyanhuixuyanhui信息分析/架构师58同城大数据
前面两位都总结的很好,其实涉及到大数据环境下的分部署并行运算,那最重要的问题在于后端的数据汇总部分,也就是我们常说的MR中的shuffle部分,大量的中间结果通过网络IO进行数据的迁移,带来的网络资源占用严重,无轮从计算本身也好还是逻辑也好,都需要进行优化与分析。...显示全部

前面两位都总结的很好,其实涉及到大数据环境下的分部署并行运算,那最重要的问题在于后端的数据汇总部分,也就是我们常说的MR中的shuffle部分,大量的中间结果通过网络IO进行数据的迁移,带来的网络资源占用严重,无轮从计算本身也好还是逻辑也好,都需要进行优化与分析。

收起
互联网服务 · 2015-10-15
浏览1746
sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)
网络是关键,ETL系统架构和功能也会影响显示全部

网络是关键,ETL系统架构和功能也会影响

收起
互联网服务 · 2015-10-15
浏览1690

提问者

a156580801
IT顾问盒子支付
擅长领域: 服务器AIXUnix

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-10-15
  • 关注会员:5 人
  • 问题浏览:5734
  • 最近回答:2015-10-15
  • X社区推广