大数据底层平台对硬件的要求有哪些?

参与12

4同行回答

rein07rein07  系统架构师 , 某证券
1、在企业内部,最好保证集群中所有机器的配置保持一直,否则容易出现一台机器运行较慢,从而拖慢整体任务运行速度的情况。2、大数据平台对网络要求较高,在几十台机器的集群下,如果采用千兆网络,极其容易出现某一个大任务把带宽占满的情况。3、平台对CPU、硬盘的需求相对网络要低...显示全部

1、在企业内部,最好保证集群中所有机器的配置保持一直,否则容易出现一台机器运行较慢,从而拖慢整体任务运行速度的情况。
2、大数据平台对网络要求较高,在几十台机器的集群下,如果采用千兆网络,极其容易出现某一个大任务把带宽占满的情况。
3、平台对CPU、硬盘的需求相对网络要低点,但也不能太低,否则IO上不来,任务也会被拖慢。
4、平台对内存的要求高,尤其在一个平台内搭建Impala、Spark、MR、Hive、HBase等组件共享资源的情况下,更应该配备高内存。

收起
证券 · 2018-12-27
浏览3169
michael1983michael1983  技术总监 , 某证券
支持楼上,X86分布式部署即可。尤其注意系统IO性能,可配置SSD。显示全部

支持楼上,X86分布式部署即可。
尤其注意系统IO性能,可配置SSD。

收起
证券 · 2018-12-24
浏览3001
sxtycxxsxtycxx  解决方案经理 , 人工智能(计算机视觉)
Hadoop现在已经是大数据的事实标准,而 Hadoop的出现就是运行在廉价商用服务器上,以集群之力,分而治之地解决先前传统数据库、传统存储、传统计算模型束手无策的问题,让大规模数据的处理成为了可能 对于硬件没有太高的要求,普通的PC服务器即可,但是为了高更的性能,服务器内可以增...显示全部

Hadoop现在已经是大数据的事实标准,而 Hadoop的出现就是运行在廉价商用服务器上,以集群之力,分而治之地解决先前传统数据库、传统存储、传统计算模型束手无策的问题,让大规模数据的处理成为了可能
对于硬件没有太高的要求,普通的PC服务器即可,但是为了高更的性能,服务器内可以增加SSD固态硬盘或是内容等资源

收起
互联网服务 · 2018-12-28
浏览2966
wuwenpinwuwenpin  软件开发工程师 , 南京
大吞吐量、大容量,高带宽显示全部

大吞吐量、大容量,高带宽

收起
互联网服务 · 2018-12-24
浏览2999

提问者

yeliye
数据库管理员某农信
擅长领域: 数据库大数据服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-24
  • 关注会员:5 人
  • 问题浏览:4831
  • 最近回答:2018-12-28
  • X社区推广