当数据量达到TB级以上,如何避免平台架构出现性能瓶颈?

当数据量达到TB级以上,如何避免平台架构出现性能瓶颈?显示全部

当数据量达到TB级以上,如何避免平台架构出现性能瓶颈?

收起
参与9

查看其它 2 个回答loveryue的回答

loveryueloveryue  软件开发工程师 , IBM

TB级别的数据量,在系统层面需要考虑到三个方面

1. CPU和内存:特别要考虑cpu能力强,内存带宽大的系统

2. IO能力:无论是MR或者Spark,都会都大量的数据写入磁盘,所以IO往往会成为瓶颈,所以尽量多配置硬盘,有条件的可以配置SSD

3. 网络架构:1TB的数据量往往有多个进程或者多个节点,节点间的数据交换和通讯非常占用资源,建议使用万兆交换机或者infiniband系统

互联网服务 · 2016-06-02
浏览2683

回答者

loveryue
软件开发工程师IBM
擅长领域: 服务器数据库大数据

loveryue 最近回答过的问题

回答状态

  • 发布时间:2016-06-02
  • 关注会员:4 人
  • 回答浏览:2683
  • X社区推广