当数据量达到TB级以上,如何避免平台架构出现性能瓶颈?
TB级别的数据量,在系统层面需要考虑到三个方面
1. CPU和内存:特别要考虑cpu能力强,内存带宽大的系统
2. IO能力:无论是MR或者Spark,都会都大量的数据写入磁盘,所以IO往往会成为瓶颈,所以尽量多配置硬盘,有条件的可以配置SSD
3. 网络架构:1TB的数据量往往有多个进程或者多个节点,节点间的数据交换和通讯非常占用资源,建议使用万兆交换机或者infiniband系统
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30