分布式存储后端的各存储节点互联是否一定要用万兆网? 数据在各节点传输,是否有传输压缩技术,毕竟存储盘都是SSD了,IO瓶颈小,压力全在数据传输环节了。
分布式存储各节点使用万兆网络互联是必须的,因为这样才能充分发挥出 SSD 的性能,让集群提供较高的吞吐。我们可以通过一个简单的计算来得出结论:
以 Intel® SSD DC S4610 SSD 为例,其读写带宽分别是 560 MB/s 和 510 MB/s。如果采用千兆网络,其可用网络带宽 1Gb = 0.125 GB 即 125 MB,因此使用一块 SSD 即可占满带宽,此时集群所提供的吞吐是远远不够的。
实际上,目前 NVMe SSD 性价比已经基本超越 SATA SSD,下面是一个基本的对比:
以 Intel® SSD DC P4610 为例, 其读写带宽分别是 3200 MB/s 和 2080 MB/s 的,因此万兆网络也已经无法充分发挥其性能,需要与 25 GbE 甚至 40 GbE 网络配合使用。
个人认为万兆是必须的,当你分布式规模大了后,无论是新加节点后的数据自动平衡,还是内部数据交换,都应在万兆网络。
如EMC Isilon ,后端为40Ge,华为OceanStor 9000,后端可选万兆、40Ge、IB等。
数据在各个节点之间传输是有压缩机制的,
再说一个分布式存储的后端磁盘也并非全必须是SSD,没有这个要求,如果全是SSD,纯属是烧钱,分布式存储就是利用廉价服务器的磁盘来做存储;
分布式存储节点之间采用千兆或是万兆,这个和你的业务属性和数据量有关系,当然是万兆网络性能好,但是并不是所有场景都需要万兆
看你分布式存储的业务用途 如果用在vm 的根盘,必须上 万兆网 了
不如千兆速度不能满足业务要求
看业务需求