分布式存储后端的各存储节点互联是否一定要用万兆网?

分布式存储各节点使用万兆网络互联是必须的，因为这样才能充分发挥出 SSD 的性能，让集群提供较高的吞吐。我们可以通过一个简单的计算来得出结论：
以 Intel® SSD DC S4610 SSD 为例，其读写带宽分别是 560 MB/s 和 510 MB/s。如果采用千兆网络，其可用网络带宽 1Gb = 0.125 GB 即 125 MB，因此使用一块 SSD 即可占满带宽，此时集群所提供的吞吐是远远不够的。
实际上，目前 NVMe SSD 性价比已经基本超越 SATA SSD，下面是一个基本的对比：

以 Intel® SSD DC P4610 为例， 其读写带宽分别是 3200 MB/s 和 2080 MB/s 的，因此万兆网络也已经无法充分发挥其性能，需要与 25 GbE 甚至 40 GbE 网络配合使用。

看你分布式存储的业务用途 如果用在vm 的根盘,必须上 万兆网 了
不如千兆速度不能满足业务要求
看业务需求

个人认为万兆是必须的，当你分布式规模大了后，无论是新加节点后的数据自动平衡，还是内部数据交换，都应在万兆网络。
如EMC Isilon ，后端为40Ge，华为OceanStor 9000，后端可选万兆、40Ge、IB等。