分布式存储后端的各存储节点互联是否一定要用万兆网?

分布式存储后端的各存储节点互联是否一定要用万兆网? 数据在各节点传输,是否有传输压缩技术,毕竟存储盘都是SSD了,IO瓶颈小,压力全在数据传输环节了。

5回答

吴桦吴桦  产品经理 , SmartX超融合
lvaixjiangliangliangAnjin等赞同了此回答
分布式存储各节点使用万兆网络互联是必须的,因为这样才能充分发挥出 SSD 的性能,让集群提供较高的吞吐。我们可以通过一个简单的计算来得出结论:以 Intel® SSD DC S4610 SSD 为例,其读写带宽分别是 560 MB/s 和 510 MB/s。如果采用千兆网络,其可用网络带宽 1Gb = 0.125 GB 即...显示全部

分布式存储各节点使用万兆网络互联是必须的,因为这样才能充分发挥出 SSD 的性能,让集群提供较高的吞吐。我们可以通过一个简单的计算来得出结论:
以 Intel® SSD DC S4610 SSD 为例,其读写带宽分别是 560 MB/s 和 510 MB/s。如果采用千兆网络,其可用网络带宽 1Gb = 0.125 GB 即 125 MB,因此使用一块 SSD 即可占满带宽,此时集群所提供的吞吐是远远不够的。
实际上,目前 NVMe SSD 性价比已经基本超越 SATA SSD,下面是一个基本的对比:

以 Intel® SSD DC P4610 为例, 其读写带宽分别是 3200 MB/s 和 2080 MB/s 的,因此万兆网络也已经无法充分发挥其性能,需要与 25 GbE 甚至 40 GbE 网络配合使用。

收起
 2019-07-24
浏览502
asdf-asdfasdf-asdf  研究学者 , cloudstone
vanmichael1983yinxin赞同了此回答
看你分布式存储的业务用途 如果用在vm 的根盘,必须上 万兆网 了不如千兆速度不能满足业务要求看业务需求显示全部

看你分布式存储的业务用途 如果用在vm 的根盘,必须上 万兆网 了
不如千兆速度不能满足业务要求
看业务需求

收起
 2019-04-26
浏览682
michael1983 邀答
zealotddvzealotddv  售前技术支持 , 四川久远银海
lvaix赞同了此回答
个人认为万兆是必须的,当你分布式规模大了后,无论是新加节点后的数据自动平衡,还是内部数据交换,都应在万兆网络。如EMC Isilon ,后端为40Ge,华为OceanStor 9000,后端可选万兆、40Ge、IB等。...显示全部

个人认为万兆是必须的,当你分布式规模大了后,无论是新加节点后的数据自动平衡,还是内部数据交换,都应在万兆网络。
如EMC Isilon ,后端为40Ge,华为OceanStor 9000,后端可选万兆、40Ge、IB等。

收起
 2019-06-12
浏览532
sdtimothy8sdtimothy8  系统工程师 , 浪潮商用机器有限公司
huaweitac赞同了此回答
最好是使用万兆及万兆以上的网络作为存储节点间的数据网络,不然网络会成为集群内数据处理的瓶颈。显示全部

最好是使用万兆及万兆以上的网络作为存储节点间的数据网络,不然网络会成为集群内数据处理的瓶颈。

收起
 2019-04-26
浏览681
陈星星陈星星  it技术咨询顾问 , 人工智能(计算机视觉)
数据在各个节点之间传输是有压缩机制的,再说一个分布式存储的后端磁盘也并非全必须是SSD,没有这个要求,如果全是SSD,纯属是烧钱,分布式存储就是利用廉价服务器的磁盘来做存储;分布式存储节点之间采用千兆或是万兆,这个和你的业务属性和数据量有关系,当然是万兆网络性能好,但是并不...显示全部

数据在各个节点之间传输是有压缩机制的,
再说一个分布式存储的后端磁盘也并非全必须是SSD,没有这个要求,如果全是SSD,纯属是烧钱,分布式存储就是利用廉价服务器的磁盘来做存储;
分布式存储节点之间采用千兆或是万兆,这个和你的业务属性和数据量有关系,当然是万兆网络性能好,但是并不是所有场景都需要万兆

收起
 2019-05-09
浏览610
michael1983 邀答

提问者

michael1983技术经理, 某证券

问题状态

  • 发布时间:2019-04-26
  • 关注会员:6 人
  • 问题浏览:1649
  • 最近回答:2019-07-24
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30