infiniband目前使用是否普遍,是否是主流的技术,主要适用什么场景?

参与19

3同行回答

wangshuai_gowangshuai_go  存储工程师 , 证券
存储Link Protocol/Transport Comparison从下图可以看到infiniband 网络的定位是Highest Performance 也就是极致性能。当然极致性能是由代价和限制的:infiniband (40GE,100GE,156GE)组网需要专门的infiniband 交换机,存储端和主机端需要infiniband网卡。目前infiniband 组网...显示全部

存储Link Protocol/Transport Comparison
从下图可以看到infiniband 网络的定位是Highest Performance 也就是极致性能。
当然极致性能是由代价和限制的:infiniband (40GE,100GE,156GE)组网需要专门的infiniband 交换机,存储端和主机端需要infiniband网卡。目前infiniband 组网规模不能做到很大,多用于商业存储的内部通信连接。或是小规模infiniband网络打通主机和存储连接。
8.png

8.png

由Infiniband 延伸出来的RDMA协议可以通过RoCE(RDMA协议跑在以太网)方式跑在10GE/25GE/40GE/100GE 以太网上。从发展趋势看,RoCE是未来的大趋势。其即利用了RDMA协议的高性能快速优势,由通过以太网来组网,可以做到大规模的普及。
9.png

9.png

InfiniBand 发展的初衷是把服务器总线网络化,所以 InfiniBand 除了具有很强的网络性
能以外还直接继承了总线的高带宽和低时延[4]。总线技术中采用的 DMA(Direct Memory
Access) 技术在 InfiniBand 中以 RDMA(Remote Direct Memory Access) 的形式得以实现。
RDMA 服务可在处理器之间进行跨网络数据传输,数据直接在暂时内存之间传递,不需要
操作系统介入或数据复制。 RDMA 通过减少对带宽和处理器开销的需要降低了时延, 这种
效果是通过在 NIC 的硬件中部署一项可靠的传输协议以及支持零复制网络技术和内核内存
旁路实现的[5]。 这使得 InfiniBand 在与 CPU、 内存及存储设备的数据交换方面天生地优于万
兆以太网以及光纤通道(Fiber Channel, FC)。

IBM的XIV GRID 架构分布式存储就是采用40GE infiniband组网实现的,其架构如下:
XIV是典型的网格MPP计算架构。
采用网格存储系统的原理,即数据进入系统会切成固定大小的数据块,然后随机分布到所有的节点,避免热点问题。而节点也是AA负载分担。节点之间通过InfiniBand交换机互连在一起。理论上应该可以支持很多的节点,但IBM XIV目前最多支持15个节点而已。估计是算法太复杂了,还有就是规模过大时无法保证极致性能。
6.png

6.png

7.png

7.png

收起
证券 · 2018-02-08
浏览7923
  • infinband是否可以理解成走的还是高性能硬件的套路,而不是互联网的思路
    2018-02-09
  • 互联网的思路就便宜,标准化,大规模工业量产化的产品(IP 网络符合这点),infiniband 网络总体来说比FC 的普及度远远不及,规模上也要小的多。ROCE (RDMA做IP网络)才是未来趋势,才能大规模普及。
    2018-02-09
  • 赞同
    2018-02-09
  • roce组网需要智能网卡普及吧
    2018-02-09
david0405david0405  架构师 , 东方证券
infiniband 需要物理网络、交换机、网卡支持。价格比FC链路贵得多。除非对性能有极高要求,对价格不敏感的高性能计算场景,可以采用infiniband网络。否则目前来说采用16G FC的链路足以满足绝大多数的性能需求。万兆IP网络也足以满足大多数场景的需要,应该是今后的主流发展方...显示全部

infiniband 需要物理网络、交换机、网卡支持。价格比FC链路贵得多。
除非对性能有极高要求,对价格不敏感的高性能计算场景,可以采用infiniband网络。
否则目前来说采用16G FC的链路足以满足绝大多数的性能需求。万兆IP网络也足以满足大多数场景的需要,应该是今后的主流发展方向。

收起
证券 · 2018-02-09
浏览7225
Gao_fengGao_feng  HPC-AI技术市场总监 , NVIDIA
InfiniBand已经在高性能计算,人工智能,数据仓库等行业获得大规模广泛应用。在气象、石油、航空航天、制造业、生命科学、材料科学、人工智能等行业均有大量用户。例如目前世界排名第一的超级计算机Summit使用的就是InfiniBand网络。单机群二层组网达到几千节点,到数万节点的...显示全部

InfiniBand已经在高性能计算,人工智能,数据仓库等行业获得大规模广泛应用。在气象、石油、航空航天、制造业、生命科学、材料科学、人工智能等行业均有大量用户。例如目前世界排名第一的超级计算机Summit使用的就是InfiniBand网络。单机群二层组网达到几千节点,到数万节点的机群都有大量案例。上面有同学谈到和FC的对比,一方面InfiniBand的带宽高很多,目前主流InfiniBand单口200G,比FC高了十几倍,另一方面每Gb的价格(价格/带宽)则远低于FC。

收起
硬件生产 · 2020-06-08
浏览3948

提问者

wykkx
wykkx0411
系统架构师某基金公司
擅长领域: 云计算容器系统运维

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-02-08
  • 关注会员:4 人
  • 问题浏览:11115
  • 最近回答:2020-06-08
  • X社区推广