分布式存储,在无限横向扩容时 必然遇到元数据存储集中存储的瓶颈 如何解决?

分布式存储,在无限横向扩容时 必然遇到元数据存储集中存储的瓶颈 如何解决?显示全部

分布式存储,在无限横向扩容时 必然遇到元数据存储集中存储的瓶颈 如何解决?

收起
参与42

查看其它 4 个回答zhutu的回答

zhutuzhutu存储工程师中国电子科技集团第五十二研究所

实际上,由于架构的不同,对称式的由于将元数据分布在各个节点上,导致集群规模大的时候,会有很大的内部通讯消耗。对称式架构的集群规模也就有了限制,看以前的isIlon,只能做到144.华为刚推出分布式存储的时候也所有参数都是isIlon两倍,也只能是256就是这个原因。
非对称式的架构,内部通讯由于元数据节点少,就不存在规模现在的问题。目前世界上最大的集群就是采用的非对称式架构的(具体记不清楚哪个了,记得冬瓜哥说过)。
对于元数据瓶颈来说,元数据一般也能采用集群模式。但是一般的hadoop,或者ceph等元数据一般采用主备的集群模式,导致这些分布式系统在面临海量小文件或者数据量很大情况时存在元数据瓶颈。
这点我司所采取的是元数据集群模式,多台元数据之间做互备,并且同时对外提供服务,倒是真正做到了元数据集群化。目前元数据虽然不是无限扩展,但是也 能扩展到几百台。目前产品化已经十年。相对目前的存储容量来说还是没有限制的。因为涉及具体细节,有兴趣可以找我们了解。

IT咨询服务 · 2017-11-23
浏览3101
王磊磊 邀答

回答者

zhutu
存储工程师中国电子科技集团第五十二研究所
擅长领域: 存储灾备服务器

zhutu 最近回答过的问题

回答状态

  • 发布时间:2017-11-23
  • 关注会员:6 人
  • 回答浏览:3101
  • X社区推广