分布式存储使用过程稳定性和可靠性如何保障?

分布式存储和集中式存储相比,有很强的价格优势,在实际使用过程中,依然需要通过容量管理的方式对存储成本进行评估,存储成本在分布式存储体系中,更多的以集群使用率进行呈现。在目前开源的分布式存储产品中,绝大多数采取伪随机算法的方式进行数据平衡,比较典型的是Ceph,因此导致分...显示全部

分布式存储和集中式存储相比,有很强的价格优势,在实际使用过程中,依然需要通过容量管理的方式对存储成本进行评估,存储成本在分布式存储体系中,更多的以集群使用率进行呈现。在目前开源的分布式存储产品中,绝大多数采取伪随机算法的方式进行数据平衡,比较典型的是Ceph,因此导致分布式存储在使用一定时间后,出现集群可用率造成较大的误差。分布式存储架构师和工程师需要通过相应的技术手段监控分布式存储的数据使用情况和数据平衡状态,其中包括灾难性数据迁移和数据分布阈值,保障分布式存储在使用过程的稳定性和可靠性。

收起
参与10

查看其它 2 个回答Lucien168的回答

Lucien168Lucien168存储工程师地平线机器人

分布式系统一般都是靠 分布式协议paxos算法或者Raft算法来保证集群的高可用性和可靠性,一般只要运维和监控的保障不会出现大问题。

数据不均衡:
但是咱们在运维的过程中,会发现ceph的crush算法,会导致数据倾斜, 集群中数据的不均衡。 这个时候就需要我们监控的及时告警,以及运维工具定期的做reblanace来保证集群数据的均衡性。

迁移IO争抢
在集群节点有变动的时候会导致集群均衡的迁移,那么集群内部的迁移IO肯定会影响客户端请求的IO,这个时候需要我们针对集群内部IO设置优先级以及控制好速率,优先来保证客户端IO的完成。

互联网服务 · 2021-05-26
浏览1587

回答者

Lucien168
存储工程师地平线机器人

Lucien168 最近回答过的问题

回答状态

  • 发布时间:2021-05-26
  • 关注会员:4 人
  • 回答浏览:1587
  • X社区推广