分布式存储使用过程稳定性和可靠性如何保障?

分布式存储和集中式存储相比,有很强的价格优势,在实际使用过程中,依然需要通过容量管理的方式对存储成本进行评估,存储成本在分布式存储体系中,更多的以集群使用率进行呈现。在目前开源的分布式存储产品中,绝大多数采取伪随机算法的方式进行数据平衡,比较典型的是Ceph,因此导致分...显示全部

分布式存储和集中式存储相比,有很强的价格优势,在实际使用过程中,依然需要通过容量管理的方式对存储成本进行评估,存储成本在分布式存储体系中,更多的以集群使用率进行呈现。在目前开源的分布式存储产品中,绝大多数采取伪随机算法的方式进行数据平衡,比较典型的是Ceph,因此导致分布式存储在使用一定时间后,出现集群可用率造成较大的误差。分布式存储架构师和工程师需要通过相应的技术手段监控分布式存储的数据使用情况和数据平衡状态,其中包括灾难性数据迁移和数据分布阈值,保障分布式存储在使用过程的稳定性和可靠性。

收起
参与10

查看其它 2 个回答s6dong的回答

s6dongs6dongit技术咨询顾问东软集团

    在以ceph为代表的分布式存储的集群中确实会存在数据分布不均衡的问题,特别是在刚刚部署完成ceph群集或进行集群扩容的时候,加入了新的盘,会使这个情况更加严重,OSD数量会发生变化,,而集群中只要有一个OSD先被写满,那么整个集群都将无法写入数据,所会极大的影响存储稳定性和可靠性。
    为了尽可能避免这种情况,提高分布式集群存储利用率,需要尽可能的将PG均匀分布在OSD上,通常有以下几种做法:
1,设置osd均衡权重,做osd reweight,可以根据每个OSD上的PG数量来调整,默认值是120%。当然这种方式需要定期监控状态,并不是一个自动化的方案。
2,使用balancer的方式,将PG 在各个OSD上自动迁移,达到均衡的效果。

互联网服务 · 2021-05-27
浏览1542

回答者

s6dong
s6dong1729
it技术咨询顾问东软集团
擅长领域: 存储服务器灾备

s6dong 最近回答过的问题

回答状态

  • 发布时间:2021-05-27
  • 关注会员:4 人
  • 回答浏览:1542
  • X社区推广