在以ceph为代表的分布式存储的集群中确实会存在数据分布不均衡的问题,特别是在刚刚部署完成ceph群集或进行集群扩容的时候,加入了新的盘,会使这个情况更加严重,OSD数量会发生变化,,而集群中只要有一个OSD先被写满,那么整个集群都将无法写入数据,所会极大的影响存储稳定性和可靠性。
为了尽可能避免这种情况,提高分布式集群存储利用率,需要尽可能的将PG均匀分布在OSD上,通常有以下几种做法:
1,设置osd均衡权重,做osd reweight,可以根据每个OSD上的PG数量来调整,默认值是120%。当然这种方式需要定期监控状态,并不是一个自动化的方案。
2,使用balancer的方式,将PG 在各个OSD上自动迁移,达到均衡的效果。