互联网服务Ceph

ceph osd磁盘空间不一致,导致大磁盘空间使用率极低,如何解决?

ceph集群初始时有9个osd,其中六个0.5T,三个0.9T,使用70%后扩容加入六个osd,都是3.6T,调整过pg及pgp,集群恢复之后,新的数据并不多往大磁盘的osd写,导致前面使用率已经很高的osd很快又濒临写满,导致整个集群空间利用率很低,通过批量调节reweight后,数据并没有明显往后几个大osd迁移,只是在前几个小osd来回迁移,并且pg会出现大量misplaced状态,请问如何提高后加入的大osd的空间使用率?多谢!

参与9

3同行回答

沈天真沈天真  售前支持 , IPS
看输出中,pool 的配置信息,为什么3个pool 显示的 Max Avail 都是 1.1 TB 呢 ?3个pool加起来也就是 3.3TB ,3副本是 9.9TB ? 好像和实际的磁盘容量大小不符啊;显示全部

看输出中,pool 的配置信息,为什么3个pool 显示的 Max Avail 都是 1.1 TB 呢 ?3个pool加起来也就是 3.3TB ,3副本是 9.9TB ? 好像和实际的磁盘容量大小不符啊;

收起
硬件生产 · 2021-04-24
浏览2507
倒淌河 邀答
RWXRWX  其它 , 精油开背
1. 尽量选择同一类型的机器,不同的类型最好要弄不同的分组,如果不这么干,计算起来很麻烦,包括后面程序分析出来的结果也会不准。2. crush map特别要注意rule,如果rule里有两个不同的地域存储规则,那么采用这个规则的pool的最大可用size将由最小的地域size规定。所以,如果你有...显示全部

1. 尽量选择同一类型的机器,不同的类型最好要弄不同的分组,如果不这么干,计算起来很麻烦,包括后面程序分析出来的结果也会不准。
2. crush map特别要注意rule,如果rule里有两个不同的地域存储规则,那么采用这个规则的pool的最大可用size将由最小的地域size规定。所以,如果你有异地存储或者不同分组存储的时候,尽量像天平一样,保证两边平衡,这样才能最大限度的展现出存储能力。
3. 留意快照存储及存储副本数量

收起
软件开发 · 2021-11-23
浏览1441
jiaoyutwtjiaoyutwt  系统运维工程师 , 山西省运城市盐湖区
有没有尝试过  跑一次 数据均衡,会将500G盘上的360G数据,均衡到大盘上显示全部

有没有尝试过  跑一次 数据均衡,会将500G盘上的360G数据,均衡到大盘上

收起
工业制造其它 · 2021-04-29
浏览2299
倒淌河 邀答

提问者

倒淌河
python金融
擅长领域: 分布式系统Ceph存储

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-04-21
  • 关注会员:4 人
  • 问题浏览:3552
  • 最近回答:2021-11-23
  • X社区推广