不建议使用开源软件，开源软件开发维护需要投入人员较多，而且这种人员不好招聘，一旦离职影响会比较大。存储专业性比较强，有厂商支持会好一些。

1）将该 osd 设置为 out[root@ceph1:/home/s1]# ceph osd out osd.1 marked out osd.1.2）集群做 recovery2017-06-03 01:54:21.596632 mon.0 [INF] osdmap e90: 4 osds: 4 up, 3 in 2017-06-03 01:54:21.608675 mon.0 [INF] pgmap v565: 256 pgs: 256 active+clean; 1422 MB...

/dev/sdb1 分区删除清理磁盘：ceph-deploy disk zap ceph2:/dev/sdb创建 OSD：ceph-deploy osd create ceph2:sdb:/dev/sdd1结果OSD就回来了：[root@ceph1:~]# ceph-deploy osd create ceph2:sdb:/dev/sdd1c^C [root@ceph1:~]# ceph osd tree # id weight type name ...

日志文件随着时间会是个很大的量，所以建议考虑统一的日志中心存储处理，可以用es等，备份到hdfs。配置文件在量上通常不是个问题，可以考虑配置中心统一管理，无需额外存储非结构化数据通常是大量的文件，可以采用传统nas或分布式对象存储，当然资金充裕可以采购好的存储，存储性能很重...

分布式存储本来就具有数据冗余和修复功能。如果在单个节点上做RAID，当出现故障的时候，你可能要离线rebuild RAID。但不做RAID的话，换个硬盘就自动在线恢复了，业务完全不中断。

cephfs多mds默认是动态负载均衡的，为了负载文件系统请求到多个mds。cephfs会根据每个mds计算一个热点值，热点高的mds缓存中的目录会往热点低的mds迁移，缓存中的目录在迁移的过程中是被锁定的，应用层的IO不能访问正在迁移的目录或文件，会导致部分IO访问中断几秒。于是用户就感...