1.介绍一般来说，你应该在运行时增加调试选项来调试问题；也可以把调试选项添加到Ceph配置文件里来调试集群启动时的问题，然后查看/var/log/ceph（默认位置）下的日志文件。Tip：调试输出会拖慢系统，这种延时有可能掩盖竞争条件。日志记录是资源密集型任务。如果你碰到的问题在集群的...(more)

1.介绍CRUSH算法通过计算数据存储位置来确定如何存储和检索。CRUSH授权Ceph客户端直接连接OSD，而非通过一个中央服务器或代理。数据存储、检索算法的使用，使Ceph避免了单点故障、性能瓶颈、和伸缩的物理限制。CRUSH需要一张集群的Map，且使用CRUSHMap把数据伪随机地、尽量平...(more)

转载：http://bean-li.github.io/atop-exit-code/1.前言Daemon进程凌晨无故退出了，log中没有任何有效信息判断退出的原因。QA找我确定下退出的原因，是收到信号被杀死，还是自己异常退出了。幸好有atop,会纪录进程的退出码或者收到的信号值。2.方法请看下图：n88i1a38i2m上图中第...(more)

1.环境介绍1.1软件环境ceph集群：mon：ceph-xxx-osd02.ys,ceph-xxx-osd03.ys,ceph-xxx-osd01.ysosd:36mds：ceph-xxx-osd04.ys=up:activeceph版本：cephversion12.2.2.3(277c813c8cdeb79eba8a11bfe08faf1bf7809f07)luminous(stable)os系统：CentOSLinuxrelease7.2.1511(Core)3.10.0...(more)

1.增加OSD（手动）要增加一个OSD，要依次创建数据目录、把硬盘挂载到数据目录、把OSD加入集群、然后把它加入CRUSHMap。Tip：Ceph喜欢统一的硬件，与存储池无关。如果你要新增容量不一的硬盘驱动器，还需调整它们的权重。但是，为实现最佳性能，CRUSH的分级结构最好按类型、容量来组织。1...(more)

1.介绍一个集群可以只有一个monitor，我们推荐生产环境至少部署3个。Ceph使用Paxos算法的一个变种对各种map、以及其它对集群来说至关重要的信息达成共识。建议（但不是强制）部署奇数个monitor。Ceph需要mon中的大多数在运行并能够互相通信，比如单个mon，或2个中的2个，3个中的2个，4...(more)

1.mds存储元数据的内存缓存，为了加快元数据的访问。保存了文件系统的元数据(对象里保存了子目录和子文件的名称和inode编号)还保存cephfs日志journal，日志是用来恢复mds里的元数据缓存重启mds的时候会通过replay的方式从osd上加载之前缓存的元数据2.mds冷备/热备冷备就是备...(more)

1.模块简介Monitor作为Ceph的MetadaServer维护了集群的信息，它包括了6个Map，分别是MONMap，OSDMap，PGMap，LogMap，AuthMap，MDSMap。其中PGMap和OSDMap是最重要的两张Map。2.模块的基本结构4oeufkadr9wMonitor内部使用一套Paxos来实现各种数据的更新，所以所有继承自PaxosService的Mo...(more)

1.CephIO流程及数据分布fchatxa4731.1正常IO流程图jgikwohtuok步骤：client创建clusterhandler。client读取配置文件。client连接上monitor，获取集群map信息。client读写io根据crshmap算法请求对应的主osd数据节点。主osd数据节点同时写入另外两个副本节点数据。等待主节点...(more)

针对本场交流，还有以下几个技术方面的难点问题，特别拿出来作为典型问题分析，各位如有任何观点，欢迎在文章下部留言讨论。cephfs下如何实现多租户隔离？可以通过多活mds，根据目录静态分片功能，把不同的mds绑定到不同的目录上面，然后不同的目录给不同的用户使用，进而实现多租户资源隔...(more)