分布式存储系统对比之 Ceph VS GPFS

为了更深入透彻的了解CEPH和GPFS的优劣，我们将从以下这些方面逐一对比CEPH和GPFS的特性，期望可以提供更科学客观的参考。

一、管理功能**

GPFS——GPFS提供了一系列完美的商业化产品功能，基于策略的数据生命周期管理，高速扫描引擎，在线数据迁移，闪存加速，这些特性都大幅提升了它的用户体验，在复杂的IT环境中有了更多施展拳脚的空间。

CEPH——CEPH产品相对年轻，周边功能和生态目前尚不完善，延展功能上来说不及GPFS丰富，但已经具备管理的基本功能，它的VSM功能，即Ceph的web管理界面，目前也已完善。

二、平台兼容性**

GPFS: GPFS一个很大的亮点是支持跨平台部署和文件共享，同一集群中可以包括Windows/ Linux/AIX等异构平台，良好的异构兼容性尤其对于传统企业复杂的异构IT环境有着天然的亲赖。

CEPH: 目前CEPH所提供的rbd是基于Linux内核的，CEPH仅支持部署在Linux平台上，rbd的块设备不能直接映射给非linux的客户端使用(如果要使用可以通过导出为iscsi设备的方式)。

三、服务方式**

GPFS——是一个高性能并行集群文件系统，可支持多种存储设备，包括Flash、磁盘等块存储、对象存储、文件存储，甚至可以管理磁带。支持多云部署以及POSIX、NFS/CIFS、HDFS/Hadoop 、Swift/S3等多种接口。

CEPH——可同时支持对象存储，块存储和文件型存储，且鉴于当前基于POSIX的文件系统方案尚不完善，CephFS功能正努力完善中。支持Switft/S3等云存储环境。

四、存储性能**

GPFS——广泛应用于世界领先的 HPC 超级计算环境。在加速并行访问方面的显著优势有：改善了小文件的 IO 性能，支持超过 4600个计算节点的高速并发访问，实现16GB/s 单节点顺序读写带宽，以及每秒可创建 260万个小文件。作为一个并行文件系统，它将智能融入客户端，并由客户端在集群中的所有存储节点之间分配负载，即使对于单个文件也是如此。

CEPH——CEPH的算CRUSH法和PG存放机制，使它可以充分利用多块磁盘的IO队列，但最开始基于HDD设计，对于SSD和NVRAM等使用场景没有没有特别的性能优化策略，可能导致这些硬件的物理性能在CEPH中发挥受限，延迟和IOPS在高速硬件环境下得不到显著提升。

五、技术架构**

GPFS——具有集群管理者的概念，节点间采用仲裁机制，在灾备环境下需要引入第三方站点，参与集群仲裁。

CEPH——没有绝对的中心结点，可以完全排除单点故障，无中心化的设计思想，使集群具有理论上无限扩张的可能性。

六、适用场景**

GPFS——适用当下流行的生产环境，其中FPO架构可通过多个block组成Chunk的方式，很好的适应大数据环境，并且可以与IBM Symphony分析工作配合使用。同时FPO架构也可用于IAAS平台的底层存储，用于存储虚拟机镜像，用于PAAS容器云环境，用来对容器提供数据存储的接口服务。另外，也可以搭建集群环境提供NAS的功能用于文件和影像的共享。

CEPH——更多用来提供对象存储和块存储的服务，不适用于大数据环境，同样可用来IAAS和PAAS架构的云环境提供存储服务，或者为单一架构的IT环境提供块存储服务，作为分布式的优秀解决方案，天生有对接云生态的基因，CEPH不仅在OpenStack时代可以大有作为，同样在容器云时代也可以大放异彩。

七、数据分层**

GPFS——GPFS具有很好的数据分层实现机制，cache机制，将日志卷部署在SSD上，在某些场景下可以带来显著的性能提供

CEPH——Crushmap可以用来做分级存储，例如根据底层不同硬盘，例如HDD或SSD等来分为不同的 pool，Ceph的Cache tier技术可以实现hot data和 cold data分离，把热数据放到Cache层，过段时间同步到cold date层等等。

八、安全机制**

GPFS——该环境中，某一节点的硬盘连接丢失，不会影响到其他的节点，GPFS使用RSCT的功能持续的监控不同文件模块的健康状态，当任一错误被检测到时，相应的恢复动作将自动执行。GPFS还提供了额外的日志和恢复功能，可以维持元数据的一致性。最大三副本，可支持节点的自动Failover。

CEPH——rados采用强一致性设计，可容忍网络中断、掉电、服务器宕机、硬盘故障等，并进行自动修复，保证数据的可靠性和系统可用性。也是同样的三副本设计，支持节点的自动Failover。Monitors是Ceph的管家，维护着Ceph的全局状态。Monitors的功能和zookeeper类似，它们使用Quorum和Paxos算法去建立全局状态的共识。其OSDs可以进行自动修复，而且是并行修复。

九、冗余机制**

GPFS——数据冗余可以通过failure group机制实现，以文件系统作为复制单元，数据在物理上存储两份或三份，节点冗余上，重要角色如集群管理者，会分配主备两个节点，其它角色会在集群节点间飘移。

CEPH——数据冗余上，底层文件对象默认存储3个副本，节点冗余上，多mointor机制可以有效防止单点故障，在文件存储上，额外的ceph-mds实例可以备用以取代任何失效的ceph-mds,由ceph-mon自动完成，也可以启动多个ceph-mds实例，将目录树分离为子目录树，这样能够在多个启动的实例中有效的平衡负载。