在选择分布式存储上有没有人做过对比：Ceph vs. IBM的GPFS？

对Ceph不熟悉，但是接触过GPFS，个人觉得还是挺好用的，不过唯一的缺憾就是商用软件.有下面几点优势，希望对你有所帮助.                          

它是一个共享磁盘的并行文件系统，它能为GPFS集群系统中的所有节点提供并行数据存取。

GPFS允许多进程或者应用使用标准文件系统调用，同时并发读写同一个文件。

通过将节点内读写操作分布到多个磁盘上，大大增加了文件系统的带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写。

支持在异构平台。

可以将数据分布到不同 failure group 内达到高可用性，减少单点故障的影响。

可以动态调整添加或者删除硬盘。系统处于相对空闲时，用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。

Node Quorum或者Tiebreaker quorum仲裁机制，确保系统最大程度的可用性，没有单一故障点 。

单点管理，可以集群内任何一个节点上完成对GPFS的管理任务，命令将在所有节点上生效 。

GPFS于1993年研发，1995年投入商用，适用于高性能计算和并行处理。之前都是共享存储，从3.5版本开始新增了FPO模式，采用Share Nothing架构，性能好历史悠久，支持AIX、LINUX、windows。CEPH从2010年加入LINUX版本，最初设计的RADOS是为其实现一个高性能的文件系统服务的，后来考虑支持块设备、对象存储，向云计算靠拢。但目前只支持linux，aix、windows的还需要开发才能支持。

一、从海量存储架构上看。GPFS通过将文件分布在多个节点和磁盘上，可以超越单一节点和单一文件系统的性能极限,支持PB级海量存储，目前使用模式多是多节点共享存储并行访问。CEPH是统一分布式存储系统，具有优异的性能、可靠性、可扩展性，其CRUSH算法去中心化，从客户端感知数据分布，另外还可以根据机架感知等来调整Crushmap，例如可以具体到某个磁盘，某个机器，某个机架，甚至是某个DC，这样就可以考虑到机房、机架、机器这样的存储层次，在每层设置不同的存储策略，从而达到较好的效果。只有在增加/删除设备时才需要改动存储层次，方便了数据管理和提高了效率。

二、从高性能上看。GPFS通过将I/O分布在多个硬盘提高性能，能够高效工作在1个节点到4000多个节点的集群环境中，还有就是很好的支持SSD盘和闪存阵列。Ceph最开始是为HDD设计的，没有充分考虑全SSD，甚至更先进的PCIe SSD和NVRAM的情况NVRAM。导致这些硬件的物理性能在Ceph中无法充分发挥出来，特别是延迟和IOPS，受比较大的影响。

三、从可靠性上看。在GPFS的环境中，某一节点的硬盘连接丢失，不会影响到其他的节点，GPFS使用RSCT的功能持续的监控不同文件模块的健康状态，当任一错误被检测到时，相应的恢复动作将自动执行。GPFS还提供了额外的日志和恢复功能，可以维持元数据的一致性。最大三副本，可支持节点的自动Failover。CEPH的rados采用强一致性设计，可容忍网络中断、掉电、服务器宕机、硬盘故障等，并进行自动修复，保证数据的可靠性和系统可用性。也是同样的三副本设计，支持节点的自动Failover。Monitors是Ceph的管家，维护着Ceph的全局状态。Monitors的功能和zookeeper类似，它们使用Quorum和Paxos算法去建立全局状态的共识。其OSDs可以进行自动修复，而且是并行修复。

四、从工业标准看。GPFS是商用的，经历大量生产环境和实践的检验，相对来说成熟稳定。CEPH是开源的，2010年加入到LINUX中，还未经历大量生产环境的检验和复杂业务场景的企业实践验证，还不够成熟完善。但总的来说，Ceph瑕不掩瑜，仍然是一个优秀，甚至出色的开源存储系统。

首先，两者都可以看成是对象存储，都是共享存储领域的佼佼者。

从稳定性和安全性上来说，个人觉得GPFS相对更为可靠，多个节点充当文件系统server角色，配置管理者，集群管理者，文件系统管理者等角色分工明确，可以分布上不同的节点上，且每个角色都可以漂移，保证了文件系统的绝对高可用性。同时借助failure group机制可以实现数据的双重保护，支持许多的双活应用。

应用方式上，可以用独立的GPFS集群充当存储分配给客户端使用，利用GPFS的条带化，GPFS配置最佳实现，metadata盘放置在ssd上等方式来提供IO性能，但依赖底层存储性能，Ceph可能更接近于专业存储，可以实现数据自动分层等

从实用范围上来说，由于依赖存储的高性能，虽然对于内置盘可以应用FPO模式，但容易出现性能瓶颈，并且这种情况一般不适用于对外提供对象存储服务，只能用于某些特定的业务场景。但GPFS的各种成熟方案已经早有推广应用，所以如果业务场景所需，在生产上可以放心使用。

从可定制性上来看，GPFS相对封闭，给客户端提供服务时，功能更多的接近高可用的nas, 但ceph在开放性和与其它产品的结合度上有更多发挥的空间，由于在开源大行其道的今天。

首先说下Ceph，Ceph是统一分布式存储系统，具有优异的性能、可靠性、可扩展性。Ceph的底层是RADOS(可靠、自动、分布式对象存储)，可以通过 LIBRADOS直接访问到RADOS的对象存储系统。RBD(块设备接口)、RADOS Gateway(对象存储接口)、Ceph File System(POSIX接口)都是基于RADOS的。

其次Ceph的对象存储(Object Storage)可以对接网盘(owncloud)等应用业务；块设备存储(Block Device Storage)可以对接(IAAS)，当前主流的IAAS云平台软件，例如OpenStack,CloudStack,Zstack,Eucalyptus等以及KVM虚拟化等；文件系统(Ceph FS)尚不成熟，官方不建议在生产环境下使用。不过还是有不少童鞋试水深度哈 :)

最后呢说下Ceph方面的具体信息，

比如Ceph可以根据机架感知等来调整Crushmap，例如可以具体到某个磁盘，某个机器，某个机架，甚至是某个DC。这样来做数据的安全性和可靠性。

Ceph的Cache tier技术可以实现hot date和 cold date分离，把热数据放到Cache层，过段时间同步到cold date层等等。

另外Crushmap可以用来做分级存储，例如根据底层不同硬盘，例如HDD or SSD等来分为不同的 pool

具体的还需要实际测试，别人说的对于自己来说不一定是最适合的，建议自己亲自测试下，只有适合自己的才是最好的。

从3.5版本开始GPFS新增加了FPO模式，采用Share Nothing架构的，不需要集中存储，也不需要共享存储

对Ceph不是很熟悉，不过看楼上介绍，和DB2 DPF技术很相像，所以把Ceph和GPFS放在一起比较不太合适，GPFS的主要作用是用来完成应用级别的负载均衡，可以从上层来实现多主机对同一数据的修改，而Ceph和DPF都属于分布式管理，各个节点主机只管理自己的数据，所以从上层看，大家的维护数据方式完全不同，所以你的应用决定了你的选择。

从性能看，GPFS从功能决定了他的性能要受到文件系统特性及集中管理数据里锁机制的制约，需要集中存储，本地盘（flash-PCIE卡和本地SSD）无法发挥性能，存储级的SSD闪存和SAS/SATA盘靠存储本身的分层技术来控制，GPFS没有自动迁移热块的技术。

Ceph和DPF技术都是利用各个计算节点性能，本地盘可以完成计算节点汇总数据的作用，所以本地盘的闪存可以充分利用。

仅个人观点，请大家指正。

谢谢大家的回答，收益颇多