分布式存储系统对比之 Ceph VS MinIO

分布式存储系统对比之Ceph VS MinIO

对象存储概述

对象存储通常会引用为基于对象的存储，它是能够处理大量非结构化数据的数据存储架构，在众多系统中都有应用。对于部署在公有云的服务来说，公有云一般都提供对象存储服务，如阿里云的 OSS, 华为云的 OBS ，腾讯云的 COS 。通过提供的 SDK 就可以访问。如果不想用公有云的话，也有一些开源方案可以自己搭建。

一些开源的对象存储都会遵循 Amazon s3 协议。 Amazon s3 协议定义了操作对象存储的 Resestfull 风格的 API 。通过在 pom 中引用 aws-java-sdk-s3 可以实现对存储的操作。

开源方案对比

存储的方案分成两种： ① 一种是可以自定对象名称的；②另一种是系统自动生成对象名称。

不能自定义名称的有领英的 Ambry ， MogileFS 。

TFS 是淘宝开源的，但是目前已经很少有人维护它并且也不是很活跃。

Ceph 是一个比较强大的分布式存储，但是它整个系统非常复杂需要大量的人力进行维护。

GlusterFS 为本身是一个非常成熟的对象存储的方案， 2011 年被收购了，原班的人马又做了另外一个存储系统 MinIO 。

其中 Ceph 跟 MinIO 是支持 s3 协议的。后面对这两种方案做了一个详细的介绍。

对象存储选型

①MinIO

MinIO 是一个基于 Apache License V2.0 开源协议的对象存储服务，它兼容亚马逊 S3 云存储服务，非常适合于存储大容量非结构化的数据，如图片，视频，日志文件等。而一个对象文件可以任意大小，从几 KB 到最大的 5T 不等。它是一个非常轻量级的服务，可以很简单的和其它的应用结合，类似于 NodeJS, Redis 或者 MySQL 。

MinIO 默认不计算 MD5 ，除非传输给客户端的时候，所以很快，支持 windows ，有 web 页进行管理。

②Ceph

Ceph 同时支持对象存储，块存储和文件系统服务。 Ceph 有以下几个特点：

高性能：摒弃了传统的集中式存储元数据寻址的方案采用 CRUSH 算法数据分布均衡并行度高 ; 考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等 ; 能够支持上千个存储节点的规模，支持 TB 到 PB 级的数据 ;

高可用性：副本数可以灵活控制 ; 支持故障域分隔，数据强一致性 ; 多种故障场景自动进行修复自愈 ; 没有单点故障，自动管理 ;

高可扩展性：去中心化 ; 扩展灵活 ; 随着节点增加而线性增长 ;

特性丰富：支持三种存储接口：块存储、文件存储、对象存储 ; 支持自定义接口，支持多种语言驱动 .

总结：

** 从目前来看，如果想自建对象存储服务的话，有能力，规模比较大的话，采用 Ceph 感觉更好一点。如果只是想要一个对象存储，要求没有那么多的话，可以采用 MinIO 。