大咖带你揭秘CEPH对象存储底层对象分布

字数 2568阅读 14147评论 1赞 5

作者：林青

对象存储是公有云中常见的非结构化数据存储解决方案，常被作为网站、移动应用、图片、视频数据的主要存储方式，也是CDN回源及云上数据备份的不二选择。
对象存储采用无层次结构的数据存储方法。基于对象的存储不使用目录树，数据组织采用桶作为划分域，对象存储于桶中；各个单独的数据（对象）单元存在于存储池中的同一级别；每个对象都有唯一的识别名称，供应用进行检索。租户通过API管理云上数据。
目前对象存储已成为公有云服务商所具备的基本存储服务，亚马逊S3、阿里OSS、微软Bolb、华为OBS、金山KS3、腾讯COS。Ceph则是开源生态中至今为止软件定义存储中最成功的产品，其通过RGW组件对外提供对象存储服务，本文将探讨Ceph RGW中数据的分布原理。

Ceph数据存储原理

Ceph的对象存储接口是由RGW组件提供的。RGW为用户提供了一套兼容S3及Swift协议的API。用户通过RGW API完成上传、下载等数据相关操作。
在RGW提供了整体上传和分段上传两种文件上传方式。
每部分RGW上传的文件片段根据配置进行切块，形成若干个Object，Object逻辑归属于某个PG中，最终Object存储在PG映射的一组OSD磁盘上，Ceph最终存储的是对象（内容+属性），通过后端存储引擎Object Store(src/os/ObjectStore.cc) 封装了底层Rados对象操作。
无论是块存储、文件存储、还是对象存储存入Ceph的数据都以如下方式组织：

rrmtnr41efil

File：client读写的文件
object：是将File切块后的存储实体
oid：（object id） = ino（File的ID）+ono（切块序号）
mask：PG总数m(m为2的整数幂)-1
PG（Placement Group）：放置组（标识为 PGID）是一个逻辑的概念，一个PG存放多个对象，每个存储节点有上百个PG。
OSD（Object Storage Device）：对象存储设备，提供存储资源。

Ceph存储引擎ObjectStore

后端存储引擎由ObjectStore提供， ObjectStore API分主要为三部分：
（1）Object内容的读写操作；
（2）Object扩展属性的读写操作；
（3）Object关联的Omap的操作，Omap在概念上与扩展属性相似，但有不同的存储限制及存储方式，通常为KV数据库。
实现一套ObjectStore的接口即提供了一种存储引擎，目前常用存储引擎类型为FileStore和BlueStore。

j6zr0t2t2n2t

其中使用最为广泛的CEPH后端存储引擎为FileStore。
（1）利用文件系统的POSIX接口实现Object的内容读写操作；
（2）利用文件系统的扩展属性功能实现Object的属性操作
（3）利用LevelDB、RocksDB等KV数据库实现Omap操作。
FileStore中每个Object会被看成是一个文件，Object的属性会利用文件的扩展属性存取，超出文件系统限制(filestore_max_xattr_value_size，xfs默认64KB)的扩展属性会存储在KV数据库中。

Ceph RGW对象存储模型

在RGW提供了整体上传和分段上传两种文件上传方式。

1、RGW对象整体上传

2l9boxfqr9xv

rgw_max_chunk_size：首部对象切片大小（默认1M）
rgw_obj_stripe_size：除首部对象外的其他切片大小(默认8M)
rgw_max_put_size：整体上传文件限制（默认512G）
整体上传的文件，将会切分为一个大小为rgw_max_chunk_size的首部Rados对象，及若干个大小为rgw_obj_stripe_size的中间Rados对象（最后一个对象可以小于rgw_obj_stripe_size）。其中，扩展属性存在于首部Rados对象的扩展属性中，包含了分片信息。

2、RGW对象分段上传

6m1cur05teoq

rgw_multipart_min_part_size：分段最小大小（默认1M）
rgw_multipart_part_upload_limit:最大分段数（默认10000）
分段上传，用户上传时自主对上传文件进行分段，除最后一个分段外必须大于rgw_multipart_min_part_size，每段文件独立上传，每段都可看作一个整体上传。上传完成后，会生成一个内容为空的首部Rados对象，用于存储RGW对象的属性信，其中包含分段及分片信息。