1.对象存储在银行业的应用机会随着银行业IT技术的快速发展和业务的不断升级变革，业务应用系统产生的非结构化数据（包括文件、图片、音视频文件等）的规模也越来越大，银行业非结构化数据呈指数式爆发式增长。目前使用非结构化数据的主要系统包括内容管理平台、后督影像系统、身...(more)

一、说明从主集群定期的导出最近两个快照之差，然后导入到备集群。二、Ceph生成差量文件的方式2.1导出某个image从创建到此刻的变化2.1.1导出快照rbdexport-difftest_pool/test_imagetestimage_now2.1.2导入快照rbdimport-difftestimage_nowtest_pool/test_image2.1.3流程...(more)

1：对象存储存储局域网（SAN）和网络附加存储（NAS）是目前两种主流传统的网络存储架构，而对象存储（Object-basedStorage)是一种新的网络存储架构。1999年成立的全球网络存储工业协会（SNIA）的对象存储设备工作组发布了ANSI的X3T10标准。总体上来讲，对象存储综合了NAS和SAN的优点，同时具有...(more)

1.bucketindex背景简介bucketindex是整个RGW里面一个非常关键的数据结构，用于存储bucket的索引数据，默认情况下单个bucket的index全部存储在一个shard文件（shard数量为0，主要以OMAP-keys方式存储在leveldb中），随着单个bucket内的Object数量增加，整个shard文件的体积也在不断增长...(more)

1.查看集群使用容量cephdfGLOBAL:SIZEAVAILRAWUSED%RAWUSED61284G26383G34901G56.95POOLS:NAMEIDUSED%USEDMAXAVAILOBJECTSrbd0256k06931G4cephfs_metadata143928k06931G1043729cephfs_data211603G62.606931G7083637说明：ceph对容量的计算分为两个维度：GLOBAL维度中有SIZE，A...(more)

1.梳理ceph_backup功能策略[rbd]windowsize=7#窗口大小结合时间,超过窗口大小就会做全量备份，然后删除增量备份windowunit=days#备份的时间(minutes,hours,days,weeks,months)destinationdirectory=/tmp/#备份目录images=zp#支持多个image，逗号隔开compress=yes#压缩.tar.g...(more)

1.说明介绍1.1基本原理cf5nzb0yaqeRBDMirror原理其实和MySQL的主从同步原理非常类似，前者基于journaling，后者基于binlog，简单地说就是利用日志进行回放(replay)：通过在存储系统中增加Mirror组件，采用异步复制的方式，实现异地备份。(此处的journal是指CephRBD的journal，而不是OS...(more)

1.源码跟踪1.1get_cluster_statushttps://github.com/ceph/ceph/blob/2a724a2ff313701fd7f6278ce8ed7f440bb355e0/src/mon/Monitor.ccceph-s会执行get_cluster_status函数，在函数的最后会调用打印mgrstatmon()->print_summary函数voidMonitor::get_cluster_status(stri...(more)

OSDMap机制是Ceph架构中非常重要的部分，PG在OSD上的分布和监控由OSDMap机制执行。OSDMap机制和CRUSH算法一起构成了Ceph分布式架构的基石。OSDMap机制主要包括如下3个方面：1、Monitor监控OSDMap数据，包括Pool集合，副本数，PG数量，OSD集合和OSD状态。2、OSD向Monitor汇报自身状态...(more)

1.节点故障检测概述节点的故障检测是分布式系统无法回避的问题，集群需要感知节点的存活，并作出适当的调整。通常我们采用心跳的方式来进行故障检测，并认为能正常与外界保持心跳的节点便能够正常提供服务。一个好的故障检测策略应该能够做到：及时：节点发生异常如宕机或网络中断...(more)