对象存储cleversafe纠删码技术工作原理是什么?

参与38

5同行回答

nkj827nkj827项目经理长春长信华天
IBM Cleversafe对象存储使用纠删码技术实现存储系统的高可靠和高可用,纠删码技术首先对原始数据进行分段(每段4M),之后对一个分段进行切片,例如一个分段切7片,之后通过ECC校验算法变换为12片,这样膨胀因子就是1.7,1PB的原始数据就占用了1.7PB的存储空间,这1.7PB的存储空间由12个切...显示全部

IBM Cleversafe对象存储使用纠删码技术实现存储系统的高可靠和高可用,纠删码技术首先对原始数据进行分段(每段4M),之后对一个分段进行切片,例如一个分段切7片,之后通过ECC校验算法变换为12片,这样膨胀因子就是1.7,1PB的原始数据就占用了1.7PB的存储空间,这1.7PB的存储空间由12个切片组成,把这12个切片均匀的部署在多个站点的每一台服务器中,例如在三个站点每个站点部署4台服务器,这样在这三个站点中只要有7台服务器是正常运行的,数据就是完好的可以正常读取,可以避免服务器硬件故障或断电,网络故障,甚至1个站点故障都不会影响数据的可靠性和可用性,任何一个站点的任意一台服务器硬盘损坏后,只需插入一块新硬盘而无需做RAID就可以正常使用了。

收起
系统集成 · 2017-11-21
浏览4089
王希瑞 邀答
pysx0503pysx0503系统工程师第十区。散人
http://www.iqiyi.com/w_19rst2f0r1.html这个视频解释的比较清楚。你可以看一下。显示全部

http://www.iqiyi.com/w_19rst2f0r1.html
这个视频解释的比较清楚。你可以看一下。

收起
系统集成 · 2017-11-22
浏览3489
王希瑞 邀答
ibmfuqiangibmfuqiang系统架构师IBM
ibm cos 对象存储的工作原理如下:Jietu20171122-142210.jpgJietu20171122-142232.jpg显示全部

ibm cos 对象存储的工作原理如下:

Jietu20171122-142210.jpg

Jietu20171122-142210.jpg

Jietu20171122-142232.jpg
Jietu20171122-142232.jpg

收起
系统集成 · 2017-11-22
浏览3498
王希瑞 邀答
baizhaoxianbaizhaoxian联盟成员容灾备份管理工程师
特性方面:1、经济性:传统存储通常需要做副本来获得可靠性,因此冗余至少是2倍,但是Cleversafe只是在切片运算上额外根据配置有冗余的部分,大大小于做副本的方式2、安全性:我们前面说的每个切片数据,实际上是乱码不可读的,如果没有Cleversafe纠删码的算法的话,是没有办法知道原数据...显示全部

特性方面:
1、经济性:传统存储通常需要做副本来获得可靠性,因此冗余至少是2倍,但是Cleversafe只是在切片运算上额外根据配置有冗余的部分,大大小于做副本的方式
2、安全性:我们前面说的每个切片数据,实际上是乱码不可读的,如果没有Cleversafe纠删码的算法的话,是没有办法知道原数据的倍数关系的,因此,获取切片数据也无意义
3、扩展性:Cleversafe以纠删码为技术原型,同时,结合自研的信息离散算法(IDA)可以异地分发所有的切片。同时,在访问节点,通过HTTP的方式,是能够知晓每一台访问节点的,因此,访问节点之间是解耦不需要通讯的,所以可以做到在线扩容。其次,存储节点之间,当宽度一定时,每一次扩容就是一个存储集的扩容,不同存储集由逻辑上统一的存储池来管理,从而扩展使用空间。
4、可用可靠性:这正是Cleversafe的强项所在,对比传统存储,因为IDA的算法,从而无需副本、RAID方式,就能够在配置合理的情况下,有对应40%的节点失效,然而也不会影响业务系统的正常工作。同时,IDA native的可以做到纠删码算法后的切片能够分发到异地,因此Cleversafe如果在部署DC允许的情况下,不需要做任何数据同步备份即可基本容灾特性。

收起
互联网服务 · 2017-11-22
浏览3599
王希瑞 邀答
khmskhms网站架构师khms
纠删码技术很强大显示全部

纠删码技术很强大

收起
IT其它 · 2017-11-23
浏览3422

提问者

建奎生
数据库工程师长安

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-11-21
  • 关注会员:6 人
  • 问题浏览:7714
  • 最近回答:2017-11-23
  • X社区推广