分布式对象存储需要做raid吗?

虽然分布式存储利用自身的副本机制能一定程度确保硬盘损坏后的数据不丢失,实际生产应用中需要对本地磁盘做raid吗?

参与70

16同行回答

pysx0503pysx0503  系统工程师 , 第十区。散人
分布式存储是通过软件来管理磁盘的。三副本的保护机制比RAID的可靠性更高,另外本身三副本的磁盘容量的损耗已经很大了。再加RAID磁盘损耗过大,磁盘本身也要经过两种算法。性能上也会打折扣。所以一般都是不需要在额外做RAID的...显示全部

分布式存储是通过软件来管理磁盘的。三副本的保护机制比RAID的可靠性更高,另外本身三副本的磁盘容量的损耗已经很大了。再加RAID磁盘损耗过大,磁盘本身也要经过两种算法。性能上也会打折扣。所以一般都是不需要在额外做RAID的

收起
系统集成 · 2023-09-19
浏览773
csj11341csj11341  项目经理 , 北明
有一种情况是不可忽视的,即:SSD缓存加速,这个场景有一点是需要关注的,跟楼主提到的RAID1有所关联。系统盘和缓存盘做RAID1,数据盘直通/RAID0;系统盘和数据盘RAID方式很好理解理解这里不过多解释。且说缓存盘做RAID1的必要与非必要。必要:缓存池与数据池之间有一定的逻辑绑定关系...显示全部

有一种情况是不可忽视的,即:SSD缓存加速,这个场景有一点是需要关注的,跟楼主提到的RAID1有所关联。
系统盘和缓存盘做RAID1,数据盘直通/RAID0;系统盘和数据盘RAID方式很好理解理解这里不过多解释。且说缓存盘做RAID1的必要与非必要。必要:缓存池与数据池之间有一定的逻辑绑定关系,即IO下发到nvme再下刷至HDD的过程中,缓存和数据同时都有三副本的机制,但是如果一块缓存盘故障会导致副本降级,对于业务而言展示为IO悬挂,核心时延低的业务是无法接受。再次过程中要马上进行缓存盘的更换,这个过程共涉及2次数据均衡。这里如果缓存盘做了RAID1,坏1块盘会切换,不会导致IO悬挂甚至系统级的风险触发问题。
不必要:除大家说的以外,性能是不可忽视的,因此可靠性和性能是需要平衡的。RAID1带来的性能损耗,在加上数据副本,本身IO性能瓶颈就在存储后端,因此RAID1缓存后的性能应该是指数级的降低。
综上,需要平衡考虑。对于块、文件还是对象存储,个人观点与大家一致。以上仅做设计之参考。

收起
证券 · 2023-09-20
浏览777
leizileizi  售前技术支持 , 中国移动
不需要,因为对象存储本身就是一个存储系统,它可以直接对磁盘进行管理,如果底层再对磁盘做raid的话就是在raid存储系统之上再做一个存储系统,这样的话首先对存储的性能消耗比较大,再就是如果raid系统出现问题的话就会导副本机制失效的,恢复数据会更加复杂...显示全部

不需要,因为对象存储本身就是一个存储系统,它可以直接对磁盘进行管理,如果底层再对磁盘做raid的话就是在raid存储系统之上再做一个存储系统,这样的话首先对存储的性能消耗比较大,再就是如果raid系统出现问题的话就会导副本机制失效的,恢复数据会更加复杂

收起
互联网服务 · 2022-11-20
浏览1648
如果本地再做RAID,那消耗资源太大了;3副本本身就造成容量利用率只有30%左右,注意不是33%,大部分只有30%,如果本地再做RAID,连30%都不到了,成本太高了。显示全部

如果本地再做RAID,那消耗资源太大了;3副本本身就造成容量利用率只有30%左右,注意不是33%,大部分只有30%,如果本地再做RAID,连30%都不到了,成本太高了。

收起
互联网服务 · 2022-11-10
浏览1656
匿名用户匿名用户
不需要,分布式存储除了副本机制还有纠删码保护方式,而且纠删码相较RAID还有很多优势,以4+2:1纠删码和RAID5举例: ( 1 ) EC 算法是跨节点的, 4+2:1 的冗余允许 1 个节点故障而不丢失数据, RAID5 一般是由节点内的若干块盘组成 RAID 组的,只能容忍硬盘故障,不能容忍节点故障( 2 ) EC 算...显示全部

不需要,分布式存储除了副本机制还有纠删码保护方式,而且纠删码相较RAID还有很多优势,以4+2:1纠删码和RAID5举例:
( 1 ) EC 算法是跨节点的, 4+2:1 的冗余允许 1 个节点故障而不丢失数据, RAID5 一般是由节点内的若干块盘组成 RAID 组的,只能容忍硬盘故障,不能容忍节点故障
( 2 ) EC 算法采用全局热备的方式,不需要单独的热备盘,所有硬盘都可参与数据读写,只要系统中有剩余空间,就可以恢复故障数据; RAID5 方式单节点至少准备一块全局热备盘
( 3 ) 4+2:1 的 EC 方式允许损害任意的 2 块盘而不丢失数据, RAID5 方式每个 RAID 组最多只允许损害 1 块盘,所谓的允许损坏多块盘是建立在所有坏盘都不位于相同 RAID 组中的,从实际经验来看,把数据安全建立在理想情况下是不靠谱的
( 4 ) 当出现硬盘故障时, EC 方式是多块盘参与数据恢复, RAID 方式只有 1 块盘(热备盘)能够写数据,这就导致 EC 方式的数据恢复效率( 1TB/ 小时)是 RAID 方式的几十倍,这也大大减少了数据恢复期间硬盘再次故障的可能(目前单盘容量都达到数个 TB 使得该风险急剧增加),进一步提升了系统的安全性
( 5 ) EC 方式的保护级别可以针对目录设置,重要的数据目录可以设置更高的保护级别以确保安全性,随着节点扩容,数据条带大小还能自动调整以获取更高的空间利用率; RAID 方式所有数据的保护级别是相同的, RAID 组一旦划分完不能够再调整
( 6 ) RAID 方式需要独立的 RAID 卡, EC 方式不需要额外的硬件支持

收起
硬件生产 · 2022-11-09
浏览1609
qiuhaoshuqiuhaoshu  技术经理 , 恒展数通
分布式对象存储采用的分布式架构,分布式架构都是有保护机制,保护机制有分布式对象服务、分布式存储的。现在分布式存储本身就有数据保护机制:副本 、纠删码(EC)等保护方式。所以不需要再次做raid了。...显示全部

分布式对象存储采用的分布式架构,分布式架构都是有保护机制,保护机制有分布式对象服务、分布式存储的。
现在分布式存储本身就有数据保护机制:副本 、纠删码(EC)等保护方式。
所以不需要再次做raid了。

收起
系统集成 · 2023-03-03
浏览1378
奔跑的蜗牛奔跑的蜗牛  高级软件开发工程师 , 武汉家事易农业科技有限公司
1、与分布式存储向对应的概念是集中式存储。这两个概念用于描述用户数据存储状态。 2、简单地,可以将磁盘阵列理解为向计算机提供高性能、高可靠性、大容量存储空间的存储系统。分布式存储与集中式存储均可使用磁盘阵列作为计算机存储数据的专用设备。 3、云存储旨在...显示全部

1、与分布式存储向对应的概念是集中式存储。这两个概念用于描述用户数据存储状态。
2、简单地,可以将磁盘阵列理解为向计算机提供高性能、高可靠性、大容量存储空间的存储系统。分布式存储与集中式存储均可使用磁盘阵列作为计算机存储数据的专用设备。
3、云存储旨在整合用户IT设备为用户提供更强大、更丰富的增值功能的存储系统,较传统磁盘阵列而言,云存储概念更先进,但目前业界对云存储的定义还存在争议并为形成标准,属于技术预研领域。目前在云存储方面势头强劲的主要有:EMC、SUN、Symantec、HuaweiSymantec等专业存储厂商。

收起
软件开发 · 2022-11-12
浏览1549
yulu4314yulu4314  技术支持 , 长春
不需要做raid了,要不然浪费的资源更大!分布式本身就有副本容错机制!显示全部

不需要做raid了,要不然浪费的资源更大!
分布式本身就有副本容错机制!

收起
系统集成 · 2023-05-31
浏览1093
dwydwy  产品总监 , 华通
不需要。 副本 、纠删码(EC)选择合适的数据安全保护就可以了。一般的应用采用合适的纠删码,性能和成本比较适合显示全部

不需要。 副本 、纠删码(EC)选择合适的数据安全保护就可以了。一般的应用采用合适的纠删码,性能和成本比较适合

收起
政府其它 · 2023-03-06
浏览1339
waring_idwaring_id  技术经理 , 某公司
正常情况下都不建议分布式存储的服务器再做 RAID ,要求磁盘是 JBOD 方式1、组成 RAID 后,硬盘的底层管理由 RAID 卡接管,硬件的基础信息(例如磁盘坏道、温度等)只能通过 RAID 卡获取,分布式存储可能无法准确获取磁盘的底层信息2、容量可能减少,性能可能降低,JBOD 是直...显示全部

正常情况下都不建议分布式存储的服务器再做 RAID ,要求磁盘是 JBOD 方式
1、组成 RAID 后,硬盘的底层管理由 RAID 卡接管,硬件的基础信息(例如磁盘坏道、温度等)只能通过 RAID 卡获取,分布式存储可能无法准确获取磁盘的底层信息
2、容量可能减少,性能可能降低,JBOD 是直连硬盘,RAID 是通过RAID 连接硬盘,中间经过了 RAID 卡
3、分布式存储自带了副本机制来确保存储的稳定和安全

收起
零售/批发 · 2023-10-16
浏览646

ChatGPT 回答

在银行行业中,数据的安全性和可靠性是至关重要的。虽然分布式存储利用自身的副本机制能够一定程度上确保硬盘损坏后的数据不丢失,但是在实际生产应用中,对本地磁盘做RAID仍然是非常必要的。

RAID技术可以将多个磁盘组合成一个逻辑卷,通过数据分散存储和冗余备份的方式提高数据的可靠性和安全性。RAID技术可以通过多种方式实现,如RAID0、RAID1、RAID5、RAID6等。其中,RAID1、RAID5、RAID6等技术可以提供数据冗余备份,即使单个磁盘损坏,数据也不会丢失。

在银行行业中,数据的安全性和可靠性是至关重要的。因此,对于分布式存储系统,建议在本地磁盘上采用RAID技术,以提高数据的可靠性和安全性。同时,还需要定期对RAID系统进行检测和维护,确保RAID系统的正常运行和数据的安全性。

提问者

johncyj
其它农信
擅长领域: 存储服务器分布式系统

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-11-08
  • 关注会员:17 人
  • 问题浏览:4470
  • 最近回答:2023-12-29
  • X社区推广