如何保证超融合分布式存储数据一致性?

分布式的存储都会遇到的数据一致性如何解决?

参与9

2同行回答

nkj2021nkj2021  系统架构师 , 某证券企业
通常银行对数据一致性的要求是最高的。SmartX 系统通过 MetaServer 和 Zookeeper 的机制保证多个副本强一致性,zookeeper 防止脑裂的情况发生;journal 日志机制可保证节点意外掉电后可通过日志回放保证数据一致性;datacheck sum 可以通过校验数据修复因硬盘故障导致的副本不...显示全部

通常银行对数据一致性的要求是最高的。SmartX 系统通过 MetaServer 和 Zookeeper 的机制保证多个副本强一致性,zookeeper 防止脑裂的情况发生;journal 日志机制可保证节点意外掉电后可通过日志回放保证数据一致性;datacheck sum 可以通过校验数据修复因硬盘故障导致的副本不一致的问题。

收起
证券 · 2021-06-16
浏览2024
华为FusionCube超融合分布式存储软件采用多种技术手段,包括强一致性复制协议、读修复技术和数据完整性保护技术设计,保证了数据的一致性和完整性。 强一致性复制协议 分布式存储软件采用强一致性复制协议来保证多个副本数据的一致性,即只有当所有副本都写成功,才返回写入磁...显示全部

华为FusionCube超融合分布式存储软件采用多种技术手段,包括强一致性复制协议、读修复技术和数据完整性保护技术设计,保证了数据的一致性和完整性。

强一致性复制协议
分布式存储软件采用强一致性复制协议来保证多个副本数据的一致性,即只有当所有副本都写成功,才返回写入磁盘成功。正常情况下分布式存储软件保证每个副本上的数据都是完全一致,从任一副本读到的数据都是相同的。如果某个副本中的某个磁盘短暂故障,分布式存储软件会暂时不写这个副本,等恢复后再恢复该副本上的数据;如果磁盘长时间或者永久故障,分布式存储软件会把这个磁盘从群集中移除掉,并为副本寻找新的副本磁盘,再通过重建机制使得数据在各个磁盘上的分布均匀。

读修复技术
分布式存储软件还实现读修复(Read Repair)技术,读修复机制是指在读数据失败时,系统会判断错误类型,如果是磁盘扇区读取错误,系统会自动从其他节点保存的副本读取数据,然后重新写入该副本数据到硬盘扇区错误的节点,从而保证数据副本总数不减少和副本间的数据一致性。

数据完整性保护
分布式存储软件通过IO实时端到端数据完整性校验、后台周期性数据校验以及损坏数据实时自愈纠错机制来解决静默数据破损场景。
分布式存储软件提供IO级端到端的数据完整性保护方案,能够有效检测跳变、读写偏等各种静默数据破坏场景,当检测到数据静默破坏后会实时对数据进行纠错自愈,避免数据损坏扩散。如下图展示了IO路径关键静默数据错误检测位置,使用CRC32保护用户4KB数据,除此外支持主机LBA校验,盘LBA校验等。

收起
IT咨询服务 · 2021-06-29
浏览1921

提问者

ysryoyo
系统工程师某保险公司
擅长领域: 灾备存储超融合

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-06-10
  • 关注会员:4 人
  • 问题浏览:2757
  • 最近回答:2021-06-29
  • X社区推广