非结构化数据如何实现备份和容灾,保证数据的安全可靠?

参与23

6同行回答

非结构化数据同结构化数据一样,可按照不同的需求,实现多种方式的备份。而唯一不一样的,对于大数据,或者说海量的非结构化数据,由于数据量的巨大,不能用传统的备份方式来处理,这时候我们会建议采用历史数据归档替代传统的备份,一方面保证数据保护的时间窗,同时确保数据的回溯访问时...显示全部

非结构化数据同结构化数据一样,可按照不同的需求,实现多种方式的备份。而唯一不一样的,对于大数据,或者说海量的非结构化数据,由于数据量的巨大,不能用传统的备份方式来处理,这时候我们会建议采用历史数据归档替代传统的备份,一方面保证数据保护的时间窗,同时确保数据的回溯访问时间。

至于是采用对象还是文件还是专用的备份装置,需要考虑的核心仍然是应用需求!如果应用需要立即访问,归档一定比备份好,如果考虑得更多的成本,对RTO不是很敏感的话,采用专用备份装置,连接低成本的对象存储也会是一个不错的选择。

而对于容灾,基于文件的同步复制、基于对象的多站点分布都是有大量成功案例的方案,具体采用什么样的方案,需要根据具体的环境做相应的分析的选择。

收起
硬件生产 · 2020-12-10
浏览3028
melody2004melody2004系统架构师某城市商业银行
这个问题楼上回答的已经很全面了,我想补充一下关于容灾方面的一些看法。因为工作需要,前段时间深入了解了一些对象存储的容灾解决方案。从现阶段看,非结构化数据的容灾解决方案,对象存储的解决方式是最完整可行的。(暂不考虑价格成本)关键问题是要解决数据在两个中心存储并如何...显示全部

这个问题楼上回答的已经很全面了,我想补充一下关于容灾方面的一些看法。
因为工作需要,前段时间深入了解了一些对象存储的容灾解决方案。从现阶段看,非结构化数据的容灾解决方案,对象存储的解决方式是最完整可行的。(暂不考虑价格成本)
关键问题是要解决数据在两个中心存储并如何分配的,在容灾情况下数据如何同步,保障一致性。
其实我的理解,对象存储提供了从应用接口层到存储层的整体解决方案,这要比NAS存储在解决问题的层次要高一些,因此,在不考虑成本的前提下,对容灾有需求的,肯定是有限考虑对象存储的。

收起
银行 · 2020-12-07
浏览3047
floweryflowery存储解决方案架构师杉岩数据
数据备份对象存储支持文件多版本特性,该特性能够有效地保护用户的重要数据,在误删、误覆盖、被篡改的场景下,提供完备的数据恢复机制,大大提高了重要数据的安全性。除此之外,在多版本技术的基础上进行了增强,实现了持续数据保护功能,能够在业务出现逻辑错误,从而导致大量数据错误...显示全部
  1. 数据备份

对象存储支持文件多版本特性,该特性能够有效地保护用户的重要数据,在误删、误覆盖、被篡改的场景下,提供完备的数据恢复机制,大大提高了重要数据的安全性。

除此之外,在多版本技术的基础上进行了增强,实现了持续数据保护功能,能够在业务出现逻辑错误,从而导致大量数据错误的场景下,快速、自动地对数据进行回滚恢复,极大的降低了逻辑错误场景下的数据恢复成本。

SDS 本身非常适合用作数据备份:

l 硬件成本低:用户的选择面很大,可以使用高性价比通用服务器 + 纠删 / 多副本策略实现海量数据的低成本备份

l 多种备份方式: x86 硬件本地存储、公有云在线存储、蓝光存储

l 备份数据也可以在线访问:统一的命名空间简化数据访问,数据可以长期在线访问以实现深化利用

杉岩是国内首家完成 Veritas NetBackup 兼容认证的企业对象存储厂商,备份方案已经在中移物联网中得到应用,支撑 PB 级、跨省域的数据灾备需求。

  1. 容灾功能

对象存储的容灾功能支持数据多个站点之间的数据自动同步,实现数据的异地容灾,并且多个站点保持多活,在某个数据中心故障时,能够快速切换到另一个数据中心。

收起
软件开发 · 2020-12-15
浏览2882
匿名用户匿名用户
先明确几个概念的定义,然后再做讨论。数据备份:通过提供原始数据在多个时间点的不同版本,来保障原始数据在大时间尺度上的可回溯性。备份数据最好能够保存在原始数据不同的物理设备上,以保障备份数据安全。数据容灾在原始数据不可访问的情况下,无需从数据备份中恢复数据,即可为...显示全部

先明确几个概念的定义,然后再做讨论。

数据备份:

  1. 通过提供原始数据在多个时间点的不同版本,来保障原始数据在大时间尺度上的可回溯性。
  2. 备份数据最好能够保存在原始数据不同的物理设备上,以保障备份数据安全。

数据容灾

  1. 在原始数据不可访问的情况下,无需从数据备份中恢复数据,即可为系统提供原始数据的一个或多个时间点的、可读取、可写入、可修改、可删除的数据副本,来保障业务的可用性。

备份窗口时间

  1. 备份窗口时间是指完成一次数据备份操作所需要的时间。
  2. 数据备份会消耗主机、存储、网络资源,因此备份窗口时间越小越好。

灾备演练

  1. 灾备演练是确保备份数据和容灾数据安全的最后一道防线。
  2. 没有灾备演练的数据备份和数据容灾方案,都是不完整的,因为无法保障备份和容灾的数据一定可用。

非结构化数据一般来说有NAS和对象两种存储方式,存储方式不同,数据量、小文件数量、日数据变化量的不同,都会影响到数据备份和数据容灾的技术方案。

对象存储的数据备份和数据容灾
由于对象数据不可修改的特性——只能被删除或覆盖,不适合频繁修改的数据——因此对象存储数据备份技术相对简单,而且无需考虑备份数据量和小文件数量的影响。

  1. 数据备份。

    1. 通过开启对象存储的版本功能来实现。这是真正等同于数据备份意义上的操作,但是对于数据频繁变化业务场景,会产生大量非预期冗余数据而占用大量存储空间——我们可能只需要保留几个时间点的数据,而非数据所有的变化。
    2. 单个物理位置站点情况下,依靠对象存储自身的可靠性保障和数据持久性保障,来保障备份数据的安全。
    3. 在2个或多个地理位置站点情况下,通过存储桶复制或构建跨广域网多逻辑站点的方式,利用对象存储高数据持久性保障的技术特性,提供备份数据安全保障和容灾保障。
  2. 数据容灾

    1. 在提供容灾保障的时候,对象存储能否提供同一对象数据在所有站点的可写功能就比较重要了。这能够保障在对象数据初始写入站点故障的时候,容灾站点bucket依然可以写入同一个对象数据的不同版本,实现数据容灾功能,保护业务的可用性。但这不是所有的对象存储产品都能够提供的功能。
  3. 备份窗口时间。

    1. 在对象存储的技术架构下,对象数据每次写入或修改都是一个新的版本,因此不存在备份窗口时间的问题。

    总结一下:非结构化数据在对象系统上的备份和容灾,更多是依赖对象存储自身的技术特性,在某种程度上近似模拟出来的。

NAS存储的数据备份和数据容灾
数据量不大,小文件数量有限,日数据变化量不多,传统企业级备份软件,能够在可接受的备份窗口时间内,完成数据备份和数据容灾。
但是量变产生质变。
在海量数据、海量小文件的前提下,哪怕日数据变化量有限,传统企业级备份软件,大多数时候都无法在可接受的备份窗口时间内,完成数据备份。
这时候,最好的办法,就是使用NAS存储底层数据复制技术,来实现NAS存储海量非结构化数据的备份和容灾。

收起
硬件生产 · 2020-12-04
浏览3110
wzpystcdcwzpystcdc研发工程师某公司
用备份一体机就可以实现文档、视频的备份,建议具有重删的功能,要不需要很大容量容灾:可以用CDP,双活等来做显示全部

用备份一体机就可以实现文档、视频的备份,建议具有重删的功能,要不需要很大容量
容灾:可以用CDP,双活等来做

收起
硬件生产 · 2020-12-29
浏览2363
zhangjunxi570zhangjunxi570系统架构师某城商银行
1备份 主流的备份厂商都提供了s3的接口可以直接从对象存储里备份数据。对象存储提供了足够的冗余性,同时配合同城容灾放在对象存储里的数据里的数据也可以免备份(监管要求监管要求备份数据一定要离线存放的另当别论),如果未来对象存储支持分层,提供类似amazon的glacier层冷数...显示全部

1备份 主流的备份厂商都提供了s3的接口可以直接从对象存储里备份数据。对象存储提供了足够的冗余性,同时配合同城容灾放在对象存储里的数据里的数据也可以免备份(监管要求监管要求备份数据一定要离线存放的另当别论),如果未来对象存储支持分层,提供类似amazon的glacier层冷数据层,也可以将超期的数据在对象存储内部迁移到冷数据冷数据介质层长期归档。
2 高可用 使用副本或者就删码技术。推荐就删码的技术,保证和传统raid一样的得盘率提高故障冗余的能力。
3 容灾 两站点双活,两站点单向复制,多站点全局就删

收起
银行 · 2020-12-11
浏览2843

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-12-01
  • 关注会员:9 人
  • 问题浏览:5426
  • 最近回答:2020-12-29
  • X社区推广