关于信创系统数据备份体系建设有哪些注意事项?

数据备份管理与系统的连续性、数据的完整性和可用性高度相关,是信息系统运行管理的重要内容,如何保障信创系统数据备份体系成功建设,请大佬们分享一下实践经验。特别是非结构化小文件如何提升备份效率?如何降低国产化替代成本?信创数据迁移解决方案?两地三中心备份体系建设方案?如何解决高并发备份任务与成本考虑。

参与31

6同行回答

czjingczjing  系统运维工程师 , 运维
每个问题都可以成为一个独立的课题,当然对于当下每个课题都有对应的可选择的产品,只是全部考虑进来,对于每个模块功能支持的力度上会有取舍。对于方案设计,需要根据业务需求和数据特点,制定明确的数据备份策略,包括全量备份和增量备份的频率、备份保留周期、备份存储位置等。确...显示全部

每个问题都可以成为一个独立的课题,当然对于当下每个课题都有对应的可选择的产品,只是全部考虑进来,对于每个模块功能支持的力度上会有取舍。对于方案设计,需要根据业务需求和数据特点,制定明确的数据备份策略,包括全量备份和增量备份的频率、备份保留周期、备份存储位置等。确保备份计划符合业务需求和未来业务发展。为节约投入成本及备份效率,需要选择适当的备份技术,避免重复备份和浪费存储空间,如增量备份、差异备份、快照备份等,以提高备份效率。对于非结构化小文件,可以使用专门优化过的备份工具或文件系统,采取以提升备份速度。

收起
互联网服务 · 2023-11-10
浏览300
峨眉山修行者峨眉山修行者  QA工程师 , 北京
宽泛的问题下接着几个子问题,确实每个问题都能做一篇专业解答了,我尽量以简短的字句表达清楚一点。认识到灾备的重要性,开始着手灾备,并且考虑的是信创环境,不论从自身还是从为国为民角度出发都是非常好的一件事情。1、如何保障信创数据备份体系成功建设?目前国内灾备赛道中,还...显示全部

宽泛的问题下接着几个子问题,确实每个问题都能做一篇专业解答了,我尽量以简短的字句表达清楚一点。

认识到灾备的重要性,开始着手灾备,并且考虑的是信创环境,不论从自身还是从为国为民角度出发都是非常好的一件事情。

1、如何保障信创数据备份体系成功建设?

目前国内灾备赛道中,还是有比较多的灾备厂商,各个厂商对于信创环境其实都已经有了相关案例,通过厂商官网渠道进行了解即可。

2、非结构小文件如何提升备份效率?

在海量小文件下,确实存在着扫描慢,传输慢的现象,这是因为所使用的文件客户端或者文件系统,在海量小文件下,并没有做过多的优化。

举个简单例子:一亿个20kb左右的小文件,存放在windwos系统中,光是右击根目录想查看具体文件大小,也要等个非常久,我自己测试等了8个小时就没再等了。

从灾备角度如何提升备份效率,有两个方面:

①从文件级备份入手:可采用多线程、多节点、多任务的并行备份方式来进行备份,不过多节点和多任务的情况下,可能会导致本该在一个备份集的数据分散在不同的备份集中,借助软件管理起来难度倒也不大。多线程可以分为:多线程扫描文件,多线程传输文件,再扫描文件的同时传输数据,再结合小文件打包的处理方式,就可以很好的提高海量小文件的备份效率了。当第一次数据完全备份下来一次后,后续配备增量备份的策略,就可以有效的将备份所需时间降低很大一截,后续可能在执行备份的时候,几乎所有的时间都是用来扫描文件的。

②从磁盘数据块级别入手:从磁盘的数据块入手,备份海量小文件,无需对文件进行扫描,将含有真实数据的数据块,全部备份走就可以了,不过这个对灾备系统要求较高,需要灾备系统支持恢复。

3、 如何降低国产化替代成本?

信创生态的发展道路,并非一条康庄大道,需要国内众多IT厂商和用户的支持。可以确定好自身的需求和预算,结合起来进行发标。当然除了支持以外,一个全场景的灾备系统也是非常重要的缩减成本的方法之一,关于这个可以了解以下云祺。

4、 信创数据迁移方案?

这个就需要了解下数据类型了,灾备领域中,常见的数据类型,也就是备份的对象有

:虚拟机、数据库、操作系统整机、文件。文件的迁移就相对其他几个简单多了,这里就不提了。 虚拟机、数据库和操作系统的迁移会稍微麻烦些:

①虚拟机:笨办法就是,手动在信创平台上重新一步一步搭建虚拟机;第二种是,利用灾备系统的跨平台恢复功能来完成迁移(从平台兼容性上讲的话,这个国内做到的比较少,感兴趣可以了解云祺),当然也有其他的第三方迁移工具同样是可以借助的。

②数据库:我对于数据库不是太专业,如果数据库的字段处理逻辑有区别的话,可能需要自行编写字段映射脚本来完成迁移,或者借助第三方平台来完成迁移。

③操作系统:在操作系统侧,信创生态中像麒麟、统信、中科方德等,都有兼容win平台应用的一些方案,可以了解以下。

总的来说,一个软件的灾备兼容性越好,当然能够做灾备的事儿就越多,从成本考虑也可以降低成本。

5、 两地三中心备份体系建设方案?

一般采用两地三中心了的话,it架构也算比较大规模的了,大规模意味着备份的对象数

据量也多,而且还分散在两地,这就需要借助专业的灾备系统了,人力去备份两地三中心,嗯不用想,数据备份下来了,能不能按照规定稳定的保存都是各问题。然后各中心之间也可以相互存放各自的备份数据,达到异地容灾的目的等。同时也需要灾备系统能够支持多节点的分布式部署方式,能够统一的管理备份数据,便捷的运维方式也有助于降低投入成本。

6、 如何解决高并发备份任务于成本考虑?

这个的话,可以简单理解下CPU执行并发任务的逻辑,从时间上下手,一条备份任务

不可能一天24小时都在备份数据,传输数据吧,一定有空闲的时候,这个其实就是灾备领域中的一个术语:时间窗口,一条备份任务执行备份倒数据传输完成后,其余时间就是再等待下一次的执行,所以错开备份任务执行的时间就可以了,当错开时间都无法满足备份量之后,也可以考虑加节点等方式来进行增配。

前面的话说的是定时备份,还有种方式是实时备份,如果上了实时备份的话,当然成本

也就上去了,总体来说结合自身业务重要程度,再来考虑是否上实时备份。

感谢各位的阅读~以上也只是一个大概,仍然需要根据具体环境,再进行更进一步的具体分析。

收起
软件开发 · 2023-09-14
浏览503
朱向东朱向东  高级工程师 , 某银行
首先,第一个问题,建设数据备份体系需要注意以下事项:确定备份策略:备份频率、备份方式、备份存储位置等。确保备份数据的完整性和可靠性:备份数据应经过验证和测试,保证备份数据的完整性和可靠性,以确保在灾难恢复时能够恢复数据。确定备份周期:根据业务需求,确定备份周期和备份时...显示全部

首先,第一个问题,建设数据备份体系需要注意以下事项:

  1. 确定备份策略:备份频率、备份方式、备份存储位置等。
  2. 确保备份数据的完整性和可靠性:备份数据应经过验证和测试,保证备份数据的完整性和可靠性,以确保在灾难恢复时能够恢复数据。
  3. 确定备份周期:根据业务需求,确定备份周期和备份时段,以保证备份数据的实时性和及时性。
  4. 确保备份数据的安全性:备份数据应加密存储,并进行定期的安全审计和监测,以确保备份数据的安全性。
  5. 确保备份系统的可用性:备份系统应具有高可用性,以确保备份系统在灾难恢复时的可用性。
  6. 确保备份系统的自动化:备份系统应具有自动化管理功能,以减少人为干预,提高备份效率。
  7. 确保备份系统的灵活性:备份系统应具有灵活性,以适应不同业务需求和变化。
  8. 确保备份数据的可恢复性:备份数据应经过测试和验证,确保备份数据的可恢复性,以保证在灾难恢复时能够恢复数据。

    其次,第二个问题,对于备份非结构化小文件时,可以考虑以下几个方面来提升备份效率:

    1. 利用增量备份:增量备份只备份新增或修改的文件,可以减少备份的数据量,提高备份效率。
    2. 压缩备份数据:将备份数据进行压缩,可以减少备份数据的大小,提高备份效率。
    3. 利用并行备份:将备份任务分成多个子任务,并行备份,可以提高备份效率。
    4. 利用去重备份:对重复的文件只备份一次,可以减少备份数据的大小,提高备份效率。
    5. 调整备份策略:根据实际情况,调整备份策略,如减少备份频率、调整备份时段等,可以提高备份效率。
    6. 利用专业备份软件:选择专业备份软件,可以提供更高效的备份方式和备份管理功能,提高备份效率。
    7. 选择适合的备份存储介质:根据备份数据的大小和备份需求,选择适合的备份存储介质,如硬盘、磁带等,可以提高备份效率。

第三个问题,国产化替代是企业实现技术自主可控的重要手段,但同时也存在着一定的成本压力。以下是降低国产化替代成本的几个建议:

  1. 制定明确的国产化替代策略:企业应该制定明确的国产化替代策略,明确替代的目标、范围、时间和成本等,从而为后续的替代工作提供指导和支持。
  2. 优化供应链管理:企业应该优化供应链管理,加强对供应商的管理和监督,协商降低原材料和配件的价格,以降低替代成本。
  3. 加强技术研发和创新:企业应该加强技术研发和创新,提高自身的技术水平和核心竞争力,降低引进和替代成本。
  4. 引进和培养人才:企业应该引进和培养技术人才,提高技术创新能力,降低技术引进和替代的成本。
  5. 加强与政府和行业协会的合作:企业应该加强与政府和行业协会的合作,获取政策支持和行业信息,降低替代成本。
  6. 探索共享机制:企业可以探索共享机制,与其他企业或组织共同开发或使用某些技术或设备,降低替代成本。
  7. 合理规划替代周期:企业应该根据产品的生命周期和市场需求,合理规划替代周期,避免过于频繁或过于长期的替代,降低替代成本。

第四个问题,数据迁移是指将数据从一个存储系统移动到另一个存储系统的过程,以下是信创数据迁移的解决方案:

  1. 选择合适的迁移方式:根据迁移数据的大小、迁移时间、迁移成本等因素,选择合适的迁移方式,如在线迁移、离线迁移、增量迁移等。
  2. 制定详细的迁移计划:制定详细的迁移计划,包括迁移数据的范围、迁移时间、迁移方式、迁移流程、数据验证等,确保迁移过程顺利进行。
  3. 确保数据安全性:在迁移过程中,要确保数据的安全性,如加密传输、数据备份、数据验证等,以确保迁移数据的完整性和可靠性。
  4. 测试和验证迁移数据:在迁移完成后,需要进行测试和验证,确保迁移数据的完整性和可用性。
  5. 建立数据备份和恢复机制:在迁移完成后,建立数据备份和恢复机制,确保数据的安全性和可靠性。
  6. 选择合适的迁移工具:选择合适的迁移工具,如数据迁移软件、数据备份软件等,以提高迁移效率和减少迁移成本。
  7. 合理规划迁移时间:合理规划迁移时间,避免在业务高峰期进行迁移,以避免对业务造成影响。

第五个问题,两地三中心备份体系是指在两个不同的地理位置建立三个数据中心,分别为主数据中心、备份数据中心1和备份数据中心2。以下是两地三中心备份体系建设方案:

  1. 建立主数据中心:主数据中心是整个备份体系的核心,应该建立在稳定的地理位置,拥有足够的带宽和存储容量,可承担业务的主要数据处理和存储任务。
  2. 建立备份数据中心1:备份数据中心1应该建立在与主数据中心相距较远的地理位置,以确保在主数据中心出现故障时,备份数据中心1能够及时接管业务,并保证数据的安全性和可靠性。
  3. 建立备份数据中心2:备份数据中心2应该建立在与主数据中心和备份数据中心1相距较远的地理位置,以确保在主数据中心和备份数据中心1同时出现故障时,备份数据中心2能够及时接管业务,并保证数据的安全性和可靠性。
  4. 配置高可靠性的硬件设备:在建设两地三中心备份体系时,应该配置高可靠性的硬件设备,如服务器、存储设备、网络设备等,以确保整个备份体系的稳定性和可靠性。
  5. 配置高效的备份软件:在备份体系的建设中,应该选择高效的备份软件,以提高备份效率和数据恢复的速度。
  6. 制定详细的备份策略:在备份体系建设完成后,应该制定详细的备份策略,包括备份频率、备份方式、备份存储位置等,以确保备份数据的完整性和可靠性。
  7. 定期测试备份体系:在备份体系建设完成后,应该定期测试备份体系,验证备份数据的完整性和可用性,并及时修复备份体系中出现的问题。

第六个问题,高并发备份任务与成本之间的考虑可以通过以下几个步骤来解决:

  1. 定义备份策略:确定备份的频率和备份的数据范围,以及备份的数据保留期限。根据这些要素制定出最优的备份方案。
  2. 选择合适的备份工具:选择适合备份任务的工具,可以提高备份的效率和减少备份的时间和成本。备份工具的选择应该考虑到备份的数据量、数据类型、备份的速度和恢复的速度等因素。
  3. 优化备份环境:优化备份环境包括网络、存储、硬件设备等方面。优化备份环境可以提高备份的效率和减少备份时间,从而降低备份的成本。
  4. 分布式备份:采用分布式备份可以提高备份的效率和可靠性。分布式备份可以将备份任务分散到多台备份服务器上,减少备份任务的负载和提高备份的效率和可靠性。
  5. 采用压缩和增量备份:采用压缩和增量备份可以减少备份的数据量,从而降低备份的成本。压缩和增量备份可以将备份的数据压缩成更小的文件,只备份发生变化的数据,从而减少备份的数据量。
  6. 采用云备份:采用云备份可以降低备份的成本和提高备份的可靠性。云备份可以将备份数据存储到云端,避免了硬件设备的成本和维护费用。同时,云备份还具有高可靠性、高可用性和自动化等优点。但要遵循法律法规和监管要求来选择合适且合规的云备份产品。
收起
银行 · 2023-04-06
浏览1200
czw19900415czw19900415  数据库架构师 , 北京优炫软件股份有限公司
首先吐槽一下,你这个5个问题,每个一个都可以拉出来进行专门的分析和解答。鉴于篇幅和打字麻烦问题,只能给一个大体思路:1 首先结合业务确定备份策略,我们信息部门的工作得结合业务进行综合分析。比如日常的业务数据审计,你的备份策略必须包括你业务部门审计需求。2数据类型的...显示全部

首先吐槽一下,你这个5个问题,每个一个都可以拉出来进行专门的分析和解答。鉴于篇幅和打字麻烦问题,只能给一个大体思路:
1 首先结合业务确定备份策略,我们信息部门的工作得结合业务进行综合分析。比如日常的业务数据审计,你的备份策略必须包括你业务部门审计需求。
2数据类型的区分,结构化数据和非结构数据备份,结构化数据又要区分数据库类型,非结构化数据备份是不是得考虑业务层进行数据周期拆分
3数据冷热问题,实时数据拆分冷热数据,冷数据可以考虑定时备份,热数据是不是得考虑采用一次写输入,后端直接备份,利用缓存技术进行数据的提高读取效率。
4数据IO情况分析,有些数据读多写少,有些数据写多读少这些都是要考虑到你的备份策略里面的
5数据结构书否冷热均匀分布,都得考虑进去。

收起
IT其它 · 2023-02-28
浏览1337
小白云小白云  DBA , 某券商
目前,备份数据涉及结构化数据和非结构化数据两类。显示全部

目前,备份数据涉及结构化数据和非结构化数据两类。

收起
证券 · 2023-02-22
浏览1342
dongdiydongdiy  软件开发工程师 , 金路金达
你的非结构化是办公类文件吗?j显示全部

你的非结构化是办公类文件吗?j

收起
轨道交通 · 2023-02-22
浏览1350

ChatGPT 回答

针对数据备份管理与系统的连续性、数据的完整性和可用性高度相关的问题,以下是一些实践经验和建议:

  1. 数据备份方案的设计

首先,需要根据业务需求和数据特点,设计合理的备份方案。对于非结构化小文件,可以采用增量备份和差异备份的方式,避免重复备份和浪费存储空间。同时,可以考虑使用压缩和去重技术,进一步提升备份效率。

  1. 数据备份的周期和频率

备份周期和频率应该根据业务需求和数据变化情况进行调整。对于重要数据,建议采用多级备份策略,包括本地备份、异地备份和云备份等,以保证数据的安全性和可用性。

  1. 数据备份的测试和验证

备份数据的可靠性和完整性需要进行测试和验证。可以定期进行备份恢复测试,确保备份数据的可用性和正确性。同时,需要定期对备份数据进行校验和验证,以确保备份数据的完整性和一致性。

  1. 数据迁移解决方案

对于数据迁移,可以采用增量迁移和全量迁移的方式。增量迁移可以避免数据重复传输和浪费带宽,全量迁移则可以确保数据的完整性和一致性。同时,需要考虑数据迁移的时间和成本,选择合适的迁移方案。

  1. 备份体系建设方案

对于两地三中心备份体系建设方案,需要考虑数据同步和备份的时间和频率,以及备份数据的存储和恢复能力。同时,需要考虑备份数据的安全性和可用性,以确保备份数据的完整性和一致性。

  1. 高并发备份任务与成本考虑

对于高并发备份任务,需要考虑备份系统的性能和容量,以确保备份任务的完成和数据的可用性。同时,需要考虑备份成本和效益,选择合适的备份方案和技术,以降低备份成本和提高备份效率。

总之,数据备份管理与系统的连续性、数据的完整性和可用性高度相关,是信息系统运行管理的重要内容。需要根据业务需求和数据特点,设计合理的备份方案和迁移方案,定期进行备份测试和验证,以确保备份数据的可靠性和完整性。同时,需要考虑备份成本和效益,选择合适的备份方案和技术,以降低备份成本和提高备份效率。

提问者

小白云
DBA某券商
擅长领域: 信创服务器信创操作系统

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-02-22
  • 关注会员:8 人
  • 问题浏览:2801
  • 最近回答:2023-11-10
  • X社区推广