有限的备份时间窗口期内,如何实现多备份任务的时间均衡?

oracle生产数据库集群和基于heartbeat实现的国产数据库集群,结构化数据容量≥30TB,非机构化数据≥20TB另外有大量非结构化数据库的备份任务。每周全被一次,日增量按天合并!全量备份一次8个小时,为了能够及时发现备份任务异常情况,现有备份任务都部署在白天,方便运维人员监管,但同时也出现系统业务高峰期和数据备份任务重叠,而导致系统压力过高!
1.备份任务数量:9个
2.最长备份时间≥8h
3.最大增量800Gb归档
4.非结构化数据备份走网络,
5.现有的备份技术:基于日志的,基于文件的,基于存储块的,基于操作系统lv镜像,基于阵列的镜像技术
困扰:任务太多,任务重叠多,部分备份任务,缺乏有效的数据备份有效性验证手段,任务多导致源主机压力大,风险在运维出现,运维人员压力大!

参与11

2同行回答

haizdlhaizdl  技术经理 , 大连
我觉得这个是一个共性问题,很多企业都会有这样的问题。如果企业有预算投入到持续不断的备份建设过程还好,如果没有的话,运维人员就比较郁闷了。我觉得可以从两个方面来考虑这个问题:1.平衡现有的备份设备性能和现有备份任务之间的均衡性。目标只有一个就是使得备份系统的运行...显示全部

我觉得这个是一个共性问题,很多企业都会有这样的问题。如果企业有预算投入到持续不断的备份建设过程还好,如果没有的话,运维人员就比较郁闷了。我觉得可以从两个方面来考虑这个问题:
1.平衡现有的备份设备性能和现有备份任务之间的均衡性。目标只有一个就是使得备份系统的运行达到在其有限能力之内的一个平衡,不能有超过备份系统现有容纳能力的备份聚焦时间段。这个具体平衡的办法就要看自己的作业特点了。把作业启动时刻、作业平均运行时间、作业高峰容量占用以及平均的容量占用等多个属性指标拿出来放到一起去做平衡,至于具体评估工具我觉得电子表格就可以实现。
2.将备份作业根据数据备份需求做分级,重要的必须保障的是一种策略,非重要的是另外一种策略。结构化的是一种策略一种模式,非结构化的在必要情况下可以采用其他的更高效备份方式,比如存储快照。总而言之在有限的资源和预算情况下,首先保障重要的,其次保障非重要的。
3.需要对备份作业进行细分,并且合理评估。比如归档和全量备份就不是同一个类型的。其作用和影响程度也不同。归档失败时间太长,当归档空间不足时就会影响数据库的正常运行。全量备份失败了,最坏情况下,需要恢复的时候只能基于前一个全量备份做恢复,做前滚的时间更长。但是这两个结果对于我们的生产环境造成的严重程度是不一样的,我们需要有一个有限保障的策略。

总而言之,当投入资源小于作业增长速度的时候,我们非常有必要对现有资源和作业进行一个全方位的评估和优化调整,保障其持续性绿色发展。

收起
银行 · 2018-03-08
浏览2195
lscomeonlscomeon  其它 , 收割者
典型的让驴拉磨还不给吃草显示全部

典型的让驴拉磨还不给吃草

收起
国防军队 · 2018-03-06
浏览2175

提问者

浩飞
项目总监backup

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-03-06
  • 关注会员:3 人
  • 问题浏览:4970
  • 最近回答:2018-03-08
  • X社区推广