aix小机上的大数据量DB2数据库备份方案选型?

公司内ODS数据库,DB2 10.5, 部署在AIX小机7.1,数据量达到15T左右,备份要求在10小时内完成。
看看各位社区专家有什么好的方案,或者采用什么软件可以在规定窗口期内完成。

参与39

9 同行回答

wangql wangql 系统工程师 NULL
用带库吧,备份软件啥都行,比如TSM、NBU10小时备份15T,算下来450M/S左右。目前LTO7开压缩理论值750M/s,不开300M/s,备份的时候多来几个驱动器开多通道并行,咋也够了。LTO7大概16年发布的吧,磁带容量6T,开压缩15T,一次备份的数据量,大概一盘磁带吧。。。...显示全部

用带库吧,备份软件啥都行,比如TSM、NBU
10小时备份15T,算下来450M/S左右。
目前LTO7开压缩理论值750M/s,不开300M/s,备份的时候多来几个驱动器开多通道并行,咋也够了。
LTO7大概16年发布的吧,磁带容量6T,开压缩15T,一次备份的数据量,大概一盘磁带吧。。。

收起
IT咨询服务 · 2023-11-02
浏览1335
cpc1989 cpc1989 课题专家组 存储工程师 某保险公司
之前遇到过类似情况,提几个想法:一是要数据库做优化,再增加投入,具体来说就是数据库数据要分散在多个大小接近的表空间,物理磁带库使用多个磁带机去并发备份,存储光纤通道带宽也要够,理论上最大备份速度可以接近数据库磁盘读带宽。存储快照的方案比较高效,但要注意快照时要数据库...显示全部

之前遇到过类似情况,提几个想法:
一是要数据库做优化,再增加投入,具体来说就是数据库数据要分散在多个大小接近的表空间,物理磁带库使用多个磁带机去并发备份,存储光纤通道带宽也要够,理论上最大备份速度可以接近数据库磁盘读带宽。
存储快照的方案比较高效,但要注意快照时要数据库配合做静默,否则数据不一致。
另外备份介质如果选择能开启重删功能的ssd存储池,每天增量数据并不多,就不需要那么高的备份带宽要求,但确实会消耗数据库cpu。

收起
保险 · 2023-11-01
浏览1365
tozf tozf 技术支持 某乡社
我觉得,除了tsm的方案,如果同时有在用ibm的svc或其他存储产品的话,一般有flashcopy功能,就不一定要限定在10小时时间窗口,flashcopy拉起到aix备份机去挂载hdisk和vg,启动db2再备份就好了,时间相对自由,具体和备份机、存储性能有关,对生产影响相对也安全可控。再配合tsm方案也可以...显示全部

我觉得,除了tsm的方案,如果同时有在用ibm的svc或其他存储产品的话,一般有flashcopy功能,就不一定要限定在10小时时间窗口,flashcopy拉起到aix备份机去挂载hdisk和vg,启动db2再备份就好了,时间相对自由,具体和备份机、存储性能有关,对生产影响相对也安全可控。

再配合tsm方案也可以的。

收起
银行 · 2023-11-01
浏览1365
Jerry Miku Jerry Miku 其它 The Global 500
按照这个要求,理论平均备份速度得450MB/s左右,考虑到实际备份不可能全程满载,按0.7的经典值估算,大概备份速度得650MB/s左右,备份存储性能压力很大,物理磁带库的话LTO5/6驱动器的话,至少4个驱动器,最好能分到6个以上,并不是越多越好,和DB2那边数据文件大小、数量配置有关。虚拟磁带...显示全部

按照这个要求,理论平均备份速度得450MB/s左右,考虑到实际备份不可能全程满载,按0.7的经典值估算,大概备份速度得650MB/s左右,备份存储性能压力很大,物理磁带库的话LTO5/6驱动器的话,至少4个驱动器,最好能分到6个以上,并不是越多越好,和DB2那边数据文件大小、数量配置有关。虚拟磁带库的话,考虑到其他备份任务的负载,至少实际IO负载(不是理论)要1GBps以上。
如果预算不受限的话,旗舰备份存储满上吧,这个要求基本也是中高端备份存储的实际性能的标准了。推荐的话,单推 DataDomain系列(不买也行,利益无关),这个速率开个源端重删,网络压力少很多。如果考虑其他虚拟磁带库,要考虑虚带容量上来后的吞吐性能衰减,虽然厂家都不标,但实测衰减还是很明显的。即使是DataDomain也存在这个问题。

收起
金融 · 2023-11-01
浏览1377
zwz99999 zwz99999 系统工程师 dcits
IBM TSM+虚拟带库,硬盘选择闪盘,备份可以满足要求显示全部

IBM TSM+虚拟带库,硬盘选择闪盘,备份可以满足要求

收起
系统集成 · 2023-11-01
  • IBM TSM是啥原理啊? 有那么快么,目前用commvault备份,目测增量备份和全量备份差不多的时间,ODS变化量很大,大概1天归档400G
    2023-11-01
libai21 libai21 课题专家组 软件架构设计师 海通证券
主要取决于磁盘的速度,cpu数量和单个表空间的大小。现在备份要用多少时间,最大表空间是多大,存储是用的啥,写入速度有多少。如果表空间分布均匀,磁盘写入达到500M/s以上,10个小时可以完成。...显示全部

主要取决于磁盘的速度,cpu数量和单个表空间的大小。
现在备份要用多少时间,最大表空间是多大,存储是用的啥,写入速度有多少。如果表空间分布均匀,磁盘写入达到500M/s以上,10个小时可以完成。

收起
证券 · 2023-11-01
浏览1476
else_xie else_xie 系统运维工程师 NZX
LAN FREE 方式应该没有问题吧。显示全部

LAN FREE 方式应该没有问题吧。

收起
保险 · 2023-11-10
浏览1129
waring_id waring_id 技术经理 某公司
如果备份的速率能够持续保持在 500M/s ,整体备份难度不大。大部分的备份软件和存储介质(需要结合存储介质的速度和数量综合评估,保持50%或以上的 IO 冗余)能够满足。需要重点考虑的是备份操作进行的时候数据库本身的 IO 对备份速率的影响(例如运行的进程、数据库大文件...显示全部

如果备份的速率能够持续保持在 500M/s ,整体备份难度不大。大部分的备份软件和存储介质(需要结合存储介质的速度和数量综合评估,保持50%或以上的 IO 冗余)能够满足。

需要重点考虑的是备份操作进行的时候数据库本身的 IO 对备份速率的影响(例如运行的进程、数据库大文件的复制操作、主机内存的影响、主机本身的性能影响等)

收起
零售/批发 · 2023-11-27
浏览1022
luckman_2008 邀答
匿名用户匿名用户
有几个问题需要考虑的考虑ODS数据库存储的性能(1) 如果要求备份1.5TB每个小时,就意味着每秒 450MB ,要考虑到ODS数据库 存储的性能,是否可以达到这样的的读取速度?存储是什么? EMC ,华为 ,全闪存储么? 备份软件首先要读取 数据库的数据,然后写入到后端备份一体机或磁带库;(2)...显示全部

有几个问题需要考虑的

考虑ODS数据库存储的性能

(1) 如果要求备份1.5TB每个小时,就意味着每秒 450MB ,要考虑到ODS数据库 存储的性能,是否可以达到这样的的读取速度?
存储是什么? EMC ,华为 ,全闪存储么? 
备份软件首先要读取 数据库的数据,然后写入到后端备份一体机或磁带库;
(2)要考虑 每秒备份读取达到 450MB时,是否会对生产系统造成压力?

考虑ODS数据库 小型机的CPU和内存配置

(3)AIX小型机 ,CPU平时的负载是什么样的,
如果上前端消重,对CPU和内存会有一定的消耗,

比较理想的解决方案
(1)必须前端消重,要求消重率 90%以上,要求对CPU和内存消耗较小;
(2)备份一体机,要求用NVME SSD盘,这样盘写入速度可以达到2GB每秒
(3)后端消重,存储的空间会小很多;
(4)备份网络要求 万兆网络起步

国外备份软件产品
(1) VERITAS  NETBACKUP 
(2) COMMVAULT 
(3) COHESITY 
(4) IBM TSM

国内备份产品
(1) 明和MHFLEX超融合第二存储,带前端消重功能,DB2可以到90%左右,具体需要实际测试,以实际测试数据为准;每天日志量400G , 这个部分消重率比较低。
(2) 爱数 ,有消重功能
(3) 鼎甲,听说有前端消重,
(4) 英方,听说无消重功能,A股上市

(5) 云信达,CDM , 功能未知,

还有一个 不需要前端去重的解决方案,就是后端备份一体机是后端消重(比如EMC DD,明和DPD消重,华为OCEANPROTECT )
这个时候对网络带宽的压力比较大,后端消重能力看DD消重率。
最好做POC测试,厂家给的数据 未必准确,有一定“遥遥领先”的成分,还是要看实际测试效果。

收起
软件开发 · 2023-11-03
浏览1279

ChatGPT 回答

针对这个问题,我可以提供以下建议:

  1. 数据库备份方案:可以考虑使用IBM Tivoli Storage Manager(TSM)进行备份。TSM是一款备份和恢复软件,可以对DB2数据库进行备份,并且支持增量备份和差异备份,可以大大缩短备份时间。此外,TSM还支持数据压缩和加密,可以保证备份数据的安全性和可靠性。
  2. 数据库性能优化:可以通过调整DB2数据库的参数来提高性能。例如,可以增加数据库缓存池的大小,提高缓存效率;可以调整日志文件的大小和数量,减少IO操作;可以优化SQL语句,减少查询时间等。
  3. 硬件升级:如果备份时间无法在规定窗口期内完成,可以考虑升级硬件。例如,可以增加存储容量,提高磁盘读写速度;可以增加内存,提高数据库缓存效率;可以增加CPU核心数,提高数据库处理能力等。
  4. 数据库分区:如果数据量过大,可以考虑对数据库进行分区。将数据分散到多个分区中,可以减少单个分区的数据量,提高查询和备份效率。

综上所述,以上建议可以帮助您优化数据库备份方案,提高数据库性能,缩短备份时间,保证备份数据的安全性和可靠性。同时,也可以考虑升级硬件或者对数据库进行分区,以满足备份时间的要求。

提问者

luckman_2008
系统运维工程师 人寿保险
擅长领域: 数据库存储服务器
评论83

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-11-01
  • 关注会员:11 人
  • 问题浏览:5109
  • 最近回答:2023-11-27
  • X社区推广