银行业数据库(以Oracle为例)备份以及依赖备份的开发环境数据恢复架构应该如何建设?

目前我行现有的架构为:生产定时通过数据泵(EXPDP)备份出压缩DUMP——放至多个FTP服务器(采用超大容量廉价硬盘PC,40T-120T)——开发环境从FTP服务器取DUMP——脱敏——使用。但是现有架构,其实在现今银行数据量越来越大的情况下早已捉襟见肘,主要问题反应在以下几点:(1)数据库数据大...显示全部

目前我行现有的架构为:
生产定时通过数据泵(EXPDP)备份出压缩DUMP——放至多个FTP服务器(采用超大容量廉价硬盘PC,40T-120T)——开发环境从FTP服务器取DUMP——脱敏——使用。
但是现有架构,其实在现今银行数据量越来越大的情况下早已捉襟见肘,主要问题反应在以下几点:
(1)数据库数据大后,expdp导出的时间较长,一些OLAP数据库已经无法在非业务时间段完成备份。
(2) 导出时对生产IO影响较大,会影响夜间一些批处理工作的。
(3) 对于大库的开发环境恢复,导入+脱敏的时间非常长,会造成开发人员的无意义等待。 请问,目前是否有哪家银行有好一点的备份、利用备份开发环境恢复的方案?还望不吝赐教。

之前也有了解过一些解决方案,但是有以下几点顾虑,也不知道诸位在实际使用中是否有遇到:
(1)如果使用专业备份设备、软件,如NBU、EMC DD,即利用rman+archive log的方式备份,那么归档的过大,是否会造成大量浪费?
(2)利用rman+archive log的备份片,如果想在开发环境恢复,应该较为麻烦,如何解决?我行生产数据库可能有近10个系统,如果仅仅想恢复一个系统数据到开发环境,如何实现?
(3)利用存储快照进行备份,开发环境使用快照。这种情况我不清楚对于存储的要求有多高,但假设要保留近3年的数据,我想这个成本应该是非常大吧?不知道有无银行是这种架构,使用感如何。 感谢,感谢。

收起

查看其它 2 个回答michael1983的回答

michael1983michael1983  技术总监 , 中天国富证券有限公司
han468009219Ken_joe赞同了此回答

说实话,这是金融行业尤其是银行业的通用疑惑。
银行业有监管要求,普遍存在双网隔离的情况(生产和办公室两张网),生产环境一般在生产网,开发测试环境一般在办公网,所以两张网之间的数据传输本身就存在复杂性和不便利性, 更不要说楼主所说的系统备份及恢复这类大数据量的传输了。通常来说,有几个思路可以借鉴,这也是大多数中小银行的通用做法。
1、首先,开发环境的恢复不会很频繁,也没必要很频繁。我们是做到了生产环境和准生产环境基本一致,这两个环境是在同一网络,同步相对容易。所以就牺牲了开发环境的时效性。而且,生产数据进入开发环境,需要数据脱敏,所以也急不来。
2、有了第一个前提,对备份和恢复方式的选择就会比较游刃有余。我们原来选择的是磁带备份,然后手工导带进行恢复,利用的是24小时值班人员的操作,手册做的完善一些,基本可以满足开发人员要求。
3、存储快照的方式对技术有一些要求,对存储的选择和一些软件的选择也有要求,价格方面确实会提高。
4、结合自身实际情况,考虑多种因素(性价比?效率?速度?容量?安全?),才能有对应的方案,有鸟枪,也有大炮,看自身选择。

 2020-04-01
  • 磁带我还从来没接触过,磁带的效率如何?比如恢复一个10T的库,大概需要多长时间呢
    2020-04-03
  • 银行业务啥数据库啊?怎么有10T?昏~ 现在磁带已经LTO7了,理论传输速度有300MB/s
    2020-04-03
  • 对于绩效考核、CRM这类的很容易超过10T,而数据仓库这种就更大了,还是有恢复需求的
    2020-04-08

回答者

michael1983技术总监, 中天国富证券有限公司

分布式关系型数据库选型优先顺序调查

发表您的选型观点,参与即得50金币。

回答状态

  • 发布时间:2020-04-01
  • 关注会员:7 人
  • 回答浏览:979