银行业数据库(以Oracle为例)备份以及依赖备份的开发环境数据恢复架构应该如何建设?

目前我行现有的架构为:
生产定时通过数据泵(EXPDP)备份出压缩DUMP——放至多个FTP服务器(采用超大容量廉价硬盘PC,40T-120T)——开发环境从FTP服务器取DUMP——脱敏——使用。
但是现有架构,其实在现今银行数据量越来越大的情况下早已捉襟见肘,主要问题反应在以下几点:
(1)数据库数据大后,expdp导出的时间较长,一些OLAP数据库已经无法在非业务时间段完成备份。
(2) 导出时对生产IO影响较大,会影响夜间一些批处理工作的。
(3) 对于大库的开发环境恢复,导入+脱敏的时间非常长,会造成开发人员的无意义等待。 请问,目前是否有哪家银行有好一点的备份、利用备份开发环境恢复的方案?还望不吝赐教。

之前也有了解过一些解决方案,但是有以下几点顾虑,也不知道诸位在实际使用中是否有遇到:
(1)如果使用专业备份设备、软件,如NBU、EMC DD,即利用rman+archive log的方式备份,那么归档的过大,是否会造成大量浪费?
(2)利用rman+archive log的备份片,如果想在开发环境恢复,应该较为麻烦,如何解决?我行生产数据库可能有近10个系统,如果仅仅想恢复一个系统数据到开发环境,如何实现?
(3)利用存储快照进行备份,开发环境使用快照。这种情况我不清楚对于存储的要求有多高,但假设要保留近3年的数据,我想这个成本应该是非常大吧?不知道有无银行是这种架构,使用感如何。 感谢,感谢。

参与21

3同行回答

AmygoAmygo  DBA , 分布式事务数据库
很抱歉,Oracle我曾经也是一个入门者而已。专注MySQL开源数据库、PostgreSQL开源数据库和SQL Server方面。无法给出较好的解答,抱歉!显示全部

很抱歉,Oracle我曾经也是一个入门者而已。专注MySQL开源数据库、PostgreSQL开源数据库和SQL Server方面。

无法给出较好的解答,抱歉!

收起
银行 · 2020-04-01
浏览3141
michael1983michael1983  技术总监 , 某证券
说实话,这是金融行业尤其是银行业的通用疑惑。银行业有监管要求,普遍存在双网隔离的情况(生产和办公室两张网),生产环境一般在生产网,开发测试环境一般在办公网,所以两张网之间的数据传输本身就存在复杂性和不便利性, 更不要说楼主所说的系统备份及恢复这类大数据量的传输了。通...显示全部

说实话,这是金融行业尤其是银行业的通用疑惑。
银行业有监管要求,普遍存在双网隔离的情况(生产和办公室两张网),生产环境一般在生产网,开发测试环境一般在办公网,所以两张网之间的数据传输本身就存在复杂性和不便利性, 更不要说楼主所说的系统备份及恢复这类大数据量的传输了。通常来说,有几个思路可以借鉴,这也是大多数中小银行的通用做法。
1、首先,开发环境的恢复不会很频繁,也没必要很频繁。我们是做到了生产环境和准生产环境基本一致,这两个环境是在同一网络,同步相对容易。所以就牺牲了开发环境的时效性。而且,生产数据进入开发环境,需要数据脱敏,所以也急不来。
2、有了第一个前提,对备份和恢复方式的选择就会比较游刃有余。我们原来选择的是磁带备份,然后手工导带进行恢复,利用的是24小时值班人员的操作,手册做的完善一些,基本可以满足开发人员要求。
3、存储快照的方式对技术有一些要求,对存储的选择和一些软件的选择也有要求,价格方面确实会提高。
4、结合自身实际情况,考虑多种因素(性价比?效率?速度?容量?安全?),才能有对应的方案,有鸟枪,也有大炮,看自身选择。

收起
证券 · 2020-04-01
浏览3540
  • 磁带我还从来没接触过,磁带的效率如何?比如恢复一个10T的库,大概需要多长时间呢
    2020-04-03
  • 银行业务啥数据库啊?怎么有10T?昏~ 现在磁带已经LTO7了,理论传输速度有300MB/s
    2020-04-03
  • 对于绩效考核、CRM这类的很容易超过10T,而数据仓库这种就更大了,还是有恢复需求的
    2020-04-08
NextSanNextSan  系统工程师 , 敏捷数据管理/备份容灾
看了你描述的问题,也了解了传统的NBU备份产品,我觉得都不可能很好的解决你的问题;你这种情况最好的方式是利用CDM技术来构建这个环境。优势:1、能够实现永久增量备份,减少备份时间长对生产系统的资源占用;2、备份数据是原始格式,备份数据可以直接挂载使用;像搭建测试环境这种事情...显示全部

看了你描述的问题,也了解了传统的NBU备份产品,我觉得都不可能很好的解决你的问题;你这种情况最好的方式是利用CDM技术来构建这个环境。
优势:
1、能够实现永久增量备份,减少备份时间长对生产系统的资源占用;
2、备份数据是原始格式,备份数据可以直接挂载使用;像搭建测试环境这种事情,直接把备份数据挂载到测试服务器使用,不涉及数据的导入导出;既能很快的搭建测试环境,又能保证测试数据的新鲜度;
3、一份备份数据,可以挂载成多个数据库出来,但不占用实际存储空间;满足搭建多测试环境的要求;
4、针对脱敏环境,可以直接将备份数据挂载至脱敏服务器,将数据脱敏后再保护,受保护的脱敏数据可以再次的挂载给别的测试服务器使用;

下面两张图是我们现成的方案截图,你可以了解一下

收起
系统集成 · 2020-03-13
浏览3724
  • 其实我有接触你们这种架构,据我接触厂商有DJ、SX,不知道你是否是其中一家。细节我就不公开谈了,实际使用过程中阻碍还是很多的,并非一个很好的方案。
    2020-03-13
  • 不是你说的这两家,我私信给你
    2020-03-13

提问者

匿名用户
其它某银行
擅长领域: 数据库服务器存储

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-03-12
  • 关注会员:7 人
  • 问题浏览:6328
  • 最近回答:2020-04-01
  • X社区推广