宁夏银行事故分析,接二连三银行出现问题

31.jpg



银行二部(2014)187号正式发全国文件,对宁夏银行事故的描述大致如下2014年7月1日,宁夏银行核心系统数据库出现故障,导致该行(含异地分支机构)存取款、转账支付、借记卡、网上银行、ATM和POS业务全部中断。
   
    经初步分析,在季末结算业务量较大的情况下,因备份系统异常导致备份存储磁盘读写处理严重延时,备份与主存储数据不一致,在采取中断数据备份录像操作后,造成生产数据库损坏并宕机。因宁夏银行应急恢复处置机制严重缺失,导致系统恢复工作进展缓慢,直至7月3日5点40分核心系统才恢复服务,业务系统中断长达37小时40分钟,其间完全依靠手工办理业务。
   
    该事件的根本原因是在于该行安全生产意思薄弱、应急管理体系缺失、应急处置过程混乱。该行核心系统数据库版本严重老化,且2007年至今未购买核心数据库的维保服务,核心系统长期缺乏维护,事故发生后,无法获得系统供应商及时技术支持。系统恢复过程中,缺乏应急预案和准备,长时间无法实施有效处置,导致业务恢复缓慢,对银行运营产生较为严重影响。
参与25

0同行回答

“答”则兼济天下,请您为题主分忧!
whoami_2008whoami_2008副总经理/副总裁乌鲁木齐银行
因备份系统异常导致备份存储磁盘读写处理严重延时,备份与主存储数据不一致,在采取中断数据备份录像操作后,造成生产数据库损坏并宕机。。。。。。飞康的机制延时会造成业务缓慢或者超时,给我感觉这次故障的根本原因是飞康工程师技术经验不足故障处理没有综合考虑,本地工程师技...显示全部
因备份系统异常导致备份存储磁盘读写处理严重延时,备份与主存储数据不一致,在采取中断数据备份录像操作后,造成生产数据库损坏并宕机。。。。。。飞康的机制延时会造成业务缓慢或者超时,给我感觉这次故障的根本原因是飞康工程师技术经验不足故障处理没有综合考虑,本地工程师技术经验不足导致,如果当时停止业务,待数据正常落盘即可避免较长时间的宕机,飞康工程师在处理该问题时未告知在线停止飞康录像功能会导致数据丢失,导致数据不一致。如果正常告知,首先停止业务,然后停机拆除飞康与生产存储备份关系,启动业务应该可避免这次的故障。其余的维保,灾备,应急就不用说了,基本做的比较不好。收起
银行 · 2014-08-04
浏览3273
wanglionwanglion技术经理长天科技有限公司
隐患啊,技术不能解决全部问题,,我看本次事故不仅是技术事件,,显示全部
隐患啊,技术不能解决全部问题,,我看本次事故不仅是技术事件,,收起
互联网服务 · 2014-08-28
浏览5420
myguangzhoumyguangzhou技术经理Uniwise
据说这就是宁夏银行的容灾架构图:lol显示全部

B1%{RRVDRC$IMX3POCH0H@W.jpg



据说这就是宁夏银行的容灾架构图:lol收起
互联网服务 · 2014-08-28
浏览5429
yuyuluyuyulu系统工程师自由职业
还真是飞康CDP呀显示全部
还真是飞康CDP呀收起
系统集成 · 2014-08-22
浏览5488
maguangmaguang高级系统工程师、DBA同方鼎欣
谢谢分享!谢谢分享!谢谢分享!谢谢分享!显示全部
谢谢分享!谢谢分享!谢谢分享!谢谢分享!收起
系统集成 · 2014-08-20
浏览5479
jason_zzjason_zz系统工程师pisoft
反省反省!显示全部
反省反省!收起
系统集成 · 2014-08-18
浏览5454
g3000g3000软件开发工程师aa
不过说句实在话,CDP是个很烂的设备,维护比较麻烦,尤其出问题时候要同步主存储。SB设备显示全部
不过说句实在话,CDP是个很烂的设备,维护比较麻烦,尤其出问题时候要同步主存储。SB设备收起
互联网服务 · 2014-08-13
浏览5402
sunny4710sunny4710系统工程师KCB
回复 6# whoami_2008 中断数据备份录像操作,会造成生产数据库损坏并宕机??  这有点难以理解啊显示全部
回复 6# whoami_2008


中断数据备份录像操作,会造成生产数据库损坏并宕机??  这有点难以理解啊收起
银行 · 2014-08-11
浏览5438
小球叼小球叼系统工程师系统集成
管理层。。。。显示全部
管理层。。。。收起
系统集成 · 2014-08-10
浏览5473
mufeng0528mufeng0528系统运维工程师暂不方便
谢谢分享显示全部
谢谢分享收起
互联网服务 · 2014-08-05
浏览5378

提问者

wangweiww
业务部门经理临商银行
擅长领域: 服务器数据中心灾备

相关问题

问题状态

  • 发布时间:2014-08-04
  • 关注会员:1 人
  • 问题浏览:25957
  • 最近回答:2014-08-28
  • X社区推广