案例2 经典的双机双存储,某晚主存储异常故障,业务立刻中断

用户经典的双机双存储高可用应用方案。IBM 2*P570 PowerHA6.1 两台中端存储通过lvm mirror实现的数据镜像,上面跑着用户信贷系统,报表系统,存储压力较为繁忙。用户每年都会完成一次HA切换演练保证业务高可用。某晚一次存储电源故障,电源还没来得急更换,另外一个电源也坏了。...显示全部

用户经典的双机双存储高可用应用方案。IBM 2*P570 PowerHA6.1 两台中端存储通过lvm mirror实现的数据镜像,上面跑着用户信贷系统,报表系统,存储压力较为繁忙。用户每年都会完成一次HA切换演练保证业务高可用。某晚一次存储电源故障,电源还没来得急更换,另外一个电源也坏了。这样主存储宕机了。恰巧这个时候业务也立刻停止了,用户电话里说刚做完的Powerha的演练,很顺利。可今天发生的这事却百思不得其解。

后来经过大量的日志和与用户交流得知,用户之前的一个操作给这次的业务中断埋下了一个大大的”地雷”.

欢迎大家多多交流,故障原因下周公布.

收起
参与73

查看其它 9 个回答myciciy的回答

myciciymyciciyIT顾问某金融科技公司

究竟用户自己做的什么操作导致的此次事件呢

用户业务系统有一个文件系统存储空间不够了,需要扩容,但是目前共享vg里的空间无法满了,需要重新加新的磁盘到vg里,存储管理员分配新的磁盘给两台主机,然后用户通过Powerha cspoc去加盘,扩容FS。就是这么一个操作导致的问题发生。

原因说了,正确的步骤大家应该知道如何做了吧

银行 · 2016-12-01
浏览2734
  • 还是没明白哪个步骤导致了宕机。可否明确说明下
    2016-12-01
  • myciciy  myciciy回复 swlhfa
    lvm mirror双存储的情况下,我们扩fs需要注意先扩LV,再扩fs 这样能保证数据正确分布在2个存储上,如果在用户这种场景新加磁盘后直接扩fs,那就会造成数据拷贝是2份,但是不能准确地保证分布在两个存储上,有可能存储A分布90% 存储B分布110%。这样一台存储故障,就会直接导致数据的不完整。
    2016-12-01
  • 请问有没有ibm domino的ha方案
    2016-12-01
  • swlhfa  swlhfa回复 myciciy
    也就是新加的盘没有完全镜像到喽
    2016-12-01
  • 扩FS的同时,LV不也自动扩展了吗?需要先扩LV,再扩FS 吗?
    2016-12-01
  • 哦,清楚了。A,B两个存储各加一块盘。直接扩FS会导致不是镜像的状态。需要先扩LV,保证A,B存储镜像。
    2016-12-01
  • myciciy  myciciy回复 swlhfa
    2016-12-01
  • 是自动扩展,但是它不能做到自动分配到两个存储上
    2016-12-01
  • 是的
    2016-12-01
  • neilrule  neilrule回复 myciciy
    问题请教,两边的磁盘空间都足够的,安装楼主描述的这个现象,chfs难道只负责增加空间,并不保证mirror?那我以后得悠着点了,但是chlv为什么可以保证两边的lv都mirror了,分布在两边的存储上面?
    2016-12-01
  • myciciy  myciciy回复 neilrule
    对,chfs只负责增加空间,无法保证mirror
    2016-12-01
  • myciciy  myciciy回复 pengzi
    这个很特殊吗,没玩过这个
    2016-12-01
  • myciciy  myciciy回复 swlhfa
    2016-12-01
  • neilrule  neilrule回复 myciciy
    好的,感谢,但是我在做了mirror的单机情况下用chfs在一边lv不足的时候貌似遇到过,所以有了这个疑问。以后得注意对比才行了⊙﹏⊙b
    2016-12-01
  • 其实在mirror的lv上面做chfs的时候,会自动同步镜像的,如果没同步完成,或者有一块磁盘有锁,chfs命令会hang住竟如等待队列。
    2016-12-05

回答者

myciciy
myciciy21035
IT顾问某金融科技公司
擅长领域: 服务器存储灾备

myciciy 最近回答过的问题

回答状态

  • 发布时间:2016-12-01
  • 关注会员:17 人
  • 回答浏览:2734
  • X社区推广