案例2 经典的双机双存储,某晚主存储异常故障,业务立刻中断

用户经典的双机双存储高可用应用方案。IBM 2*P570 PowerHA6.1 两台中端存储通过lvm mirror实现的数据镜像,上面跑着用户信贷系统,报表系统,存储压力较为繁忙。用户每年都会完成一次HA切换演练保证业务高可用。某晚一次存储电源故障,电源还没来得急更换,另外一个电源也坏了。这样主存储宕机了。恰巧这个时候业务也立刻停止了,用户电话里说刚做完的Powerha的演练,很顺利。可今天发生的这事却百思不得其解。

后来经过大量的日志和与用户交流得知,用户之前的一个操作给这次的业务中断埋下了一个大大的”地雷”.

欢迎大家多多交流,故障原因下周公布.

参与73

10同行回答

永远在学习永远在学习  系统运维工程师 , 系统管理员
学习了,,,显示全部

学习了,,,

收起
政府机关 · 2016-12-05
浏览1906
qq3508935800qq3508935800  系统工程师 , 工程师
使用lslv -m vg名可以判断数据是不是2边均匀分布显示全部

使用lslv -m vg名可以判断数据是不是2边均匀分布

收起
系统集成 · 2016-12-01
浏览2207
ZhuJun2014ZhuJun2014  存储工程师 , IBM
这属于典型的基础知识不牢固呀。显示全部

这属于典型的基础知识不牢固呀。

收起
硬件生产 · 2016-12-01
浏览1969
hacmphacmp  系统工程师 , 四川华信富恒
新加的PV属性是默认值,好像是几个值要改小。显示全部

新加的PV属性是默认值,好像是几个值要改小。

收起
IT咨询服务 · 2016-12-01
浏览1948
myciciymyciciy  IT顾问 , 某金融科技公司
究竟用户自己做的什么操作导致的此次事件呢用户业务系统有一个文件系统存储空间不够了,需要扩容,但是目前共享vg里的空间无法满了,需要重新加新的磁盘到vg里,存储管理员分配新的磁盘给两台主机,然后用户通过Powerha cspoc去加盘,扩容FS。就是这么一个操作导致的问题发生。原...显示全部

究竟用户自己做的什么操作导致的此次事件呢

用户业务系统有一个文件系统存储空间不够了,需要扩容,但是目前共享vg里的空间无法满了,需要重新加新的磁盘到vg里,存储管理员分配新的磁盘给两台主机,然后用户通过Powerha cspoc去加盘,扩容FS。就是这么一个操作导致的问题发生。

原因说了,正确的步骤大家应该知道如何做了吧

收起
银行 · 2016-12-01
浏览2673
  • 还是没明白哪个步骤导致了宕机。可否明确说明下
    2016-12-01
  • myciciy  myciciy回复 swlhfa
    lvm mirror双存储的情况下,我们扩fs需要注意先扩LV,再扩fs 这样能保证数据正确分布在2个存储上,如果在用户这种场景新加磁盘后直接扩fs,那就会造成数据拷贝是2份,但是不能准确地保证分布在两个存储上,有可能存储A分布90% 存储B分布110%。这样一台存储故障,就会直接导致数据的不完整。
    2016-12-01
  • 请问有没有ibm domino的ha方案
    2016-12-01
  • swlhfa  swlhfa回复 myciciy
    也就是新加的盘没有完全镜像到喽
    2016-12-01
  • 扩FS的同时,LV不也自动扩展了吗?需要先扩LV,再扩FS 吗?
    2016-12-01
  • 哦,清楚了。A,B两个存储各加一块盘。直接扩FS会导致不是镜像的状态。需要先扩LV,保证A,B存储镜像。
    2016-12-01
  • myciciy  myciciy回复 swlhfa
    2016-12-01
  • 是自动扩展,但是它不能做到自动分配到两个存储上
    2016-12-01
  • 是的
    2016-12-01
  • neilrule  neilrule回复 myciciy
    问题请教,两边的磁盘空间都足够的,安装楼主描述的这个现象,chfs难道只负责增加空间,并不保证mirror?那我以后得悠着点了,但是chlv为什么可以保证两边的lv都mirror了,分布在两边的存储上面?
    2016-12-01
  • myciciy  myciciy回复 neilrule
    对,chfs只负责增加空间,无法保证mirror
    2016-12-01
  • myciciy  myciciy回复 pengzi
    这个很特殊吗,没玩过这个
    2016-12-01
  • myciciy  myciciy回复 swlhfa
    2016-12-01
  • neilrule  neilrule回复 myciciy
    好的,感谢,但是我在做了mirror的单机情况下用chfs在一边lv不足的时候貌似遇到过,所以有了这个疑问。以后得注意对比才行了⊙﹏⊙b
    2016-12-01
  • 其实在mirror的lv上面做chfs的时候,会自动同步镜像的,如果没同步完成,或者有一块磁盘有锁,chfs命令会hang住竟如等待队列。
    2016-12-05
overtopovertop  系统工程师 , 互联网公司
这个属于老司机也可能犯错的地方,典型环境就是hacmp+双存储镜像,应该是在hacmp中需要做一个特殊的设置,具体还是由伟光兄弟明天揭晓一下吧。显示全部

这个属于老司机也可能犯错的地方,典型环境就是hacmp+双存储镜像,应该是在hacmp中需要做一个特殊的设置,具体还是由伟光兄弟明天揭晓一下吧。

收起
互联网服务 · 2016-11-30
浏览1961
  • 恩,问题很典型,不是powerha中特别设置,只要是LVM Mirror双存储都会遇到
    2016-12-01
myciciymyciciy  IT顾问 , 某金融科技公司
我猜大多数人都会犯这个错误,因为目前都没说对显示全部

我猜大多数人都会犯这个错误,因为目前都没说对

收起
银行 · 2016-11-30
浏览2007
wangqlwangql  系统工程师 , NULL
quorum?或是后续建的lv没镜像显示全部

quorum?或是后续建的lv没镜像

收起
IT咨询服务 · 2016-11-29
浏览2013
老么老么  系统工程师 , mbi
贴段日志看看显示全部

贴段日志看看

收起
互联网服务 · 2016-11-28
浏览1939
chargecatchargecat  系统架构师 , 银行
lvm读写顺序设置的问题?显示全部

lvm读写顺序设置的问题?

收起
银行 · 2016-11-28
浏览2005

提问者

myciciy
myciciy21035
IT顾问某金融科技公司
擅长领域: 服务器存储灾备

问题来自

问题状态

  • 发布时间:2016-11-27
  • 关注会员:17 人
  • 问题浏览:10084
  • 最近回答:2016-12-05
  • X社区推广