崔增顺
作者崔增顺2017-02-07 09:57
系统运维工程师, 民生银行

aix系统运维案例(九):AIX操作系统夯住

字数 680阅读 5844评论 0赞 4

故障描述

AIX操作系统夯住,通过HMC或者SSH无法登录。

系统环境

AIX 5300-11-07

故障分析

由于系统当时已经夯住,已经无法打开终端进行操作,因此在故障现场当时收集AIX操作系统的forcedump数据。该系统的内存为116GB,dump收集成功,系统重启后恢复正常。


通过dump的数据可以看到共有36个逻辑CPU,其中每个CPU运行的进程如下:


通过dla命令查看是否有死锁,经分析发现有220条死锁产生,具体如下:

下面分析死锁的原因,经分析发现死锁都是在等TID为A7233的线程。

经查TID为A7233的线程为IBM.CSMAgent。也就是说220个线程在等IBM.CSMAgent。

下面分析为什么IBM.CSMAgent会hang,通过分析可知IBM.CSMAgent运行在CPU0上,它是在等同样运行在CPU0上的xmtopas线程,而xmtopas优先级是18,IBM.CSMAgent的优先级是3A,因此IBM.CSMAgent会等高优先级的xmtopas完成后再进行响应。

而经分析xmtopas此时运行不正常,抛出signal 11异常退出的代码,而由时由于该进程内存越界,因此xmtopas进程进入了一个死循环的状态,这样就阻塞了后面的IBM.CSMAgent,同时pending住了后面的进程,最终造成系统HANG。

故障建议

针对此问题,由于xmtopas进程目前在该系统中没有使用,它主要是执行topas -C命令时在一个LPAR上收集其它LPAR cpu信息时才会使用,因此通过禁用xmtopas服务来规避该问题。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

4

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

PowerVC专栏
本专栏主要分享PwerVM和PowerVC相关方面的架构、实施、运维等经验,以及企业私有云建设的相关经验及总结。