aix系统运维案例（九）：AIX操作系统夯住

故障描述

AIX操作系统夯住，通过HMC或者SSH无法登录。

系统环境

AIX 5300-11-07

故障分析

由于系统当时已经夯住，已经无法打开终端进行操作，因此在故障现场当时收集AIX操作系统的forcedump数据。该系统的内存为116GB，dump收集成功，系统重启后恢复正常。

通过dump的数据可以看到共有36个逻辑CPU，其中每个CPU运行的进程如下：


通过dla命令查看是否有死锁，经分析发现有220条死锁产生，具体如下：

下面分析死锁的原因，经分析发现死锁都是在等TID为A7233的线程。

经查TID为A7233的线程为IBM.CSMAgent。也就是说220个线程在等IBM.CSMAgent。

下面分析为什么IBM.CSMAgent会hang，通过分析可知IBM.CSMAgent运行在CPU0上，它是在等同样运行在CPU0上的xmtopas线程，而xmtopas优先级是18，IBM.CSMAgent的优先级是3A，因此IBM.CSMAgent会等高优先级的xmtopas完成后再进行响应。

而经分析xmtopas此时运行不正常，抛出signal 11异常退出的代码，而由时由于该进程内存越界，因此xmtopas进程进入了一个死循环的状态，这样就阻塞了后面的IBM.CSMAgent，同时pending住了后面的进程，最终造成系统HANG。

故障建议

针对此问题，由于xmtopas进程目前在该系统中没有使用，它主要是执行topas -C命令时在一个LPAR上收集其它LPAR cpu信息时才会使用，因此通过禁用xmtopas服务来规避该问题。