aix系统运维案例（三）：AIX操作系统宕机(内存参数kernel_heap_psize相关)

故障描述

AIX操作系统异常宕机重启，重启后生成了系统dump。

系统环境

AIX 6100-07-05-1228

故障分析

1. 检查errpt日志，系统记录重启后的时间是04:06:27左右。
   
   并且errpt日志中有系统dump生成的相关信息
   
2. 分析系统资源的使用情况，检查nmon和OSwatcher记录，可以看到问题发生时系统资源使用没有明显异常。CPU，内存，IO没有明显资源不足和瓶颈产生。
3. 系统dump分析如下：
   
   从系统dump中发现，系统发生重启时，系统可用的64KB pin内存已经耗尽，可用的内存数值是0，当有新的内存申请时，发生了系统宕机的情况。

4. 进一步分析，大部分64KB pin内存用于kernel heap。
   系统kernel_heap使用的页面的大小64KB

   故障建议

   经分析，发现系统宕机是由于系统可用的64KB pin内存已经耗尽引起的。当64KB pin内存耗尽时，需要将4KB内存转换为64KB内存，当系统处于转换的过程当中，系统kernel_heap有内存申请，系统提供不了，导致了宕机。

   问题解决办法：

   将系统kernel_heap使用的页面的大小调整为4KB，避免4KB内存转换为64KB。
   修改系统内存参数，具体调整方法如下：
   vmo -r -o kernel_heap_psize=4096
   需要重启操作系统生效