电信设备制造商系统维护aix 5.3

请教:C5C09FFA报错,页面空间不足,但物理内存还有剩余

这几天小机频繁报错C5C09FFA,导致业务经常中断。通过errpt -aj C5C09FFA提示pg不足,看了下pg使用率将近50%,但是物理内存只用了70%左右,不知道是什么情况?

/home/dbcheck@smc$errpt
IDENTIFIER TIMESTAMP  T C RESOURCE_NAME  DESCRIPTION
C5C09FFA   1219020012 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1219020012 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1219020012 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1219020012 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1219020012 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
AA8AB241   1219015812 T O clstrmgrDANGER OPERATOR NOTIFICATION
AA8AB241   1219001412 T O clstrmgrDANGER OPERATOR NOTIFICATION
C5C09FFA   1218234812 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234812 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234812 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234712 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234712 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234712 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234712 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234412 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234412 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
C5C09FFA   1218234412 P S SYSVMM         SOFTWARE PROGRAM ABNORMALLY TERMINATED
AA8AB241   1218234212 T O clstrmgrDANGER OPERATOR NOTIFICATION

/home/dbcheck@smc$errpt -aj C5C09FFA |pg
---------------------------------------------------------------------------
LABEL:          PGSP_KILL
IDENTIFIER:     C5C09FFA

Date/Time:       Wed Dec 19 02:00:34 BEIST 2012
Sequence Number: 62573
Machine Id:      00C92EB24C00
Node Id:         zzcms
Class:           S
Type:            PERM
Resource Name:   SYSVMM         

Description
SOFTWARE PROGRAM ABNORMALLY TERMINATED

Probable Causes
SYSTEM RUNNING OUT OF PAGING SPACE

Failure Causes
INSUFFICIENT PAGING SPACE DEFINED FOR THE SYSTEM
PROGRAM USING EXCESSIVE AMOUNT OF PAGING SPACE

        Recommended Actions
        DEFINE ADDITIONAL PAGING SPACE
        REDUCE PAGING SPACE REQUIREMENTS OF PROGRAM(S)

Detail Data
PROGRAM
oracle
USER'S PROCESS ID:
                488252
PROGRAM'S PAGING SPACE USE IN 1KB BLOCKS
        3312
---------------------------------------------------------------------------
LABEL:          PGSP_KILL
IDENTIFIER:     C5C09FFA

Date/Time:       Wed Dec 19 02:00:34 BEIST 2012
Sequence Number: 62572
Machine Id:      00C92EB24C00
Node Id:         zzcms
Class:           S
Type:            PERM
Resource Name:   SYSVMM         

Description
SOFTWARE PROGRAM ABNORMALLY TERMINATED

Probable Causes
SYSTEM RUNNING OUT OF PAGING SPACE

Failure Causes
INSUFFICIENT PAGING SPACE DEFINED FOR THE SYSTEM
PROGRAM USING EXCESSIVE AMOUNT OF PAGING SPACE

        Recommended Actions
        DEFINE ADDITIONAL PAGING SPACE
        REDUCE PAGING SPACE REQUIREMENTS OF PROGRAM(S)

Detail Data
PROGRAM
oracle
USER'S PROCESS ID:
                922356
PROGRAM'S PAGING SPACE USE IN 1KB BLOCKS
        4288

/home/dbcheck@smc$lsps -a
Page Space      Physical Volume   Volume Group    Size %Used Active  Auto  Type
hd6             hdisk1            rootvg        8192MB    53   yes   yes    lv
参与14

8同行回答

sam3120sam3120  系统运维工程师 , my
需要更多的数据。如果没有数据库,需要检查哪些进程在持续累积的使用内存,而不释放;如果有数据库,分几种情况。一、oracle,AIX是什么版本?在6.1下,      #vmo -p -o minperm%=10   #vmo -p -o maxperm%=90   #vmo -p -o maxclient%=90&n...显示全部
需要更多的数据。
如果没有数据库,需要检查哪些进程在持续累积的使用内存,而不释放;
如果有数据库,分几种情况。
一、oracle,
AIX是什么版本?在6.1下,   
   #vmo -p -o minperm%=10
   #vmo -p -o maxperm%=90
   #vmo -p -o maxclient%=90
   #vmo -p -o lru_file_repage=0
   #vmo -p -o numperm_global=0
   #vmo -p -o v_pinshm=1
同时,需要确认oracle的参数:
LOCK_SGA=true;
不能设置 SGA 超过如下 2 个公式的范围:
1、SGA < 总内存*(maxpin%-10%),如果 maxpin%是 80%的默认值,也就是
maxpin%=80%,则 SGA不能超过总内存的 70%
2、OS 的 pin 住 Oracle 稳定运行的内存总量 < 总内存*(maxpin%-5%),如
maxpin%是80%的默认值,则 pin住的内存总量,不能超过总内存的 75%

二、其他类型数据库,如DB2,
需要确认:
   #vmo -p -o minperm%=10
   #vmo -p -o maxperm%=90
   #vmo -p -o maxclient%=90
   #vmo -p -o lru_file_repage=0
   #vmo -p -o numperm_global=0

希望能有帮助。收起
互联网服务 · 2012-12-20
浏览5007
zcomezcome  系统工程师 , zzz
还是最好设个nmon或者布个监控,以便查看到底是什么导致内存不足。如果已经pg_kill了,那就不好查了,pg_kill就是为了释放paging space,所以无法得知出问题时候的状态。显示全部

还是最好设个nmon或者布个监控,以便查看到底是什么导致内存不足。如果已经pg_kill了,那就不好查了,pg_kill就是为了释放paging space,所以无法得知出问题时候的状态。

收起
IT咨询服务 · 2016-01-25
浏览5526
sunqianjinsunqianjin  技术总监 , 银信
刚刚遇到此问题,重启解决。本想扩容pg 但是客户没让扩。显示全部

刚刚遇到此问题,重启解决。本想扩容pg 但是客户没让扩。

收起
互联网服务 · 2016-01-23
浏览4906
Mr.JMr.J  系统管理员 , YLZ
是运行ORACLE数据库的,做过NMON,不是物理内存不足。问题已经由别人解决了,有扩大了PG空间,主要原因就是weblogic的连接池设置错误。可惜不知道具体处理过程是什么样的。谢谢大家的帮忙...显示全部
是运行ORACLE数据库的,做过NMON,不是物理内存不足。

问题已经由别人解决了,有扩大了PG空间,主要原因就是weblogic的连接池设置错误。可惜不知道具体处理过程是什么样的。

谢谢大家的帮忙收起
电信设备制造商 · 2012-12-29
浏览5408
rootkingrootking  系统架构师 , ROOTKING
做过NMON监控吧,你现在看到内存使用70%并不代表报错时也是70%。PG使用上去了不重启就不会下来,你现在看到的PS使用50%也可能现在根本没使用PG用NMON监控一下吧,应该有时间段内存吃满,如果是oracle做过AWR、statspack分析一下SQL语句总之,程序报错,系统层面很难解决...显示全部
做过NMON监控吧,你现在看到内存使用70%并不代表报错时也是70%。
PG使用上去了不重启就不会下来,你现在看到的PS使用50%也可能现在根本没使用PG

用NMON监控一下吧,应该有时间段内存吃满,如果是oracle做过AWR、statspack分析一下SQL语句

总之,程序报错,系统层面很难解决收起
互联网服务 · 2012-12-22
浏览5029
skyzqqskyzqq  系统运维工程师 , 中国联通河南省分公司
如果跑数据库,楼上的设置基本不靠谱显示全部
如果跑数据库,楼上的设置基本不靠谱收起
电信运营商 · 2012-12-21
浏览4858
skyzqqskyzqq  系统运维工程师 , 中国联通河南省分公司
vmo -a 看看显示全部
vmo -a 看看收起
电信运营商 · 2012-12-20
浏览4966
topsqualltopsquall  经理 , 幸福人寿
回复 1# Mr.J     数据库主机,是不是计算内存跟非计算内存设置的不对?显示全部
回复 1# Mr.J


    数据库主机,是不是计算内存跟非计算内存设置的不对?收起
金融其它 · 2012-12-20
浏览4953

提问者

Mr.J
系统管理员YLZ

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2012-12-20
  • 关注会员:3 人
  • 问题浏览:15951
  • 最近回答:2016-01-25
  • X社区推广