互联网服务故障诊断

aix 5.3hacm5.4双机自动切换/usr文件系统满

大家好,

双机环境 操作系统版本5300-07 hacmp 5.4

在10号发生双机切换,看日志是双机监控进程异常导致切换资源组,但未找到具体原因,请各位给分析一下,多谢。


Jan 10 00:56:22 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: aa@1
Jan 10 00:56:24 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: public
Jan 10 00:56:27 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: aa@1
Jan 10 00:56:32 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: aa@1
Jan 10 00:56:37 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:37 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 11) (127.0.0.1+38839+7)
Jan 10 00:56:37 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:37 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 77) (127.0.0.1+38839+7)
Jan 10 00:56:37 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:37 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 23) (127.0.0.1+38839+7)
Jan 10 00:56:38 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:38 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 11) (127.0.0.1+38839+7)
Jan 10 00:56:38 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:38 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 15) (127.0.0.1+38839+7)
Jan 10 00:56:38 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:38 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 78) (127.0.0.1+38839+7)
Jan 10 00:56:38 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:38 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 76) (127.0.0.1+38839+7)
Jan 10 00:56:39 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: public
Jan 10 00:56:39 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:39 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 64) (127.0.0.1+38839+7)
Jan 10 00:56:39 1 user:notice HACMP for AIX: EVENT START: server_down infox1 12 ora_app_mnt
Jan 10 00:56:39 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 100) (127.0.0.1+38839+7)
Jan 10 00:56:39 1 user:notice HACMP for AIX: EVENT COMPLETED: server_down infox1 12 ora_app_mnt 0
Jan 10 00:56:39 1 user:notice HACMP for AIX: EVENT START: server_down_complete infox1 12 ora_app_mnt
Jan 10 00:56:39 1 user:notice HACMP for AIX: EVENT COMPLETED: server_down_complete infox1 12 ora_app_mnt 0
Jan 10 00:56:41 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:41 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 98) (127.0.0.1+38839+7)
Jan 10 00:56:42 1 user:notice HACMP for AIX: EVENT START: rg_move_release infox1 2
Jan 10 00:56:42 1 user:notice HACMP for AIX: EVENT START: rg_move infox1 2 RELEASE
Jan 10 00:56:42 1 user:notice HACMP for AIX: EVENT START: node_down_local
Jan 10 00:56:42 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: public
Jan 10 00:56:42 1 user:notice HACMP for AIX: EVENT START: stop_server ora_app
Jan 10 00:56:43 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:43 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 23) (127.0.0.1+38839+7)
Jan 10 00:56:43 1 daemon:notice snmpd[266370]: NOTICE: SMUX packet from (127.0.0.1+38839+7)
Jan 10 00:56:43 1 daemon:notice snmpd[266370]: NOTICE: SMUX trap: (6 77) (127.0.0.1+38839+7)
Jan 10 00:56:48 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: public
Jan 10 00:56:52 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: public
Jan 10 00:56:52 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: aa@1
Jan 10 00:56:54 1 user:notice HACMP for AIX: EVENT COMPLETED: stop_server ora_app 0
Jan 10 00:56:54 1 user:notice HACMP for AIX: EVENT START: release_vg_fs ALL webvg backupvg1 backupvg2 expvg vgora
Jan 10 00:56:5Jan 10 00:57:51 1 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: public
Jan 10 00:57:511 daemon:err|error snmpd[266370]: EXCEPTIONS:  cannot write to log file /usr/tmp/snmpd.log: There is not enough space in the file system.
Jan 10 00:57:531 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: aa@1
Jan 10 00:57:531 daemon:err|error snmpd[266370]: EXCEPTIONS:  cannot write to log file /usr/tmp/snmpd.log: There is not enough space in the file system.
Jan 10 00:57:541 daemon:err|error snmpd[266370]: EXCEPTIONS: authentication error: invalid community name: public
Jan 10 00:57:541 daemon:err|error snmpd[266370]: EXCEPTIONS:  cannot write to log file /usr/tmp/snmpd.log: There is not enough space in the file system.
参与15

14同行回答

flm20080704flm20080704系统工程师XXXX
貌似只能算临时解决方案,原因还需要深究下显示全部
貌似只能算临时解决方案,原因还需要深究下收起
IT其它 · 2015-01-25
浏览2158
freedomjiangfreedomjiang软件开发工程师AIX
观察了许多天,暂时没有问题。显示全部
观察了许多天,暂时没有问题。收起
互联网服务 · 2015-01-25
浏览2114
freedomjiangfreedomjiang软件开发工程师AIX
回复 11# 北京荣歆咨询 目前算是解决了,把各个文件系统都扩了一下,暂时没有报相关的问题了,多谢各位。    应该不是那个snmp.log这个文件本身很小。显示全部
回复 11# 北京荣歆咨询

目前算是解决了,把各个文件系统都扩了一下,暂时没有报相关的问题了,多谢各位。
   
应该不是那个snmp.log这个文件本身很小。收起
互联网服务 · 2015-01-25
浏览2064
freedomjiangfreedomjiang软件开发工程师AIX
回复 11# 北京荣歆咨询 目前算是解决了,把各个文件系统都扩了一下,暂时没有报相关的问题了,多谢各位。显示全部
回复 11# 北京荣歆咨询

目前算是解决了,把各个文件系统都扩了一下,暂时没有报相关的问题了,多谢各位。收起
互联网服务 · 2015-01-25
浏览2101
北京荣歆咨询北京荣歆咨询系统架构师北京荣歆咨询有限公司
回复 1# freedomjiang 解决了没?显示全部
回复 1# freedomjiang
解决了没?收起
IT咨询服务 · 2015-01-18
浏览2682
patrick_pekingpatrick_peking技术经理peking
/usr/tmp/snmpd.log,查这个log是哪个应用的,如果改不了应用log的位置就问清楚log需要多大空间,扩充/usr空间即可。显示全部
/usr/tmp/snmpd.log,查这个log是哪个应用的,如果改不了应用log的位置就问清楚log需要多大空间,扩充/usr空间即可。收起
IT分销/经销 · 2015-01-14
浏览2687
北京荣歆咨询北京荣歆咨询系统架构师北京荣歆咨询有限公司
回复 5# freedomjiang “文件系统会自动恢复正常使用范围”这可能是问题所在,你满了的/usr(5G)居然会在切换后自动释放出2.83GB的空间。是不是oracle或与其相关的应用将某些文件目录(比如log)错误地设到了/usr文件系统下了,没有单独在共享vg下建共享fs指定mount点为/usr/../l...显示全部
回复 5# freedomjiang
“文件系统会自动恢复正常使用范围”
这可能是问题所在,你满了的/usr(5G)居然会在切换后自动释放出2.83GB的空间。是不是oracle或与其相关的应用将某些文件目录(比如log)错误地设到了/usr文件系统下了,没有单独在共享vg下建共享fs指定mount点为/usr/../log。如果是这样,那重建共享fs,纠正这个错误即可。收起
IT咨询服务 · 2015-01-14
浏览2612
freedomjiangfreedomjiang软件开发工程师AIX
回复 7# powertiandi 请问做什么测试,目前cluster.log就是报snmp的鉴权失败显示全部
回复 7# powertiandi

请问做什么测试,目前cluster.log就是报snmp的鉴权失败收起
互联网服务 · 2015-01-14
浏览2647
powertiandipowertiandi联盟成员系统架构师李宁(中国)体育用品有限公司
有窗口的话那就做一下测试,看看日志里边有什么新的输出。显示全部
有窗口的话那就做一下测试,看看日志里边有什么新的输出。收起
互联网服务 · 2015-01-14
浏览2646
freedomjiangfreedomjiang软件开发工程师AIX
回复 3# zwz99999     我贴的就是cluster.log,这个文件系统会行动恢复正常显示全部
回复 3# zwz99999


    我贴的就是cluster.log,这个文件系统会行动恢复正常收起
互联网服务 · 2015-01-14
浏览2703

提问者

freedomjiang
软件开发工程师AIX

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-01-14
  • 关注会员:1 人
  • 问题浏览:11115
  • 最近回答:2015-01-25
  • X社区推广