机械装备db2 9.1db2 9.7

db2 v9.7 升级后宕机故障

最近将db2 v9.1升级到 v9.7,aix5 -->aix7.1。升级后发现db2sysc 进程的pgsp不断增加,至最大2,3G,然后数据库无法连接,连接报错:
SQL1224N  The database manager is not able to accept new requests, has
terminated all requests in progress, or has terminated the specified request
because of an error or a forced interrupt.  SQLSTATE=55032

数据库自动宕机。
                                                Syscall  135.9K  Writech   80531
CPU     User% Kern% Wait% Idle%   Physc  Entc%  Reads       141  Rawin         0
Total    19.5   0.7   2.3  77.4    1.60  31.99  Writes       15  Ttyout      664
                                                Forks         0  Igets         0
Network    BPS  I-Pkts  O-Pkts    B-In   B-Out  Execs         0  Namei         5
Total     630K   563.5   532.5    192K    438K  Runqueue   2.50  Dirblk        0
                                                Waitqueue   0.0
Disk    Busy%      BPS     TPS  B-Read  B-Writ                   MEMORY
Total     5.4    4.40M   148.5   4.33M   78.0K  PAGING           Real,MB   98304
                                                Faults      206  % Comp     49
FileSystem          BPS    TPS  B-Read  B-Writ  Steals        0  % Noncomp  31
Total             4.39M  155.0   4.32M   78.0K  PgspIn        0  % Client   31
                                                PgspOut       0
Name           PID  CPU%  PgSp Owner            PageIn     1103  PAGING SPACE
db2sysc     6029510 19.8  602M openeap          PageOut      19  Size,MB   65536
topas      20644018  0.0 11.4M root             Sios       1119  % Used      0
topas       9175238  0.0 15.1M root                              % Free    100
java        8978524  0.0 71.4M root             NFS (calls/sec)
gil         3670128  0.0  960K root             SerV2         0  WPAR Activ    0
getty       7995400  0.0  576K root             CliV2         0  WPAR Total    0
vtiol        786456  0.0 2.19M root             SerV3         0  Press: "h"-help
java        8454162  0.0 57.6M pconsole         CliV3         0         "q"-quit
db2fmp      9240692  0.0 8.70M openeap
hostmibd    5963984  0.0 1.24M root   
snmpmibd    6488278  0.0 1.03M root   
db2fmd     20054116  0.0 2.05M dasusr1
rpc.lock    6946846  0.0 1.19M root   
clcomd      7536872  0.0 1.50M root   
snmpdv3n    6160582  0.0  976K root   
slp_srvr    6094934  0.0  440K root   
db2bp      14811152  0.0 2.75M openeap
db2bp       9109578  0.0 3.87M openeap
reaffin      589842  0.0  640K root   
netm        3604590  0.0  448K root   
********************************
ulimit -a
time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         unlimited
stack(kbytes)        4194304
memory(kbytes)       unlimited
coredump(blocks)     unlimited
nofiles(descriptors) unlimited
threads(per process) unlimited
processes(per user)  unlimited
***************
.nfy日志:
2014-07-10-15.03.59.922423   Instance:openeap   Node:000
PID:16777378(db2wdog 0)   TID:258   Appid:none
base sys utilities  sqleWatchDog Probe:20

ADM0503C  An unexpected internal processing error has occurred. All DB2
processes associated with this instance have been shutdown. Diagnostic
information has been recorded. Contact IBM Support for further assistance.
参与25

23同行回答

jlandzpajlandzpa系统运维工程师广州华南资讯科技有限公司
回复 22# yangshichang     好的,恭喜你显示全部
回复 22# yangshichang


    好的,恭喜你收起
系统集成 · 2014-07-18
浏览2121
jlandzpajlandzpa系统运维工程师广州华南资讯科技有限公司
fp几? 建议先升到最新的fp吧显示全部
fp几? 建议先升到最新的fp吧收起
系统集成 · 2014-07-18
浏览2106
yangshichangyangshichang项目经理康佳
打了9a补丁,介质目前为止4天了,为发生故障,应该说基本解决了。谢谢!显示全部
打了9a补丁,介质目前为止4天了,为发生故障,应该说基本解决了。谢谢!收起
机械装备 · 2014-07-14
浏览2171
yangshichangyangshichang项目经理康佳
昨天晚上打了补丁,不知道是否有用。另外v9.7 db2sysc 的pgsp一直在增长是否正常?现在都700M显示全部
昨天晚上打了补丁,不知道是否有用。另外v9.7 db2sysc 的pgsp一直在增长是否正常?现在都700M收起
机械装备 · 2014-07-11
浏览2204
zhmwangzhmwangPDOceanBase
回复 19# yangshichang     Failed to get the instance record from the global registry fileCALLED  : DB2 Common, Generic Registry, GenRegBin::Get把instance删除,重新重建instance.显示全部
回复 19# yangshichang


    Failed to get the instance record from the global registry file
CALLED  : DB2 Common, Generic Registry, GenRegBin::Get

把instance删除,重新重建instance.收起
互联网服务 · 2014-07-11
浏览2153
yangshichangyangshichang项目经理康佳
直接恢复的。显示全部
直接恢复的。收起
机械装备 · 2014-07-11
浏览2155
zhmwangzhmwangPDOceanBase
回复 5# yangshichang     这次升级的步骤是什么? 如果是直接恢复的话,对数据库升级就可以了, 如果是另外安装软件,需要对instance升级。显示全部
回复 5# yangshichang


    这次升级的步骤是什么? 如果是直接恢复的话,对数据库升级就可以了, 如果是另外安装软件,需要对instance升级。收起
互联网服务 · 2014-07-11
浏览2208
yangshichangyangshichang项目经理康佳
2014-07-11-05.24.23.800302+480 I7958961A1118      LEVEL: SeverePID     : 22216934             TID  : 1054        PROC : db2acd 0IN...显示全部
2014-07-11-05.24.23.800302+480 I7958961A1118      LEVEL: Severe
PID     : 22216934             TID  : 1054        PROC : db2acd 0
INSTANCE: openeap              NODE : 000         DB   : KONKA   
APPID   : *LOCAL.openeap.140710212422
EDUID   : 1054                 EDUNAME: db2acd 0
FUNCTION: DB2 UDB, global services, sqlzAssertFailed, probe:10
DATA #1 : String, 145 bytes
NON-FATAL ASSERTION FAILED!!!
ASSERTION EXPRESSION: Invalid block eye-catcher (0x0) found at:
SOURCE FILENAME: atmStatsTable.C
LINE NUMBER: 6296
CALLSTCK: (Static functions may not be resolved correctly, as they are resolved to the nearest symbol)
  [0] 0x09000000019843F4 pdLog + 0xA8
  [1] 0x0900000002246414 sqlzAssertFailedValist + 0x1B0
  [2] 0x090000000091D478 ossAssertFailureAction + 0x138
  [3] 0x090000000094CC38 _ossMemAllocCheck + 0x718
  [4] 0x090000000094CD18 _ossMemFree + 0x58
  [5] 0x090000000BD26C74 __dt__9AtmServerFv + 0x94
  [6] 0x090000000BD15C84 process_tables__3AtmFv + 0x1344
  [7] 0x090000000BD1312C iter__3AtmFv + 0x2AC
  [8] 0x090000000BD1117C run__3AtmFPCc + 0x1BC
  [9] 0x090000000BD1027C db2HmonEvalStats + 0x2BC

2014-07-11-05.24.23.800574+480 I7960080A1109      LEVEL: Severe
PID     : 22216934             TID  : 1054        PROC : db2acd 0
INSTANCE: openeap              NODE : 000         DB   : KONKA   
APPID   : *LOCAL.openeap.140710212422
EDUID   : 1054                 EDUNAME: db2acd 0
FUNCTION: DB2 UDB, global services, sqlzAssertFailed, probe:10
DATA #1 : String, 136 bytes
NON-FATAL ASSERTION FAILED!!!
ASSERTION EXPRESSION: Invalid pad type (0x0) found at:
SOURCE FILENAME: atmStatsTable.C
LINE NUMBER: 6296
CALLSTCK: (Static functions may not be resolved correctly, as they are resolved to the nearest symbol)
  [0] 0x09000000019843F4 pdLog + 0xA8
  [1] 0x0900000002246414 sqlzAssertFailedValist + 0x1B0
  [2] 0x090000000091D478 ossAssertFailureAction + 0x138
  [3] 0x090000000094CBE0 _ossMemAllocCheck + 0x6C0
  [4] 0x090000000094CD18 _ossMemFree + 0x58
  [5] 0x090000000BD26C74 __dt__9AtmServerFv + 0x94
  [6] 0x090000000BD15C84 process_tables__3AtmFv + 0x1344
  [7] 0x090000000BD1312C iter__3AtmFv + 0x2AC
  [8] 0x090000000BD1117C run__3AtmFPCc + 0x1BC
  [9] 0x090000000BD1027C db2HmonEvalStats + 0x2BC

2014-07-11-05.24.23.810134+480 E7961190A398       LEVEL: Error
PID     : 33619986             TID  : 258         PROC : db2wdog 0
INSTANCE: openeap              NODE : 000
EDUID   : 258                  EDUNAME: db2wdog 0
FUNCTION: DB2 UDB, base sys utilities, sqleChildCrashHandler, probe:5469
DATA #1 :
A non-EDU child crashed Process id: 22216934, OSS term code: 0x102, signal: 9

2014-07-11-05.24.23.810355+480 E7961589A464       LEVEL: Warning
PID     : 33357830             TID  : 258         PROC : db2sysc 0
INSTANCE: openeap              NODE : 000
EDUID   : 258                  EDUNAME: db2sysc 0
FUNCTION: DB2 UDB, routine_infrastructure, sqlerReturnFmpToPool, probe:999
DATA #1 : String, 34 bytes
Removing FMP from pool FMP handle:
DATA #2 : sqlerFmpHandle, PD_SQLER_TYPE_FMP_HANDLE, 16 bytes
fmpPid: 0  pFmpEntry: 0x078000000059f658收起
机械装备 · 2014-07-11
浏览2275
mydisc1mydisc1系统运维工程师IBM
log贴的对不对?从时间看dbm 启动成功了啊。而且你贴的错误EDUNAME 是db2agent,表示都有连接了。。。如果有错误,目测static_function,应该是包绑定的问题,不知楼主有没有升级后做绑定操作。。显示全部
log贴的对不对?从时间看dbm 启动成功了啊。而且你贴的错误EDUNAME 是db2agent,表示都有连接了。。。
如果有错误,目测static_function,应该是包绑定的问题,不知楼主有没有升级后做绑定操作。。收起
系统集成 · 2014-07-10
浏览2117
bankhpbankhp数据库管理员安徽省农村信用联社信息技术中心
Size of instance shared memory (4KB)  (INSTANCE_MEMORY) = AUTOMATIC(22891836)算了下,内存用用87个G。。。是这个导致的吧显示全部
Size of instance shared memory (4KB)  (INSTANCE_MEMORY) = AUTOMATIC(22891836)
算了下,内存用用87个G。。。
是这个导致的吧收起
银行 · 2014-07-10
浏览2165

提问者

yangshichang
项目经理康佳

相关问题

问题状态

  • 发布时间:2014-07-10
  • 关注会员:2 人
  • 问题浏览:23159
  • 最近回答:2014-07-18
  • X社区推广