是否是磁盘性能问题导致的kern%高
有几台服务器有时候会出现kern%比较高的情况，有时候会达到20-40%，百思不得其解，请各位大侠提点：服务器环境是aix 61-07 + ORACLE 11G（文件系统）topas结果如下：Topas Monitor for host: ora-qxzh E...显示全部
有几台服务器有时候会出现kern%比较高的情况，有时候会达到20-40%，百思不得其解，请各位大侠提点：
服务器环境是aix 61-07 + ORACLE 11G（文件系统）
topas结果如下：
Topas Monitor for host: ora-qxzh EVENTS/QUEUES FILE/TTY
Thu Nov 14 10:29:46 2013 Interval: 2 Cswitch 14181 Readch 1413.7M
Syscall 45838 Writech 2615.2K
CPU User% Kern% Wait% Idle% Physc Entc Reads 3420 Rawin 0
ALL 32.3 40.6 2.7 24.4 8.33 208.4 Writes 839 Ttyout 383
Forks 3 Igets 0
Network KBPS I-Pack O-Pack KB-In KB-Out Execs 1 Namei 607
Total 567.7 841.2 724.8 352.1 215.6 Runqueue 12.9 Dirblk 0
Waitqueue 4.0
Disk Busy% KBPS TPS KB-Read KB-Writ MEMORY
Total 43.2 254.5K 4873.0 251.8K 2768.2 PAGING Real,MB 122880
Faults 14019 % Comp 64
FileSystem KBPS TPS KB-Read KB-Writ Steals 62903 % Noncomp 7
Total 1.4M 2.9K 1.4M 2.4K PgspIn 0 % Client 7
PgspOut 0
Name PID CPU% PgSp Owner PageIn 64424 PAGING SPACE
lrud 262152 17.7 0.1 root PageOut 686 Size,MB 17408
oracle 17433148 6.0 17.0 oracle Sios 65236 % Used 2
oracle 21758266 6.0 15.6 oracle % Free 98
oracle 20775356 6.0 17.4 oracle NFS (calls/sec)
oracle 50135498 6.0 60.9 oracle SerV2 0 WPAR Activ 0
aioserve 40042520 6.0 0.1 oracle CliV2 0 WPAR Total 0
aioserve 56229930 6.0 0.1 oracle SerV3 0 Press: "h"-help
oracle 55771640 6.0 15.2 oracle CliV3 0 "q"-quit
aioserve 30474358 6.0 0.1 oracle
oracle 22348314 0.0 24.3 oracle
oracle 42663958 0.0 24.1 oracle
aioserve 10420640 0.0 0.1 oracle
aioserve 57868468 0.0 0.1 oracle
aioserve 5964072 0.0 0.1 oracle
aioserve 16843270 0.0 0.1 oracle
aioserve 786972 0.0 0.1 oracle
aioserve 38666702 0.0 0.1 oracle
aioserve 16712302 0.0 0.1 oracle
aioserve 6029880 0.0 0.1 oracle
aioserve 18481724 0.0 0.1 oracle
可以看到kern%已经达到了 40之多，filesystem的读写也比较大，已经达到了1个G之多，而disk里面统计只有254M，这里不是很明确是否是加上直接从系统内存里面的数据；
下面是磁盘io的情况，感觉磁盘的i/o效率比较差：
Disk Busy% KBPS TPS KB-R ART MRT KB-W AWT MWT AQW AQD
hdisk3 89.0 29.4K 331.0 28.9K 8.8 78.9 591.9 0.9 7.9 0.1 0.0
hdisk4 76.0 29.6K 495.0 29.0K 4.0 382.7 639.9 1.0 9.2 0.0 0.0
hdisk2 74.0 27.6K 547.0 26.9K 3.5 51.6 745.9 1.0 9.5 0.0 0.0
hdisk7 74.0 29.2K 537.0 28.3K 3.0 44.1 895.9 0.8 10.3 0.0 0.0
hdisk5 71.0 28.7K 409.0 28.4K 3.8 30.4 360.0 1.0 10.1 0.0 0.0
hdisk0 1.0 62.0 13.0 8.0 0.4 9.0 54.0 1.0 7.5 0.0 0.0
hdisk1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
hdisk6 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
hdisk9 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.7 0.0 0.0
hdisk10 0.0 2.0 0.0 0.0 0.0 10.1 2.0 0.8 1.3 0.0 0.0
hdisk8 0.0 0.0 0.0 0.0 0.0 0.4 0.0 0.0 0.0 0.0 0.0
下面是vmstat的结果，系统有在等待I/O及cpu，但是不是很大，内存换页也算正常；
ora-qxzh:/>#vmstat 1 10
System configuration: lcpu=40 mem=122880MB ent=4.00 mmode=shared mpsz=450.00GB
kthr memory page faults cpu
----- ----------- ------------------------ ------------ -----------------------
r b avm fre re pi po fr sr cy in sy cs us sy id wa pc ec
8 6 20327841 8688621 0 0 0 33760 42733 0 4770 47464 11805 37 26 36 0 7.15 178.7
6 13 20329379 8686787 0 0 0 33809 171972 0 3120 57621 9696 37 28 34 0 8.18 204.4
7 5 20336948 8679353 0 0 0 38675 51131 0 4086 43012 10985 42 24 33 1 7.67 191.8
11 5 20342106 8674143 0 0 0 32549 45137 0 3341 53466 10367 41 24 34 1 7.67 191.7
5 7 20340308 8676030 0 0 0 28868 35641 0 4852 58109 13054 40 25 35 1 7.65 191.1
10 4 20336229 8680213 0 0 0 25482 33493 0 3897 36854 11737 42 22 36 0 6.64 166.1
10 11 20343585 8672626 0 0 0 29188 35417 0 2522 55288 8713 42 22 36 0 7.09 177.1
14 6 20333245 8682677 0 0 0 26371 64880 0 2579 48243 8462 42 23 36 0 7.08 177.1
7 6 20328494 8687888 0 0 0 35932 142119 0 3402 46921 9997 38 26 36 0 7.53 188.2
0 0 20329013 8687196 0 0 0 35441 44917 0 3886 75827 11645 38 27 35 1 7.27 181.7
挑选了一个比较忙的磁盘进行大小数据块的顺序读io测试：
ora-qxzh:/>#dd if=/dev/rhdisk3 of=/dev/null bs=16k &
ora-qxzh:/>#iostat -d hdisk3 1 5
System configuration: lcpu=40 drives=11 paths=110 vdisks=1
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 45645.6 2259.0 47480 368
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 99.0 42426.8 1987.8 42656 736
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 99.0 50495.6 2856.3 51800 1536
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 71768.3 3341.7 54508 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 43534.4 1906.1 50732 976
ora-qxzh:/>#dd if=/dev/rhdisk3 of=/dev/null bs=1m &
[1] 63504726
ora-qxzh:/>#iostat -d hdisk3 1 5
System configuration: lcpu=40 drives=11 paths=110 vdisks=1
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 61450.8 706.7 68560 480
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 105880.1 1066.9 76112 704
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 32793.3 278.8 76640 416
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 74663.0 547.5 80524 896
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 75226.8 636.0 69788 944
然后挑选一个比较空的hdisk进行测试，发现io效率比上面的忙的磁盘高出很多；
ora-qxzh:/>#dd if=/dev/rhdisk9 of=/dev/null bs=16k &
[1] 38601010
ora-qxzh:/>#iostat -d hdisk9 1 10
System configuration: lcpu=40 drives=11 paths=110 vdisks=1
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 88.0 76604.6 4787.8 37632 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 83.0 24617.7 1538.6 39024 32
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 81.0 9869.5 616.8 40576 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 77.0 73184.2 4574.0 40416 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 81.0 25601.1 1585.4 35232 424
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 81.0 64690.9 4045.5 35572 8
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 77.0 62573.9 3923.6 34288 112
ora-qxzh:/>#dd if=/dev/rhdisk9 of=/dev/null bs=1m &
[1] 17236458
ora-qxzh:/>#iostat -d hdisk9 1 5
System configuration: lcpu=40 drives=11 paths=110 vdisks=1
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 93.0 173794.1 681.2 139264 32
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 96.0 241502.4 945.0 139528 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 94.0 163246.4 637.7 166144 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 93.0 215600.0 885.3 146476 132
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 97.0 249673.8 1110.8 161940 348
lsattr -El hdisk3 |grep queue_depth
queue_depth 20 Queue DEPTH
lslpp -l |grep pcm
devices.sddpcm.61.rte 2.6.1.0 COMMITTED IBM SDD PCM FOR AIX V61
devices.sddpcm.61.rte 2.6.1.0 COMMITTED IBM SDD PCM FOR AIX V61收起
服务器环境是aix 61-07 + ORACLE 11G（文件系统）
topas结果如下：
Topas Monitor for host: ora-qxzh EVENTS/QUEUES FILE/TTY
Thu Nov 14 10:29:46 2013 Interval: 2 Cswitch 14181 Readch 1413.7M
Syscall 45838 Writech 2615.2K
CPU User% Kern% Wait% Idle% Physc Entc Reads 3420 Rawin 0
ALL 32.3 40.6 2.7 24.4 8.33 208.4 Writes 839 Ttyout 383
Forks 3 Igets 0
Network KBPS I-Pack O-Pack KB-In KB-Out Execs 1 Namei 607
Total 567.7 841.2 724.8 352.1 215.6 Runqueue 12.9 Dirblk 0
Waitqueue 4.0
Disk Busy% KBPS TPS KB-Read KB-Writ MEMORY
Total 43.2 254.5K 4873.0 251.8K 2768.2 PAGING Real,MB 122880
Faults 14019 % Comp 64
FileSystem KBPS TPS KB-Read KB-Writ Steals 62903 % Noncomp 7
Total 1.4M 2.9K 1.4M 2.4K PgspIn 0 % Client 7
PgspOut 0
Name PID CPU% PgSp Owner PageIn 64424 PAGING SPACE
lrud 262152 17.7 0.1 root PageOut 686 Size,MB 17408
oracle 17433148 6.0 17.0 oracle Sios 65236 % Used 2
oracle 21758266 6.0 15.6 oracle % Free 98
oracle 20775356 6.0 17.4 oracle NFS (calls/sec)
oracle 50135498 6.0 60.9 oracle SerV2 0 WPAR Activ 0
aioserve 40042520 6.0 0.1 oracle CliV2 0 WPAR Total 0
aioserve 56229930 6.0 0.1 oracle SerV3 0 Press: "h"-help
oracle 55771640 6.0 15.2 oracle CliV3 0 "q"-quit
aioserve 30474358 6.0 0.1 oracle
oracle 22348314 0.0 24.3 oracle
oracle 42663958 0.0 24.1 oracle
aioserve 10420640 0.0 0.1 oracle
aioserve 57868468 0.0 0.1 oracle
aioserve 5964072 0.0 0.1 oracle
aioserve 16843270 0.0 0.1 oracle
aioserve 786972 0.0 0.1 oracle
aioserve 38666702 0.0 0.1 oracle
aioserve 16712302 0.0 0.1 oracle
aioserve 6029880 0.0 0.1 oracle
aioserve 18481724 0.0 0.1 oracle
可以看到kern%已经达到了 40之多，filesystem的读写也比较大，已经达到了1个G之多，而disk里面统计只有254M，这里不是很明确是否是加上直接从系统内存里面的数据；
下面是磁盘io的情况，感觉磁盘的i/o效率比较差：
Disk Busy% KBPS TPS KB-R ART MRT KB-W AWT MWT AQW AQD
hdisk3 89.0 29.4K 331.0 28.9K 8.8 78.9 591.9 0.9 7.9 0.1 0.0
hdisk4 76.0 29.6K 495.0 29.0K 4.0 382.7 639.9 1.0 9.2 0.0 0.0
hdisk2 74.0 27.6K 547.0 26.9K 3.5 51.6 745.9 1.0 9.5 0.0 0.0
hdisk7 74.0 29.2K 537.0 28.3K 3.0 44.1 895.9 0.8 10.3 0.0 0.0
hdisk5 71.0 28.7K 409.0 28.4K 3.8 30.4 360.0 1.0 10.1 0.0 0.0
hdisk0 1.0 62.0 13.0 8.0 0.4 9.0 54.0 1.0 7.5 0.0 0.0
hdisk1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
hdisk6 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
hdisk9 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.7 0.0 0.0
hdisk10 0.0 2.0 0.0 0.0 0.0 10.1 2.0 0.8 1.3 0.0 0.0
hdisk8 0.0 0.0 0.0 0.0 0.0 0.4 0.0 0.0 0.0 0.0 0.0
下面是vmstat的结果，系统有在等待I/O及cpu，但是不是很大，内存换页也算正常；
ora-qxzh:/>#vmstat 1 10
System configuration: lcpu=40 mem=122880MB ent=4.00 mmode=shared mpsz=450.00GB
kthr memory page faults cpu
----- ----------- ------------------------ ------------ -----------------------
r b avm fre re pi po fr sr cy in sy cs us sy id wa pc ec
8 6 20327841 8688621 0 0 0 33760 42733 0 4770 47464 11805 37 26 36 0 7.15 178.7
6 13 20329379 8686787 0 0 0 33809 171972 0 3120 57621 9696 37 28 34 0 8.18 204.4
7 5 20336948 8679353 0 0 0 38675 51131 0 4086 43012 10985 42 24 33 1 7.67 191.8
11 5 20342106 8674143 0 0 0 32549 45137 0 3341 53466 10367 41 24 34 1 7.67 191.7
5 7 20340308 8676030 0 0 0 28868 35641 0 4852 58109 13054 40 25 35 1 7.65 191.1
10 4 20336229 8680213 0 0 0 25482 33493 0 3897 36854 11737 42 22 36 0 6.64 166.1
10 11 20343585 8672626 0 0 0 29188 35417 0 2522 55288 8713 42 22 36 0 7.09 177.1
14 6 20333245 8682677 0 0 0 26371 64880 0 2579 48243 8462 42 23 36 0 7.08 177.1
7 6 20328494 8687888 0 0 0 35932 142119 0 3402 46921 9997 38 26 36 0 7.53 188.2
0 0 20329013 8687196 0 0 0 35441 44917 0 3886 75827 11645 38 27 35 1 7.27 181.7
挑选了一个比较忙的磁盘进行大小数据块的顺序读io测试：
ora-qxzh:/>#dd if=/dev/rhdisk3 of=/dev/null bs=16k &
ora-qxzh:/>#iostat -d hdisk3 1 5
System configuration: lcpu=40 drives=11 paths=110 vdisks=1
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 45645.6 2259.0 47480 368
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 99.0 42426.8 1987.8 42656 736
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 99.0 50495.6 2856.3 51800 1536
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 71768.3 3341.7 54508 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 43534.4 1906.1 50732 976
ora-qxzh:/>#dd if=/dev/rhdisk3 of=/dev/null bs=1m &
[1] 63504726
ora-qxzh:/>#iostat -d hdisk3 1 5
System configuration: lcpu=40 drives=11 paths=110 vdisks=1
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 61450.8 706.7 68560 480
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 105880.1 1066.9 76112 704
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 32793.3 278.8 76640 416
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 74663.0 547.5 80524 896
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk3 100.0 75226.8 636.0 69788 944
然后挑选一个比较空的hdisk进行测试，发现io效率比上面的忙的磁盘高出很多；
ora-qxzh:/>#dd if=/dev/rhdisk9 of=/dev/null bs=16k &
[1] 38601010
ora-qxzh:/>#iostat -d hdisk9 1 10
System configuration: lcpu=40 drives=11 paths=110 vdisks=1
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 88.0 76604.6 4787.8 37632 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 83.0 24617.7 1538.6 39024 32
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 81.0 9869.5 616.8 40576 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 77.0 73184.2 4574.0 40416 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 81.0 25601.1 1585.4 35232 424
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 81.0 64690.9 4045.5 35572 8
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 77.0 62573.9 3923.6 34288 112
ora-qxzh:/>#dd if=/dev/rhdisk9 of=/dev/null bs=1m &
[1] 17236458
ora-qxzh:/>#iostat -d hdisk9 1 5
System configuration: lcpu=40 drives=11 paths=110 vdisks=1
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 93.0 173794.1 681.2 139264 32
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 96.0 241502.4 945.0 139528 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 94.0 163246.4 637.7 166144 0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 93.0 215600.0 885.3 146476 132
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk9 97.0 249673.8 1110.8 161940 348
lsattr -El hdisk3 |grep queue_depth
queue_depth 20 Queue DEPTH
lslpp -l |grep pcm
devices.sddpcm.61.rte 2.6.1.0 COMMITTED IBM SDD PCM FOR AIX V61
devices.sddpcm.61.rte 2.6.1.0 COMMITTED IBM SDD PCM FOR AIX V61收起