经典实施案例征集。。。。

telnet怪问题解决

一aix5.3，两网卡，都设有地址（1.1.1.1 2.1.1.1用户后来自己设的），报故障一ip telnet登录没任何问题，另一ip地址登陆很容易断开..

到现场察看，问清没有ips，fw之类的设备后开始检查，
尝试telnet 2.1.1.1 3分钟后异常退出，无任何征兆，再尝试，无法打开23端口...

telnet 1.1.1.1 察看日志无,查看/etc/telnet.conf无特别，
两ip设置也无任何特别，特别用smitty mktcpip看了一遍，都有各自的网关.郁闷了
再看hosts文件，乐了

127.0.0.1       localhost.localdomain   localhost IBMp520b
2.1.1.1 IBMp520b

怎么多了个上次我记得我把1.1.1.1给注释掉的，这台机器做过双机，被加过name，是不是问题就出在这？他用mktcpip来修改ip，
自动加了一条记录

修改正常收起

又是一个 典型的实施前 没做好规划。没有按照要求调整 交换分区的大小收起

数据库报无法连接，tns-12500,无法创建专用的服务器进程。
我在操作系统的日志信息中发现如下错误。
Description
SOFTWARE PROGRAM ABNORMALLY TERMINATED
Probable Causes
SYSTEM RUNNING OUT OF PAGING SPACE
Failure Causes
INSUFFICIENT PAGING SPACE DEFINED FOR THE SYSTEM
PROGRAM USING EXCESSIVE AMOUNT OF PAGING SPACE
        Recommended Actions
        DEFINE ADDITIONAL PAGING SPACE
        REDUCE PAGING SPACE REQUIREMENTS OF PROGRAM(S)
Detail Data
PROGRAM
oracle
USER'S PROCESS ID:
           0
PROGRAM'S PAGING SPACE USE IN 1KB BLOCKS
           0
---------------------------------------------------------------------------
LABEL:          PGSP_KILL
IDENTIFIER:     C5C09FFA
Date/Time:       Thu Dec 25 09:11:34 CST 2008
Sequence Number: 72223
Machine Id:      00CE79EF4C00
Node Id:         p595-1-lpar4
Class:           S
Type:            PERM
Resource Name:   SYSVMM         
topas的结果如下：
Kernel    0.1   |#                           |  Reads         2  Rawin         0
User      0.0   |#                           |  Writes        5  Ttyout      251
Wait      0.0   |                            |  Forks         0  Igets         0
Idle     99.9   |############################|  Execs         0  Namei         1
                                                Runqueue    0.0  Dirblk        0
Network  KBPS   I-Pack  O-Pack   KB-In  KB-Out  Waitqueue   0.0
en0       1.1      5.5     6.0     0.3     0.8
lo0       0.0      0.0     0.0     0.0     0.0  PAGING           MEMORY
                                                Faults        0  Real,MB   16384
Disk    Busy%     KBPS     TPS KB-Read KB-Writ  Steals        0  % Comp     95.9
hdisk0    0.0      0.0     0.0     0.0     0.0  PgspIn        0  % Noncomp   0.9
hdisk1    0.0      0.0     0.0     0.0     0.0  PgspOut       0  % Client    0.9
hdisk3    0.0      0.0     0.0     0.0     0.0  PageIn        0
hdisk4    0.0      0.0     0.0     0.0     0.0  PageOut       0  PAGING SPACE
hdisk46   0.0      0.0     0.0     0.0     0.0  Sios          0  Size,MB     512
hdisk11   0.0      0.0     0.0     0.0     0.0                   % Used     94.9
hdisk67   0.0      0.0     0.0     0.0     0.0  NFS (calls/sec)  % Free      5.0
hdisk5    0.0      0.0     0.0     0.0     0.0  ServerV2       0
hdisk10   0.0      0.0     0.0     0.0     0.0  ClientV2       0   Press:
hdisk8    0.0      0.0     0.0     0.0     0.0  ServerV3       0   "h" for help
hdisk49   0.0      0.0     0.0     0.0     0.0  ClientV3       0   "q" to quit
hdisk6    0.0      0.0     0.0     0.0     0.0
hdisk9    0.0      0.0     0.0     0.0     0.0
hdisk13   0.0      0.0     0.0     0.0     0.0
hdisk69   0.0      0.0     0.0     0.0     0.0
Name            PID  CPU%  PgSp Owner
dtterm      1474682   0.1   1.5 root
topas       1769562   0.0   2.3 root
gil           98352   0.0   0.1 root
xmgc          45078   0.0   0.0 root
resv_min     221314   0.0   0.1 root
oracle      1843368   0.0   3.7 oracle
oracle       401608   0.0   8.5 oracle
rmcd         274600   0.0   1.4 root
sendmail     290980   0.0   1.0 root
rpc.lock     307358   0.0   0.2 root
pilegc        40980   0.0   0.2 root
oracle       368838   0.0   4.5 oracle
syncd        110760   0.0   0.5 root
netm          94254   0.0   0.0 root
oracle      1355846   0.0   8.5 oracle
oracle      1147092   0.0   8.4 oracle
oracle       352464   0.0   6.3 oracle

# more /etc/swapspaces
* /etc/swapspaces
*
* This file lists all the paging spaces that are automatically put into
* service on each system restart (the 'swapon -a' command executed from
* /etc/rc swaps on every device listed here).
*
* WARNING: Only paging space devices should be listed here.
*
* This file is modified by the chps, mkps and rmps commands and referenced
* by the lsps and swapon commands.
hd6:
   dev = /dev/hd6
通过topas说明内存16G,交换paging space 512M,很明显空间不够使用。
解决方法：增加交换分区
smit pgsp
mkps
增加后问题解决。收起

交换不足引起的故障收起

点评 ：

一般在 系统调试安装的时候 这个参数应该是必须调整的收起

AIX对很多资源都是有限制的，例如用户能创建的最大进程数限制，用参数maxuproc表示，
如果用户想创建超过maxuproc参数的进程，此时就会创建失败。对于oracle数据库,如果
处于独占模式，那么每一个客户端的连接都会在数据库服务器上创建一个进程，为其服务。
如果此参数maxuproc值过小，很容易达到此限制，应用报错。
大家可以通过如下的命令查看当前系统中设置的maxuproc参数大小，此参数的含义为：单个用户允许的最大进程数。
db_XXX:/home/oracle>$lsattr -El sys0|grep maxuproc
maxuproc        5000               Maximum number of PROCESSES allowed per user      True
前不久，我们根据业务的垂直性把一个在AIX上面的oracle数据进行了切分，将其中几个schema迁移到另外一个数据库上。
当时数据迁移是放到晚上进行的。当晚迁移完成后，各项业务正常。
第二天，接到报警，无法连接到数据库。查看ORACLE数据库的监听日志，发现有如下的信息：
23-AUG-2008 10:03:08 * (connect_data=(service_name=tax)(server=dedicated)(CID=(PROGRAM=oracle)(HOST=tax595)(USER=admin))) * (ADDRESS=(PROTOCOL=tcp)(HOST=192.168.168.21)(PORT=53566)) * establish * misc * 12500
TNS-12500: TNS:listener failed to start a dedicated server process
TNS-12540: TNS:internal limit restriction exceeded
  TNS-12560: TNS:protocol adapter error
   TNS-00510: Internal limit restriction exceeded
    IBM/AIX RISC System/6000 Error: 11: Resource temporarily unavailable
立刻查看当前系统进程数参数设置：
db_XXX:/home/oracle>$lsattr -El sys0|grep maxuproc
maxuproc        2000               Maximum number of PROCESSES allowed per user      True
查看当前ORACLE的进程数
ps -ef|grep oracle|wc -l
发现此值为1995
至此发现问题，执行以下修改此参数的命令：
chdev -l sys0 -a maxuproc='3000'
问题解决。收起

AIX-maxuproc参数案例收起

顶上。。。收起

点评：

千万不要chdev
主要你一台机器在用，所以你无法获取pvid
你只需要把另外一台机器中vg varyoff
然后再执行cfgmgr,pvid就可以找到了收起

今天我冒着风险,在没有停止A机HA的情况下,作了如下操作,pvid恢复了!
现将结果和大家分享一下
A机: 将raidvg解锁 varyonvg -b -u raidvg
B机: cfgmgr -v
A机: varyonvg raidvg

我不知这样是否有风险,但lspv发现
hdisk4          0003a1b11dc18657                    raidvg          active
hdisk5          0003a1b11dc18852                    raidvg          active
并且启动 B机的HA也正常启动了

我认为若raidvg也丢了,可能得用3楼的方法,但我的情况是只丢掉了hdisk4,hdisk5的pvid.收起