HACMP下安装RAC你一定要知道的
曾经碰到这样的问题：
环境：AIX5.3+HACMP5.3+ORACLE10G+EMC阵列；
1.stop HACMP后，ORACLE能够正常shutdown，但是用lsvg -o可以发现某个节点的并发卷组并没有VARYOFF,手动VARYOFF该VG失败；于是尝试varyon，却又提示
“0516-034 varyonvg: Failed to open VG special file. Probable cause is the VG was forced offline. Execute thevaryoffvg and varyonvg commands to bring the VG online.”
尝试两次之后，可以完成varyonvaryoff的操作。
2.start hacmp，只有一个节点的实例能起来，另外一个节点的PV没有CONCURRENT ACTIVE
3.执行varyonvg，可以完成;但是lsvg -p datavg后发现有个2个LUN的状态是pvmissing，多次尝试均如此；因为是阵列，而且其中一个节点能够正常读取，所以这2个LUN并没有物理损坏。
4.EXPORTIMPORT VG，同步HA，故障依旧
解决办法：
忽然想起，RAC环境中，需要修改PV的reserve_lock（reserve_policy）的属性.......该不是这个问题吧?
lsattr -El hdiskpowerX，果然发现reserve_lock=yes，于是马上关闭HACMP,然后分别在2个节点上执行：
chdev -l powerhdiskX -a reserve_lock=no
启动HACMP......
netstat -in IP起来了
lsvg -o vg也已经CONCURRENT ACTIVE
ps -ef |Grep oracle已经看到很多进程在RUNNING
类似的情况碰到两三次了，都是因为安装ORACLE的家伙没仔细看ORACLE的官方文档，从网上DOWN一个STEP BY STEP的文档就干活，害人不浅。
我曾经检查过不少RAC，发现将近一半并有按照RELEASE NOTES来修改PV属性，运气好的话两三年不出问题，基本不出问题；
但运气不好的话HA一关闭启动很可能就会碰以上问题。
其实在HACMP+RAC环境中，PV的这个属性reserve_lock(reserve_policy)必须为否，以提供多节点的并发访问；
ORACLE的RELEASE NOTES上有提到；
可惜很多工程师并没留意到，杯具啊
======================================================
To enable simultaneous access to a disk device from multiple nodes, you must set the appropriate Object Data Manager (ODM) attribute listed in the following table to the value shown, depending on the disk type:
Disk Type Attribute Value
SSA, FAStT, or non-MPIO-capable disks reserve_lock no
ESS, EMC, HDS, CLARiiON, or MPIO-capable disks
reserve_policy no_reserve
To determine whether the attribute has the correct value, enter a command similar to the following on all cluster nodes for each disk device that you want to use:
# /usr/sbin/lsattr -E -l hdiskn
If the required attribute is not set to the correct value on any node, then enter a command similar to one of the following on that node:
■ SSA and FAStT devices
# /usr/sbin/chdev -l hdiskn -a reserve_lock=no
■ ESS, EMC, HDS, CLARiiON, and MPIO-capable devices
# /usr/sbin/chdev -l hdiskn -a reserve_policy=no_reserve
=====================================================
环境：AIX5.3+HACMP5.3+ORACLE10G+EMC阵列；
1.stop HACMP后，ORACLE能够正常shutdown，但是用lsvg -o可以发现某个节点的并发卷组并没有VARYOFF,手动VARYOFF该VG失败；于是尝试varyon，却又提示
“0516-034 varyonvg: Failed to open VG special file. Probable cause is the VG was forced offline. Execute thevaryoffvg and varyonvg commands to bring the VG online.”
尝试两次之后，可以完成varyonvaryoff的操作。
2.start hacmp，只有一个节点的实例能起来，另外一个节点的PV没有CONCURRENT ACTIVE
3.执行varyonvg，可以完成;但是lsvg -p datavg后发现有个2个LUN的状态是pvmissing，多次尝试均如此；因为是阵列，而且其中一个节点能够正常读取，所以这2个LUN并没有物理损坏。
4.EXPORTIMPORT VG，同步HA，故障依旧
解决办法：
忽然想起，RAC环境中，需要修改PV的reserve_lock（reserve_policy）的属性.......该不是这个问题吧?
lsattr -El hdiskpowerX，果然发现reserve_lock=yes，于是马上关闭HACMP,然后分别在2个节点上执行：
chdev -l powerhdiskX -a reserve_lock=no
启动HACMP......
netstat -in IP起来了
lsvg -o vg也已经CONCURRENT ACTIVE
ps -ef |Grep oracle已经看到很多进程在RUNNING
类似的情况碰到两三次了，都是因为安装ORACLE的家伙没仔细看ORACLE的官方文档，从网上DOWN一个STEP BY STEP的文档就干活，害人不浅。
我曾经检查过不少RAC，发现将近一半并有按照RELEASE NOTES来修改PV属性，运气好的话两三年不出问题，基本不出问题；
但运气不好的话HA一关闭启动很可能就会碰以上问题。
其实在HACMP+RAC环境中，PV的这个属性reserve_lock(reserve_policy)必须为否，以提供多节点的并发访问；
ORACLE的RELEASE NOTES上有提到；
可惜很多工程师并没留意到，杯具啊
======================================================
To enable simultaneous access to a disk device from multiple nodes, you must set the appropriate Object Data Manager (ODM) attribute listed in the following table to the value shown, depending on the disk type:
Disk Type Attribute Value
SSA, FAStT, or non-MPIO-capable disks reserve_lock no
ESS, EMC, HDS, CLARiiON, or MPIO-capable disks
reserve_policy no_reserve
To determine whether the attribute has the correct value, enter a command similar to the following on all cluster nodes for each disk device that you want to use:
# /usr/sbin/lsattr -E -l hdiskn
If the required attribute is not set to the correct value on any node, then enter a command similar to one of the following on that node:
■ SSA and FAStT devices
# /usr/sbin/chdev -l hdiskn -a reserve_lock=no
■ ESS, EMC, HDS, CLARiiON, and MPIO-capable devices
# /usr/sbin/chdev -l hdiskn -a reserve_policy=no_reserve
=====================================================