互联网服务hacmpracOracle集群

HACMP下安装RAC你一定要知道的

曾经碰到这样的问题:环境:AIX5.3+HACMP5.3+ORACLE10G+EMC阵列;1.stop HACMP后,ORACLE能够正常shutdown,但是用lsvg -o可以发现某个节点的并发卷组并没有VARYOFF,手动VARYOFF该VG失败;于是尝试varyon,却又提示“0516-034 varyonvg: Failed to open VG special file. Probable cau...显示全部
曾经碰到这样的问题:

环境:AIX5.3+HACMP5.3+ORACLE10G+EMC阵列;

1.stop HACMP后,ORACLE能够正常shutdown,但是用lsvg -o可以发现某个节点的并发卷组并没有VARYOFF,手动VARYOFF该VG失败;于是尝试varyon,却又提示
“0516-034 varyonvg: Failed to open VG special file. Probable cause is the VG was forced offline. Execute thevaryoffvg and varyonvg commands to bring the VG online.”
尝试两次之后,可以完成varyonvaryoff的操作。

2.start hacmp,只有一个节点的实例能起来,另外一个节点的PV没有CONCURRENT ACTIVE

3.执行varyonvg,可以完成;但是lsvg -p datavg后发现有个2个LUN的状态是pvmissing,多次尝试均如此;因为是阵列,而且其中一个节点能够正常读取,所以这2个LUN并没有物理损坏。

4.EXPORTIMPORT VG,同步HA,故障依旧

解决办法:
忽然想起,RAC环境中,需要修改PV的reserve_lock(reserve_policy)的属性.......该不是这个问题吧?
lsattr -El hdiskpowerX,果然发现reserve_lock=yes,于是马上关闭HACMP,然后分别在2个节点上执行:
chdev -l powerhdiskX -a reserve_lock=no

启动HACMP......
netstat -in IP起来了
lsvg -o vg也已经CONCURRENT ACTIVE
ps -ef |Grep oracle已经看到很多进程在RUNNING

类似的情况碰到两三次了,都是因为安装ORACLE的家伙没仔细看ORACLE的官方文档,从网上DOWN一个STEP BY STEP的文档就干活,害人不浅。

我曾经检查过不少RAC,发现将近一半并有按照RELEASE NOTES来修改PV属性,运气好的话两三年不出问题,基本不出问题;
但运气不好的话HA一关闭启动很可能就会碰以上问题。

其实在HACMP+RAC环境中,PV的这个属性reserve_lock(reserve_policy)必须为否,以提供多节点的并发访问;
ORACLE的RELEASE NOTES上有提到;
可惜很多工程师并没留意到,杯具啊
======================================================

To enable simultaneous access to a disk device from multiple nodes, you must set the appropriate Object Data Manager (ODM) attribute listed in the following table to the value shown, depending on the disk type:

Disk Type Attribute Value
SSA, FAStT, or non-MPIO-capable disks reserve_lock no

ESS, EMC, HDS, CLARiiON, or MPIO-capable disks
reserve_policy no_reserve

To determine whether the attribute has the correct value, enter a command similar to the following on all cluster nodes for each disk device that you want to use:
# /usr/sbin/lsattr -E -l hdiskn
If the required attribute is not set to the correct value on any node, then enter a command similar to one of the following on that node:
■ SSA and FAStT devices
# /usr/sbin/chdev -l hdiskn -a reserve_lock=no
■ ESS, EMC, HDS, CLARiiON, and MPIO-capable devices
# /usr/sbin/chdev -l hdiskn -a reserve_policy=no_reserve
=====================================================收起
参与505

查看其它 197 个回答qiaozb的回答

qiaozbqiaozb  售后技术支持 , 浪潮商用机器有限公司
实施的时候一定要问清楚,必须做出更改
硬件生产 · 2011-01-06
浏览732

回答者

qiaozb
售后技术支持浪潮商用机器有限公司

qiaozb 最近回答过的问题

回答状态

  • 发布时间:2011-01-06
  • 关注会员:3 人
  • 回答浏览:732
  • X社区推广