HA共享卷组无法扩展的问题

两台P55A  ,后端连接存储为 HP xp24000  
架构为HACMP双机,共享卷组为oadata  ,系统 5300-06-01-0000

经过检查,发现以下问题
1. 两台P55A均未安装存储识别多路径软件,只是将多路径识别到的盘创建了卷组 oadata,以下为该卷组相关信息

# lsdev -Cc disk
hdisk0 Available 03-08-00-5,0 16 Bit LVD SCSI Disk Drive
hdisk1 Available 03-08-00-8,0 16 Bit LVD SCSI Disk Drive
hdisk2 Available 00-08-01 Other FC SCSI Disk Drive
hdisk3 Available 00-08-01 Other FC SCSI Disk Drive
hdisk4 Available 00-08-01 Other FC SCSI Disk Drive
hdisk5 Available 00-08-01 Other FC SCSI Disk Drive
hdisk6 Available 00-08-01 Other FC SCSI Disk Drive
hdisk7 Available 05-08-01 Other FC SCSI Disk Drive
hdisk8 Available 05-08-01 Other FC SCSI Disk Drive
hdisk9 Available 05-08-01 Other FC SCSI Disk Drive
hdisk10 Available 05-08-01 Other FC SCSI Disk Drive
hdisk11 Available 05-08-01 Other FC SCSI Disk Drive

# lspv
hdisk0 0007edbb1cd3b5f1 rootvg active
hdisk1 0007edbb3c3b09a9 rootvg active
hdisk2 0007edbb3e6f4a4d oadata active
hdisk3 0007edbb3e736906 oadata active
hdisk4 0007edbb3e73a8c6 oadata active
hdisk5 000496f73e7a2a2f oadata active
hdisk6 000496f73e7ab31f oadata active
hdisk7 0007edbb3e6f4a4d oadata active
hdisk8 0007edbb3e736906 oadata active
hdisk9 0007edbb3e73a8c6 oadata active
hdisk10 000496f73e7a2a2f oadata active
hdisk11 000496f73e7ab31f oadata active

# lsvg -l oadata
oadata:
LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINT
loglv02 jfs2log 1 1 1 open/syncd N/A
fslv00 jfs2 625 625 5 open/syncd /appdata

# lslv -l fslv00
fslv00:/appdata
PV COPIES IN BAND DISTRIBUTION
hdisk3 156:000:000 19% 032:031:031:031:031
hdisk4 156:000:000 19% 032:031:031:031:031
hdisk5 156:000:000 19% 032:031:031:031:031
hdisk2 155:000:000 19% 032:030:031:031:031
hdisk6 002:000:000 50% 001:001:000:000:000

2. oadata卷组的 MAJOR NUMBER  在两台P55A上不统一
   节点1  
    # ls -l /dev | grep oadata
    crw-rw---- 1 root system 51, 0 Mar 27 2009 oadata

   节点2
    # ls -l /dev | grep oadata
    crw-rw---- 1 root system 52, 0 Mar 26 2009 oadata


以上是系统发现的问题,但是近期要对该系统扩容,新划分了12个lun给双机,两端均可识别
节点1
# lspv
hdisk0 0007edbb1cd3b5f1 rootvg active
hdisk1 0007edbb3c3b09a9 rootvg active
hdisk2 0007edbb3e6f4a4d oadata active
hdisk3 0007edbb3e736906 oadata active
hdisk4 0007edbb3e73a8c6 oadata active
hdisk5 000496f73e7a2a2f oadata active
hdisk6 000496f73e7ab31f oadata active
hdisk7 0007edbb3e6f4a4d oadata active
hdisk8 0007edbb3e736906 oadata active
hdisk9 0007edbb3e73a8c6 oadata active
hdisk10 000496f73e7a2a2f oadata active
hdisk11 000496f73e7ab31f oadata active
hdisk12 none None
hdisk13 none None
hdisk14 none None
hdisk15 none None
hdisk16 none None
hdisk17 none None
hdisk18 none None
hdisk19 none None
hdisk20 none None
hdisk21 none None
hdisk22 none None
hdisk23 none None
hdisk24 none None
hdisk25 none None
hdisk26 none None
hdisk27 none None
hdisk28 none None
hdisk29 none None
hdisk30 none None
hdisk31 none None
hdisk32 none None
hdisk33 none None
hdisk34 none None
hdisk35 none None


节点2
# lspv
hdisk0 0009769adc8fa40a rootvg active
hdisk1 0008e6d4a9bdc5e7 rootvg active
hdisk2 000496f710d43850 appdata active
hdisk3 000496f714113430 appdata active
hdisk4 000496f7141238ad None
hdisk5 000496f714132ac1 None
hdisk6 0007edbb3e6f4a4d oadata
hdisk7 0007edbb3e736906 oadata
hdisk8 0007edbb3e73a8c6 oadata
hdisk9 000496f73e7a2a2f oadata
hdisk10 000496f73e7ab31f oadata
hdisk11 0007edbb3e6f4a4d oadata
hdisk12 0007edbb3e736906 oadata
hdisk13 0007edbb3e73a8c6 oadata
hdisk14 000496f73e7a2a2f oadata
hdisk15 000496f73e7ab31f oadata
hdisk16 none None
hdisk17 none None
hdisk18 none None
hdisk19 none None
hdisk20 none None
hdisk21 none None
hdisk22 none None
hdisk23 none None
hdisk24 none None
hdisk25 none None
hdisk26 none None
hdisk27 none None
hdisk28 none None
hdisk29 none None
hdisk30 none None
hdisk31 none None
hdisk32 none None
hdisk33 none None
hdisk34 none None
hdisk35 none None
hdisk36 none None
hdisk37 none None
hdisk38 none None
hdisk39 none None

ha管理下在线扩展VG 不成功 报 1800-051 There are no items of this type.  
停HACMP服务后,varyonvg oadata后 扩展卷组报错

0516-1254 extendvg: Changing the PVID in the ODM.
0516-1398 extendvg: The physical volume hdisk12, appears to belong to
another volume group. Use the force option to add this physical volume
to a volume group.
0516-792 extendvg: Unable to extend volume group

加f参数也不行,依旧报错
0516-792 extendvg: Unable to extend volume group.

本次新划分的lun在存储端核实过,都是新划分的LUN 未映射给其他设备使用
将识别的lun新创建卷组都可以,但是如果扩展的话有几率不成功
本次划分lun大小为40G,下面为一个lun的说明
# lsattr -El hdisk12
clr_q no                                Device CLEARS its Queue on error True
location                                 Location Label True
lun_id 0x5000000000000     Logical Unit Number ID False
max_transfer 0x40000          Maximum TRANSFER Size True
node_name 0x50060e8005499260   FC Node Name False
pvid 0007edbbade5be1a0000000000000000     Physical volume identifier False
q_err yes                              Use QERR bit True
q_type simple                       Queuing TYPE True
queue_depth 1                     Queue DEPTH True
reassign_to 120                   REASSIGN time out value True
rw_timeout 30                       READ/WRITE time out value True
scsi_id 0x65cc00                   SCSI ID False
start_timeout 60                    START unit time out value True
ww_name 0x50060e8005499260   FC World Wide Name False




个人认为和驱动未安装有一定关系,安装驱动需要将目前已经识别到的lun删除,但是由于是生产系统,不知道现在怎么个思路好了,求各位大师帮助
以下为收集配置信息



oadata卷组信息如下
# lsvg oadata
VOLUME GROUP: oadata VG IDENTIFIER: 000496f70000d6000000012042cf5f25
VG STATE: active PP SIZE: 256 megabyte(s)
VG PERMISSION: read/write TOTAL PPs: 627 (160512 megabytes)
MAX LVs: 256 FREE PPs: 1 (256 megabytes)
LVs: 2 USED PPs: 626 (160256 megabytes)
OPEN LVs: 2 QUORUM: 3
TOTAL PVs: 5 VG DESCRIPTORS: 5
STALE PVs: 0 STALE PPs: 0
ACTIVE PVs: 5 AUTO ON: no
MAX PPs per VG: 32512
MAX PPs per PV: 1016 MAX PVs: 32
LTG size (Dynamic): 256 kilobyte(s) AUTO SYNC: no
HOT SPARE: no BB POLICY: relocatable

# xpinfo -i
Device File ALPA Tgt Lun Port CU:LDev Type Serial#
================================================================================
/dev/rhdisk2 e2 00 00 CL7A 00:b4 OPEN-V 18834
/dev/rhdisk3 e2 00 01 CL7A 00:b5 OPEN-V 18834
/dev/rhdisk4 e2 00 02 CL7A 00:b6 OPEN-V 18834
/dev/rhdisk5 e2 00 03 CL7A 00:b7 OPEN-V 18834
/dev/rhdisk6 e2 00 04 CL7A 00:e4 OPEN-V 18834
/dev/rhdisk7 d4 00 00 CL8A 00:b4 OPEN-V 18834
/dev/rhdisk8 d4 00 01 CL8A 00:b5 OPEN-V 18834
/dev/rhdisk9 d4 00 02 CL8A 00:b6 OPEN-V 18834
/dev/rhdisk10 d4 00 03 CL8A 00:b7 OPEN-V 18834
/dev/rhdisk11 d4 00 04 CL8A 00:e4 OPEN-V 18834
/dev/rhdisk12 e2 00 05 CL7A 02:40 OPEN-V 18834
/dev/rhdisk13 e2 00 06 CL7A 02:41 OPEN-V 18834
/dev/rhdisk14 e2 00 07 CL7A 02:42 OPEN-V 18834
/dev/rhdisk15 e2 00 08 CL7A 02:43 OPEN-V 18834
/dev/rhdisk16 e2 00 09 CL7A 02:44 OPEN-V 18834
/dev/rhdisk17 e2 00 0a CL7A 02:45 OPEN-V 18834
/dev/rhdisk18 e2 00 0b CL7A 02:46 OPEN-V 18834
/dev/rhdisk19 e2 00 0c CL7A 02:47 OPEN-V 18834
/dev/rhdisk20 e2 00 0d CL7A 02:48 OPEN-V 18834
/dev/rhdisk21 e2 00 0e CL7A 02:49 OPEN-V 18834
/dev/rhdisk22 e2 00 0f CL7A 02:4a OPEN-V 18834
/dev/rhdisk23 e2 00 10 CL7A 02:4b OPEN-V 18834
/dev/rhdisk24 d4 00 05 CL8A 02:40 OPEN-V 18834
/dev/rhdisk25 d4 00 06 CL8A 02:41 OPEN-V 18834
/dev/rhdisk26 d4 00 07 CL8A 02:42 OPEN-V 18834
/dev/rhdisk27 d4 00 08 CL8A 02:43 OPEN-V 18834
/dev/rhdisk28 d4 00 09 CL8A 02:44 OPEN-V 18834
/dev/rhdisk29 d4 00 0a CL8A 02:45 OPEN-V 18834
/dev/rhdisk30 d4 00 0b CL8A 02:46 OPEN-V 18834
/dev/rhdisk31 d4 00 0c CL8A 02:47 OPEN-V 18834
/dev/rhdisk32 d4 00 0d CL8A 02:48 OPEN-V 18834
/dev/rhdisk33 d4 00 0e CL8A 02:49 OPEN-V 18834
/dev/rhdisk34 d4 00 0f CL8A 02:4a OPEN-V 18834
/dev/rhdisk35 d4 00 10 CL8A 02:4b OPEN-V 18834
参与12

11同行回答

campspiritcampspirit技术经理中科软
隐患啊,谁做的。。。给后面的人找麻烦显示全部
隐患啊,谁做的。。。给后面的人找麻烦收起
互联网服务 · 2011-03-23
浏览3434
e333444e333444项目经理神州数码
HP的XP是高端货来的,为什么实施的人没考虑到MPIO?myguangzhou 发表于 2011-3-16 15:05     恩   刚开始安装的人就没给这个服务器安装 mpio的ODM插件,所以不能识别为mpio设备显示全部
HP的XP是高端货来的,为什么实施的人没考虑到MPIO?
myguangzhou 发表于 2011-3-16 15:05



    恩   刚开始安装的人就没给这个服务器安装 mpio的ODM插件,所以不能识别为mpio设备收起
互联网服务 · 2011-03-21
浏览4687
myguangzhoumyguangzhou技术经理Uniwise
HP的XP是高端货来的,为什么实施的人没考虑到MPIO?显示全部
HP的XP是高端货来的,为什么实施的人没考虑到MPIO?收起
互联网服务 · 2011-03-16
浏览4724
e333444e333444项目经理神州数码
楼主不够细心你没看到有HDISK的PVID一样的吗?你有多条物理链路但是却没有用MPIO;用HP的MPIO或者AIX自带 ...myguangzhou 发表于 2011-3-14 21:49 看到了,所以我做了测试又贴上来了,XP24000有多路径,我得帮他们重做...显示全部
楼主不够细心
你没看到有HDISK的PVID一样的吗?你有多条物理链路但是却没有用MPIO;用HP的MPIO或者AIX自带 ...
myguangzhou 发表于 2011-3-14 21:49



看到了,所以我做了测试又贴上来了,XP24000有多路径,我得帮他们重做收起
互联网服务 · 2011-03-16
浏览4765
e333444e333444项目经理神州数码
开始为啥不装呢 不按照要求玩myciciy 发表于 2011-3-15 21:33     前期是别人做的,我们做扩容显示全部
开始为啥不装呢 不按照要求玩
myciciy 发表于 2011-3-15 21:33



    前期是别人做的,我们做扩容收起
互联网服务 · 2011-03-16
浏览4758
myciciymyciciy联盟成员IT顾问某金融科技公司
开始为啥不装呢 不按照要求玩显示全部
开始为啥不装呢 不按照要求玩收起
银行 · 2011-03-15
浏览4808
myguangzhoumyguangzhou技术经理Uniwise
楼主不够细心你没看到有HDISK的PVID一样的吗?你有多条物理链路但是却没有用MPIO;用HP的MPIO或者AIX自带的MPIO吧显示全部
楼主不够细心
你没看到有HDISK的PVID一样的吗?你有多条物理链路但是却没有用MPIO;用HP的MPIO或者AIX自带的MPIO吧收起
互联网服务 · 2011-03-14
浏览4734
e333444e333444项目经理神州数码
个人认为如下原因,各位大侠看对不OA系统识别新扩容的存储空间工作已经完成,共12个lun,主机端均可识别;但是在扩展到OA系统原有的的oadata卷组中,遇到无法扩展的问题,经多方面排查,以及与IBM原厂工程师讨论结论如下:           由于OA系...显示全部
个人认为如下原因,各位大侠看对不

OA系统识别新扩容的存储空间工作已经完成,共12个lun,主机端均可识别;但是在扩展到OA系统原有的的oadata卷组中,遇到无法扩展的问题,经多方面排查,以及与IBM原厂工程师讨论结论如下:
     
      由于OA系统主机未安装xp24000的设备驱动及多路径软件,采用系统默认方式识别存储盘,识别的存储盘并没有在主机端做聚合;在初次创建oadata卷组的时候,全部使用鬼盘(就是主机端识别到的,未进行链路合并前的盘)创建,IBM官方建议"存储上的盘首先要消除鬼盘后才可建VG,不然可能会有未知问题" ,以下为OA系统已经创建的卷组 oadata信息

# lspv  
hdisk2          0007edbb3e6f4a4d                    oadata          active
hdisk3          0007edbb3e736906                    oadata          active
hdisk4          0007edbb3e73a8c6                   oadata          active
hdisk5          000496f73e7a2a2f                    oadata          active
hdisk6          000496f73e7ab31f                    oadata          active
hdisk7          0007edbb3e6f4a4d                    oadata          active
hdisk8          0007edbb3e736906                    oadata          active
hdisk9          0007edbb3e73a8c6                    oadata          active
hdisk10         000496f73e7a2a2f                    oadata          active
hdisk11         000496f73e7ab31f                    oadata          active

      在扩容的过程中,系统报错如下:0516-792 extendvg: Unable to extend volume group.  此报错为提示结果为无法扩展卷组,严格的将这个报错为一个结果,并未提示原因,经过与IBM原厂工程师的沟通,认为 为官方不认可的鬼盘组成的VG扩容而产生的非可辨识性错误,同时为了验证问题,我们进行了如下测试:

    1.  首先验证本次划分存储盘的可用性,在OA备用机上用新识别的12块存储盘,创建VG成功,并可正常读写,测试验证了本次存储盘的可用性

    2.  删除以上测试创建的VG ,选择一部分新识别的存储盘创建VG ,并扩展其他新识别的存储盘,分以下两种测试
         为更好阐述测试内容,说明如下:
         主机端识别存储给的1个lun,由于走SAN网络,多路径的原因,那么在主机端该lun将被识别多块hdisk;OA系统是两条路径,所以存储上划分给OA系统使用的12个lun ,将在主机端识别为 24个 hdisk ;也就是说在OA系统上会出现2个hdisk其实是1块盘的情况,aix识别盘依靠 PVID号,同1个lun在系统中对应的2个hdisk的PVID号应该是一致的,如oadata中 hdisk2 和hdisk7 (上面用相同颜色标识出的);
         新盘在sgjtoabackup 服务器上识别如下表:
         
           hdisk16         none                                None            
           hdisk17         none                                None            
           hdisk18         none                                None            
           hdisk19         none                                None            
           hdisk20         none                                None            
           hdisk21         none                                None            
           hdisk22         none                                None            
           hdisk23         none                                None            
           hdisk24         none                                None            
           hdisk25         none                                None            
           hdisk26         none                                None            
           hdisk27         none                                None            
           hdisk28         none                                None            
           hdisk29         none                                None            
           hdisk30         none                                None            
           hdisk31         none                                None            
           hdisk32         none                                None            
           hdisk33         none                                None            
           hdisk34         none                                None            
           hdisk35         none                                None            
           hdisk36         none                                None            
           hdisk37         none                                None            
           hdisk38         none                                None            
           hdisk39         none                                None
         
          2.1  选择hdisk16  hdisk17 新识别的存储盘 识别设备PVID ,并创建VG ;之后扩展VG 加入 hdisk18 ,可成功扩展;
                但是加入hdisk28(与hdisk16是同一块盘)时,报错如下
                0516-1182 extendvg Open Failure on hdisk28.
                0516-792 extendvg: Unable to extend volume group.

          2.2  删除以上测试VG ,识别hdisk16 和hdisk28 的PVID ,PVID相同,选择创建卷组,可将hdisk16 和hdisk28同时加入到1个卷组中,
                但是在扩展VG的操作中,无论加入任何PV均不可以 ,报如下:
                0516-792 extendvg: Unable to extend volume group.


         结合以上测试结果,原因推论如下:
         在aix系统中,创建VG后,系统会在该VG属组内的PV填写VGDA信息,VGDA信息为卷组信息,在同一次的卷组操作中,无法对同一块存储盘做两次VGDA信息的写入操作,所以报错不成功,而加入未在卷组中重复的PV则可以成功。

         解决建议方法,备份现有oadata卷组,安装HP XP24000相关驱动,重新识别存储盘并重做oadata ,恢复收起
互联网服务 · 2011-03-14
浏览5710
e333444e333444项目经理神州数码
回复 1# e333444     今天询问了 ibm 800  做了synclvodm  还是扩展不成功只报  0516-792 extendvg: Unable to extend volume group.  800 建议更改下vg为big试试   不知行否...显示全部
回复 1# e333444


    今天询问了 ibm 800  做了synclvodm  还是扩展不成功
只报  0516-792 extendvg: Unable to extend volume group.  
800 建议更改下vg为big试试   不知行否收起
互联网服务 · 2011-03-14
浏览4740
e333444e333444项目经理神州数码
先给个PVID吧可以在备机上做实验我以为危险不大,不改动数据,仅仅是驱动,不会对vg产生很大影响 ...hello_unix 发表于 2011-3-13 22:45 多谢,我明天试试显示全部
先给个PVID吧
可以在备机上做实验
我以为危险不大,不改动数据,仅仅是驱动,不会对vg产生很大影响 ...
hello_unix 发表于 2011-3-13 22:45



多谢,我明天试试收起
互联网服务 · 2011-03-13
浏览4724

提问者

e333444
项目经理神州数码

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2011-03-13
  • 关注会员:1 人
  • 问题浏览:17298
  • 最近回答:2011-03-23
  • X社区推广