互联网服务

RAC 哪个节点先启动HA就哪个节点实例能启动的问题

前面都一直好好的,RAC的两个节点都一切运行正常,可是我出差了一个多月回来检查数据库的时候发现只有一个节点的实例在运行,另一个节点怎么都启动不了,后来将服务器重启了也不行,后来无意中发现哪个节点先启动HA,那个节点就能正常启动所有实例,而后启动的一个实例都启动不了,真怪了。问了下可能操作这台服务器的人,都说没做过什么配置,自我走后就没人动过数据库。
     看了下rac日志,最近都一直报一个错误

2010-10-11 12:17:15.846: [  OCROSD][1]utopen:7:failed to open OCR file/disk /dev/rOCRFile /dev/rOCRFileMirror, errno=6, os err string=No such device or address
2010-10-11 12:17:15.846: [  OCRRAW][1]proprinit: Could not open raw device
2010-10-11 12:17:15.846: [ default][1]a_init:7!: Backend init unsuccessful : [26]
2010-10-11 12:17:15.846: [ CSSCLNT][1]clsssinit: Unable to access OCR device in OCR init.


就是说不能访问OCR,有人碰到过这种奇怪问题么,要怎么解决呀?都没改过任何东西,真奇怪了。

-------------------------------------------------------------------------------------------------------
      目前已经解决了,最终原因是因为有人拔了交换机上连接服务器心跳线的口子,也就是心跳线不通了。因为机房一直管理很严,不会有人随便能进来,也没想会有人把心跳线给拔了。不过通过这个事还是学到了很多东西,谢谢大家了。
参与49

49同行回答

风影子风影子数据库管理员深圳
第一个节点的信息hdisk0          00cbdf55925a31ea                    rootvg          activehdisk1     &nbs...显示全部
第一个节点的信息

hdisk0          00cbdf55925a31ea                    rootvg          active
hdisk1          00cbdf55421d5082                    rootvg          active
hdisk2          none                                None            
hdisk3          none                                None            
hdisk4          00cbdf5548f629d8                    datavg          concurrent
hdisk5          00cbdf5548f6399b                    datavg          concurrent
hdisk6          00cbdf5548f6457e                    datavg          concurrent
hdisk7          00cbdf5548f653cc                    datavg          concurrent

权限
$ ls -l /dev/r*
crw-r-----    1 root     oinstall     44,  1 Aug 10 15:22 /dev/rOCRFile
crw-r-----    1 root     oinstall     44,  2 Aug 10 15:22 /dev/rOCRFileMirror
crw-r--r--    1 oracle   oinstall     44,  3 Oct 13 13:50 /dev/rVOTFile
crw-r--r--    1 oracle   oinstall     44,  4 Oct 13 13:50 /dev/rVOTFile2
crw-r--r--    1 oracle   oinstall     44,  5 Oct 13 13:50 /dev/rVOTFile3
crw-r--r--    1 root     system       41,  0 Oct 13 13:05 /dev/random
crw-rw----    1 oracle   oinstall     44,  6 Aug 10 15:47 /dev/rasmdata1
crw-rw----    1 oracle   oinstall     44,  7 Aug 10 15:47 /dev/rasmdata2
crw-rw----    1 oracle   oinstall     44,  8 Aug 10 15:47 /dev/rasmdata3
crw-rw----    1 oracle   oinstall     44,  9 Aug 10 15:47 /dev/rasmdata4
cr--r--r--    1 root     system       16,  0 Aug 05 18:10 /dev/rcd0
cr--r--r--    1 root     system       16,  1 Aug 05 18:10 /dev/rcd1
crw-rw----    1 root     system       10, 13 Aug 10 19:01 /dev/rfslv00
crw-rw----    1 root     system       10,  8 Aug 05 18:10 /dev/rhd1
crw-rw----    1 root     system       10,  9 Aug 05 18:10 /dev/rhd10opt
crw-rw----    1 root     system       10, 10 Aug 05 18:10 /dev/rhd11admin
crw-rw----    1 root     system       10,  5 Aug 05 18:10 /dev/rhd2
crw-rw----    1 root     system       10,  7 Aug 05 18:10 /dev/rhd3
crw-rw----    1 root     system       10,  4 Aug 05 18:10 /dev/rhd4
crw-rw----    2 root     system       10,  1 Aug 05 18:10 /dev/rhd5
crw-rw----    1 root     system       10,  2 Aug 05 18:10 /dev/rhd6
crw-rw----    1 root     system       10,  3 Aug 05 18:10 /dev/rhd8
crw-rw----    1 root     system       10,  6 Aug 05 18:10 /dev/rhd9var
crw-------    2 root     system       24,  0 Aug 05 18:10 /dev/rhdisk0
crw-------    1 root     system       24,  1 Aug 05 18:10 /dev/rhdisk1
crw-------    1 root     system       24,  2 Aug 05 18:10 /dev/rhdisk2
crw-------    1 root     system       24,  3 Aug 05 18:10 /dev/rhdisk3
crw-------    1 root     system       24,  4 Aug 06 22:28 /dev/rhdisk4
crw-------    1 root     system       24,  5 Aug 06 22:28 /dev/rhdisk5
crw-------    1 root     system       24,  6 Aug 06 22:28 /dev/rhdisk6
crw-------    1 root     system       24,  7 Aug 06 22:28 /dev/rhdisk7
crw-rw----    1 root     system       10, 11 Aug 05 19:02 /dev/rlg_dumplv
crw-rw----    1 root     system       10, 12 Aug 05 19:02 /dev/rlivedump
crw-rw-rw-    1 root     system       26,  0 Aug 05 18:10 /dev/rmt0
crw-rw-rw-    1 root     system       26,  1 Aug 05 18:10 /dev/rmt0.1
crw-rw-rw-    1 root     system       26,  2 Aug 05 18:10 /dev/rmt0.2
crw-rw-rw-    1 root     system       26,  3 Aug 05 18:10 /dev/rmt0.3
crw-rw-rw-    1 root     system       26,  4 Aug 05 18:10 /dev/rmt0.4
crw-rw-rw-    1 root     system       26,  5 Aug 05 18:10 /dev/rmt0.5
crw-rw-rw-    1 root     system       26,  6 Aug 05 18:10 /dev/rmt0.6
crw-rw-rw-    1 root     system       26,  7 Aug 05 18:10 /dev/rmt0.7
crw-rw-rwT    1 root     system       45, 64 Oct 13 13:04 /dev/rmt1
crw-rw-rwT    1 root     system       45, 65 Oct 13 13:04 /dev/rmt1.1
crw-rw-rwT    1 root     system       45, 73 Oct 13 13:04 /dev/rmt1.10
crw-rw-rwT    1 root     system       45, 68 Oct 13 13:04 /dev/rmt1.2
crw-rw-rwT    1 root     system       45, 72 Oct 13 13:04 /dev/rmt1.20
crw-rw-rwT    1 root     system       45, 69 Oct 13 13:04 /dev/rmt1.3
crw-rw-rwT    1 root     system       45, 64 Oct 13 13:04 /dev/rmt1.4
crw-rw-rwT    1 root     system       45, 80 Oct 13 13:04 /dev/rmt1.40
crw-rw-rwT    1 root     system       45, 81 Oct 13 13:04 /dev/rmt1.41
crw-rw-rwT    1 root     system       45, 65 Oct 13 13:04 /dev/rmt1.5
crw-rw-rwT    1 root     system       45, 68 Oct 13 13:04 /dev/rmt1.6
crw-rw-rwT    1 root     system       45, 88 Oct 13 13:04 /dev/rmt1.60
crw-rw-rwT    1 root     system       45, 69 Oct 13 13:04 /dev/rmt1.7
crw-rw-rwT    1 root     system       45, 96 Oct 13 13:04 /dev/rmt1.null
crw-rw-rwT    1 root     system       45, 66 Oct 13 13:04 /dev/rmt1.smc
crw-rw----    1 root     system       10,  0 Aug 05 18:10 /dev/rootvg

$ ocrcheck
Status of Oracle Cluster Registry is as follows :
         Version                  :          2
         Total space (kbytes)     :    1048300
         Used space (kbytes)      :       3860
         Available space (kbytes) :    1044440
         ID                       : 2052075476
         Device/File Name         : /dev/rOCRFile
                                    Device/File integrity check succeeded
         Device/File Name         : /dev/rOCRFileMirror
                                    Device/File integrity check succeeded

         Cluster registry integrity check succeeded


下面是第二个节点的
$ lspv
hdisk0          00cbdef592956664                    rootvg          active
hdisk1          00cbdef5421dd033                    rootvg          active
hdisk2          none                                None            
hdisk3          none                                None            
hdisk4          00cbdf5548f629d8                    datavg          concurrent
hdisk5          00cbdf5548f6399b                    datavg          concurrent
hdisk6          00cbdf5548f6457e                    datavg          concurrent
hdisk7          00cbdf5548f653cc                    datavg          concurrent

$ ls -l /dev/r*
crw-r-----    1 root     oinstall     44,  1 Oct 13 13:52 /dev/rOCRFile
crw-r-----    1 root     oinstall     44,  2 Oct 13 13:52 /dev/rOCRFileMirror
crw-r--r--    1 oracle   oinstall     44,  3 Oct 13 13:53 /dev/rVOTFile
crw-r--r--    1 oracle   oinstall     44,  4 Oct 13 13:53 /dev/rVOTFile2
crw-r--r--    1 oracle   oinstall     44,  5 Oct 13 13:53 /dev/rVOTFile3
crw-r--r--    1 root     system       41,  0 Oct 13 13:07 /dev/random
crw-rw----    1 oracle   oinstall     44,  6 Oct 13 13:53 /dev/rasmdata1
crw-rw----    1 oracle   oinstall     44,  7 Oct 13 13:14 /dev/rasmdata2
crw-rw----    1 oracle   oinstall     44,  8 Aug 10 15:47 /dev/rasmdata3
crw-rw----    1 oracle   oinstall     44,  9 Oct 13 13:14 /dev/rasmdata4
cr--r--r--    1 root     system       16,  0 Aug 05 18:14 /dev/rcd0
cr--r--r--    1 root     system       16,  1 Aug 05 18:14 /dev/rcd1
crw-rw----    1 root     system       10, 13 Aug 10 19:12 /dev/rfslv00
crw-rw----    1 root     system       10,  8 Aug 05 18:14 /dev/rhd1
crw-rw----    1 root     system       10,  9 Aug 05 18:14 /dev/rhd10opt
crw-rw----    1 root     system       10, 10 Aug 05 18:14 /dev/rhd11admin
crw-rw----    1 root     system       10,  5 Aug 05 18:14 /dev/rhd2
crw-rw----    1 root     system       10,  7 Aug 05 18:14 /dev/rhd3
crw-rw----    1 root     system       10,  4 Aug 05 18:14 /dev/rhd4
crw-rw----    2 root     system       10,  1 Aug 05 18:14 /dev/rhd5
crw-rw----    1 root     system       10,  2 Aug 05 18:14 /dev/rhd6
crw-rw----    1 root     system       10,  3 Aug 05 18:14 /dev/rhd8
crw-rw----    1 root     system       10,  6 Aug 05 18:14 /dev/rhd9var
crw-------    2 root     system       24,  0 Aug 05 18:14 /dev/rhdisk0
crw-------    1 root     system       24,  1 Aug 05 18:14 /dev/rhdisk1
crw-------    1 root     system       24,  2 Aug 05 18:14 /dev/rhdisk2
crw-------    1 root     system       24,  3 Aug 05 18:14 /dev/rhdisk3
crw-------    1 root     system       24,  7 Aug 06 22:23 /dev/rhdisk4
crw-------    1 root     system       24,  5 Aug 06 22:23 /dev/rhdisk5
crw-------    1 root     system       24,  6 Aug 06 22:23 /dev/rhdisk6
crw-------    1 root     system       24,  4 Aug 06 22:23 /dev/rhdisk7
crw-rw----    1 root     system       10, 11 Aug 05 19:05 /dev/rlg_dumplv
crw-rw----    1 root     system       10, 12 Aug 05 19:05 /dev/rlivedump
crw-rw-rw-    1 root     system       26,  0 Aug 05 18:14 /dev/rmt0
crw-rw-rw-    1 root     system       26,  1 Aug 05 18:14 /dev/rmt0.1
crw-rw-rw-    1 root     system       26,  2 Aug 05 18:14 /dev/rmt0.2
crw-rw-rw-    1 root     system       26,  3 Aug 05 18:14 /dev/rmt0.3
crw-rw-rw-    1 root     system       26,  4 Aug 05 18:14 /dev/rmt0.4
crw-rw-rw-    1 root     system       26,  5 Aug 05 18:14 /dev/rmt0.5
crw-rw-rw-    1 root     system       26,  6 Aug 05 18:14 /dev/rmt0.6
crw-rw-rw-    1 root     system       26,  7 Aug 05 18:14 /dev/rmt0.7
crw-rw-rwT    1 root     system       45, 64 Oct 13 13:06 /dev/rmt1
crw-rw-rwT    1 root     system       45, 65 Oct 13 13:06 /dev/rmt1.1
crw-rw-rwT    1 root     system       45, 73 Oct 13 13:06 /dev/rmt1.10
crw-rw-rwT    1 root     system       45, 68 Oct 13 13:06 /dev/rmt1.2
crw-rw-rwT    1 root     system       45, 72 Oct 13 13:06 /dev/rmt1.20
crw-rw-rwT    1 root     system       45, 69 Oct 13 13:06 /dev/rmt1.3
crw-rw-rwT    1 root     system       45, 64 Oct 13 13:06 /dev/rmt1.4
crw-rw-rwT    1 root     system       45, 80 Oct 13 13:06 /dev/rmt1.40
crw-rw-rwT    1 root     system       45, 81 Oct 13 13:06 /dev/rmt1.41
crw-rw-rwT    1 root     system       45, 65 Oct 13 13:06 /dev/rmt1.5
crw-rw-rwT    1 root     system       45, 68 Oct 13 13:06 /dev/rmt1.6
crw-rw-rwT    1 root     system       45, 88 Oct 13 13:06 /dev/rmt1.60
crw-rw-rwT    1 root     system       45, 69 Oct 13 13:06 /dev/rmt1.7
crw-rw-rwT    1 root     system       45, 96 Oct 13 13:06 /dev/rmt1.null
crw-rw-rwT    1 root     system       45, 66 Oct 13 13:06 /dev/rmt1.smc
crw-rw----    1 root     system       10,  0 Aug 05 18:14 /dev/rootvg

$ ocrcheck
Status of Oracle Cluster Registry is as follows :
         Version                  :          2
         Total space (kbytes)     :    1048300
         Used space (kbytes)      :       3860
         Available space (kbytes) :    1044440
         ID                       : 2052075476
         Device/File Name         : /dev/rOCRFile
                                    Device/File integrity check succeeded
         Device/File Name         : /dev/rOCRFileMirror
                                    Device/File integrity check succeeded

         Cluster registry integrity check succeeded收起
互联网服务 · 2010-10-13
浏览554
风影子风影子数据库管理员深圳
raw device的这个参数怎么设置啊,它是个裸设备,并不是个盘啊,盘的我用chdev -l hdisk4 -a reserve_policy=no_reserve就设置好了。裸设备是/dev/rOCRFile,这要怎么设置啊?而且我把阵列盘的reserve_policy全改成了no_reserve也没问题啊。。故障依旧,也没出新问题。...显示全部
raw device的这个参数怎么设置啊,它是个裸设备,并不是个盘啊,盘的我用chdev -l hdisk4 -a reserve_policy=no_reserve就设置好了。裸设备是/dev/rOCRFile,这要怎么设置啊?
而且我把阵列盘的reserve_policy全改成了no_reserve也没问题啊。。故障依旧,也没出新问题。收起
互联网服务 · 2010-10-13
浏览469
allanwangallanwangADMINIBM
我的阵列盘reserve_policy为single_path,现在改为了no_reserve,反而两台主机的实例都启不来了。怎么回事啊,OCR盘是用的祼设备,请问我哪出问题了啊,急死人了,一个都启不来了。 ...风影子 发表于 2010-10-13 11:54 只有raw device要求设置这个参数,其它的盘不需要。你的问题出在r...显示全部
我的阵列盘reserve_policy为single_path,现在改为了no_reserve,反而两台主机的实例都启不来了。怎么回事啊,OCR盘是用的祼设备,请问我哪出问题了啊,急死人了,一个都启不来了。 ...
风影子 发表于 2010-10-13 11:54

只有raw device要求设置这个参数,其它的盘不需要。你的问题出在raw上,先不要动其他的东西,避免问题复杂化。收起
IT分销/经销 · 2010-10-13
浏览431
allanwangallanwangADMINIBM
可以把盘的情况贴出来给大家看看吗?显示全部
可以把盘的情况贴出来给大家看看吗?收起
IT分销/经销 · 2010-10-13
浏览434
myguangzhoumyguangzhou技术经理Uniwise
ocssd.log和crsd.log也有相应的日志,仔细再看看显示全部
ocssd.log和crsd.log也有相应的日志,仔细再看看收起
互联网服务 · 2010-10-13
浏览525
myguangzhoumyguangzhou技术经理Uniwise
这次没有报找不到设备的错误了,已经有进步啦看你的情况,是css集群服务没起来ocrcheck看看,还有权限等显示全部
这次没有报找不到设备的错误了,已经有进步啦
看你的情况,是css集群服务没起来
ocrcheck看看,还有权限等收起
互联网服务 · 2010-10-13
浏览460
allanwangallanwangADMINIBM
你用的raw device是不应该有PVID的。对照LUN ID相同才好。显示全部
你用的raw device是不应该有PVID的。对照LUN ID相同才好。收起
IT分销/经销 · 2010-10-13
浏览433
风影子风影子数据库管理员深圳
我重启了一下两台服务器,最终又还是一样,只有一个节点能启动起来。看了下PVID,本地硬盘的是不一样的,但阵列盘都是一样,且都是concurrent状态不过CRS日志内容和以前不一样了2010-10-13 11:57:57.484: [ default][1][ENTER]32Oracle Database 10g CRS Release 10.2.0.4.0 Produ...显示全部
我重启了一下两台服务器,最终又还是一样,只有一个节点能启动起来。
看了下PVID,本地硬盘的是不一样的,但阵列盘都是一样,且都是concurrent状态
不过CRS日志内容和以前不一样了

2010-10-13 11:57:57.484: [ default][1][ENTER]32
Oracle Database 10g CRS Release 10.2.0.4.0 Production Copyright 1996, 2004, Oracle.  All rights reserved
2010-10-13 11:57:57.499: [ default][1]32CRS Daemon Starting
2010-10-13 11:57:57.507: [ CRSMAIN][1]32Checking the OCR device
2010-10-13 11:57:57.511: [ CRSMAIN][1]32Connecting to the CSS Daemon
2010-10-13 11:57:57.867: [ COMMCRS][259]clsc_connect: (1109ec710) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_afcdb02_crs))

2010-10-13 11:57:57.867: [ CSSCLNT][1]clsssInitNative: connect failed, rc 9

2010-10-13 11:57:57.868: [  CRSRTI][1]32CSS is not ready. Received status 3 from CSS. Waiting for good status ..

2010-10-13 11:57:59.206: [ COMMCRS][261]clsc_connect: (1109ec710) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_afcdb02_crs))

2010-10-13 11:57:59.206: [ CSSCLNT][1]clsssInitNative: connect failed, rc 9

2010-10-13 11:57:59.207: [  CRSRTI][1]32CSS is not ready. Received status 3 from CSS. Waiting for good status ..

2010-10-13 11:58:00.545: [ COMMCRS][263]clsc_connect: (1109ec710) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_afcdb02_crs))

2010-10-13 11:58:00.545: [ CSSCLNT][1]clsssInitNative: connect failed, rc 9

2010-10-13 11:58:00.546: [  CRSRTI][1]32CSS is not ready. Received status 3 from CSS. Waiting for good status ..

2010-10-13 11:58:01.884: [ COMMCRS][265]clsc_connect: (1109ec710) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_afcdb02_crs))

2010-10-13 11:58:01.884: [ CSSCLNT][1]clsssInitNative: connect failed, rc 9

2010-10-13 11:58:01.885: [  CRSRTI][1]32CSS is not ready. Received status 3 from CSS. Waiting for good status ..收起
互联网服务 · 2010-10-13
浏览466
myguangzhoumyguangzhou技术经理Uniwise
尝试关闭crs然后在启动,然后看crs的日志显示全部
尝试关闭crs然后在启动,然后看crs的日志收起
互联网服务 · 2010-10-13
浏览460
myguangzhoumyguangzhou技术经理Uniwise
crs能起来否?看日志显示全部
crs能起来否?看日志收起
互联网服务 · 2010-10-13
浏览1029

提问者

风影子
数据库管理员深圳
擅长领域: 服务器LinuxUnix

问题状态

  • 发布时间:2010-10-12
  • 关注会员:0 人
  • 问题浏览:19380
  • 最近回答:2010-10-25
  • X社区推广