坑爷的ORA OEM问题解决过程分享

字数 8550阅读 2365评论 1赞 0

问题描述
----------------------------------------------------------------------------------------------
ORACLE OEM 监控系统需要把某一个ORACLE RAC集群当中的主机节点加入到系统管理当中。
环境当中 唯有一个节点无法加入。

OEM加入节点及监控对象的基本操作：
1）配置好OEM针对特定节点的操作系统驱动。
2）从OEM界面管理当中手动将节点IP加入。
3）从加入的节点中搜索可以监控的具体对象（集群数据库、监听、ASM、节点系统信息等等）。

OEM: 12.1.0.5.0
NODE: Redhat6.6

错误信息
----------------------------------------------------------------------------------------------
![QQ图片20170417153028 (28421).jpg](/home/attachment/201704/19/353923_1492582807.jpg)

从部署的报错来看，有两点可以提供诊断线索：
1）OEM服务器上打出了一个日志：/home/oem/gc_inst/em/EMGC_OMS1/sysman/agentpush/2017-04-XX_XX-XX-XX-PM/applogs/10.X.X.XX_deploy.log
2)   报错界面上提示了几个信息（b_doDiscovery=false, b_startAgent=false, b_forceInstCheck=true,AGENT_PORT=3872等等）

诊断步骤
----------------------------------------------------------------------------------------------
1. 查看日志信息

2017-04-XX_XX-XX-15:INFO:skipping ssh setup  since its jsch plugin
2017-04-XX_XX-XX-15:INFO: Skipping action SSHSetup based on inputs
2017-04-XX_XX-XX-15:INFO:[action name=CopyAgentImage, action Description=将代理软件传输到目标主机, order=300, skip=false, executeAlways=false, status=null,

2017-04-XX_XX-XX-15:INFO: ACTIONS : SSHValidations
2017-04-XX_XX-XX-15:INFO: ACTIONS : CopyAgentImage
2017-04-XX_XX-XX-15:INFO:============Creating Deployment Vo for key : Initialization and setting status as NOT_EXECUTED
2017-04-XX_XX-XX-15:INFO:=====Creating Action Vo for actionSSHValidations
2017-04-XX_XX-XX-15:INFO:=====Creating Action Vo for actionCopyAgentImage
2017-04-XX_XX-XX-15:INFO:deploymentVo has now status: NOT_EXECUTED
2017-04-XX_XX-XX-15:INFO:==SUDO EXISTS false SUDO PRIV false
2017-04-XX_XX-XX-15:INFO:====CALLING ACTIONdoSSHValidations
2017-04-XX_XX-XX-15:INFO:updating status IN_PROGRESS for action name SSHValidations with key: SSHValidations
2017-04-XX_XX-XX-15:INFO:action:NodesAliveperform:true
2017-04-XX_XX-XX-15:INFO:===VALIDATION===:Checking for Nodes Alive
2017-04-XX_XX-XX-15:INFO:RESULT 0
2017-04-XX_XX-XX-15:INFO:====CALLING ACTIONdoNodesAlive
2017-04-XX_XX-XX-15:INFO:action:RemotePasswordCheckperform:true
2017-04-XX_XX-XX-15:INFO:===VALIDATION===:Checking Password Validity on target nodes
2017-04-XX_XX-XX-15:INFO:NODES=X.X.X.XX Retry Count 5
2017-04-XX_XX-XX-15:INFO:retry count : 1
2017-04-XX_XX-XX-15:INFO:Running cmd /bin/true on node X.X.X.XX
2017-04-XX_XX-XX-15:INFO:ssh connect timeout 60000
password validity on target nodes : PASSED
"/home/oem/gc_inst/em/EMGC_OMS1/sysman/agentpush/2017-04-17_14-48-31-PM/applogs/X.X.X.XX_deploy.log" 885L, 76826C
2017-04-17_14-55-43:INFO:exit-code: 0
2017-04-17_14-55-43:INFO:Dir /home/oracle/emc_agent/core/12.1.0.5.0/cfgtoollogs exists on remote node and hence copying it
2017-04-17_14-55-43:INFO:Action description 在主机 X.X.X.XX 上执行命令 /bin/sh -c '(cd /home/oracle/emc_agent/core/12.1.0.5.0/cfgtoollogs && /home/oracle/emc_agent/core/12.1.0.5.0/bin/zip -q -r /tmp/remoteArchivesX.X.X.XX2017-04-17_02-55-43-PM.zip * )'
2017-04-17_14-55-43:INFO:Attempt :1 pty required false  with no inputs
2017-04-17_14-55-44:INFO:/bin/sh -c '(cd /home/oracle/emc_agent/core/12.1.0.5.0/cfgtoollogs && /home/oracle/emc_agent/core/12.1.0.5.0/bin/zip -q -r /tmp/remoteArchivesX.X.X.XX2017-04-17_02-55-43-PM.zip * )' execution was successful on host X.X.X.XX
2017-04-17_14-55-44:INFO:output:
2017-04-17_14-55-44:INFO:error-stream:
2017-04-17_14-55-44:INFO:exit-code: 0
2017-04-17_14-55-44:INFO:Action description 将文件 /tmp/remoteArchivesX.X.X.XX2017-04-17_02-55-43-PM.zip 从主机 X.X.X.XX 复制到 OMS 上的 /tmp/localArchivesX.X.X.XX2017-04-17_02-55-43-PM.zip Attempt 1
2017-04-17_14-55-44:INFO:ACTION :在 OMS 主机上执行命令 /home/oem/middle/oms/bin/unzip -q -o -d /home/oem/gc_inst/em/EMGC_OMS1/sysman/agentpush/2017-04-17_14-48-31-PM/cfgtoollogs/X.X.X.XX /tmp/localArchivesX.X.X.XX2017-04-17_02-55-43-PM.zip
2017-04-17_14-55-44:INFO:Nodelocalhost
2017-04-17_14-55-44:INFO:OUT:
2017-04-17_14-55-44:INFO:ERR:null
2017-04-17_14-55-44:INFO:exit:0
2017-04-17_14-55-44:INFO:STATUS:0
2017-04-17_14-55-44:INFO:Action description 在主机 X.X.X.XX 上执行命令 /bin/sh -c '/bin/rm -f /tmp/remoteArchivesX.X.X.XX2017-04-17_02-55-43-PM.zip'
2017-04-17_14-55-44:INFO:Attempt :1 pty required false  with no inputs
2017-04-17_14-55-45:INFO:/bin/sh -c '/bin/rm -f /tmp/remoteArchivesX.X.X.XX2017-04-17_02-55-43-PM.zip' execution was successful on host X.X.X.XX
2017-04-17_14-55-45:INFO:output:
2017-04-17_14-55-45:INFO:error-stream:
2017-04-17_14-55-45:INFO:exit-code: 0
2017-04-17_14-55-45:INFO:done executing the action: CollectLog on node: X.X.X.XX
2017-04-17_14-55-45:INFO:action: CollectLog is SUCCESS
2017-04-17_14-55-45:INFO:updating status SUCCESS for action name CollectLog with key: CollectLog
2017-04-17_14-55-45:INFO:Skipping action Cleanup since some previous step has failed
2017-04-17_14-55-45:INFO:The following action failedInstall
2017-04-17_14-55-45:INFO:TIME TAKEN by NewAgentDeployer on host X.X.X.XX is 0: hrs 0: mins 25 sec
2017-04-17_14-55-45:INFO:PERF:HOSTNAME:X.X.X.XX:NewAgentDeployer_EXECUTION_TIME:25020
2017-04-17_14-55-45:INFO:HOST:X.X.X.XX
2017-04-17_14-55-45:INFO:Destroying Logger
2017-04-17_14-55-45:INFO:======================================New Agent Deployer END ====================================
2017-04-17_14-55-45:INFO:Clearing EMSecurityContext EMExecutionContext in BaseDeployerOps

分析思路：
从日志上来看，几乎没有报出什么有价值的东西来。

2. 从提示的几个信息着手
1）端口
 [root@pdsre01 ~]# lsof -i:3782
        [root@pdsre01 ~]#

2）ssh
也没有问题，上传下载功能测试过。

3）目录权限
也没有问题。

3. 手动部署（使用Agent上面的AgentDeployment.sh手动部署），依然报错，同样的错误。
4. 检查OEM上的/etc/hosts
5. 检查节点上的/etc/hosts
6. 采用主机名称代替IP地址方式部署，依然失败。

累了，歇歇吧。

第二天，仔细调查并思索前因后果，实际上这个节点上之前安装过一个其他版本的AGENT，但是已经卸载过了，照理说不应该影响本次安装。
难道说还有什么残留信息没有清理完毕，导致某些资源的占用才使得安装失败？于是又进行了如下动作：

1. 重新启动节点（往往重新启动机器会把一些类似端口、内存之类的资源释放掉），故障依然存在。
2. 仔细翻看oracle的安装及卸载的相关文章，找到如下线索。

/etc/oraInst.loc 
=>
$ORACLE_BASE/orainventory/

这里有个inventory.xml文件，里面记录了oracle软件安装的信息：
```xml
<?xml version="1.0" standalone="yes" ?>
                ......
<HOME NAME="agent13c1" LOC="/home/oracle/emcc_agent/agent_13.1.0.0.0" TYPE="O" IDX="3"/>
.......
```

里面果然有残留的东西，难道这就是问题的所在？有些小喜悦。

3. 仔细小心的作了备份之后把里面的一些残留信息清理掉，然后重新安装。
故障依旧！！！！
靠，感觉要TMD奔溃了，什么破玩意儿，不弄了。

第三天，没什么事儿的时候，又上去想看看。
这一次，一上去并不是想本着解决问题的思路去弄，就是想看看，这个破玩意儿到底是啥东西，有啥内容。

翻啊翻，翻啊翻
-------------------------------
/home/oracle/emcc_agent/

find /home/oracle/emcc_agent -name *.log
find /home/oracle/emcc_agent -name *.error
find /home/oracle/emcc_agent -name *.out
find /home/oracle/emcc_agent -name *.sysout

找到了一个目录
/home/oracle/emcc_agent/core/12.1.0.5.0/cfgtoollogs/agentDeploy

这里面有很多日志：
cloneActions2017-X.log
agentDeploy_2017-X.log
oraInstall2017-X.err
silentInstall2017-X.log
等等，感觉像是看到希望似得，一口气把所有的日志翻完了。结果里面把路径又指向别的地方了：

.SEVERE:Abnormal program termination. An internal error has occured. Please provide the following files to Oracle Support :

"/u01/app/oraInventory/logs/cloneActions2017-X.log"
"/u01/app/oraInventory/logs/oraInstall2017-X.err"
"/u01/app/oraInventory/logs/oraInstall2017-X.out"

索性就查到底，终于从一堆日志中发现了一点线索：

org.xml.sax.SAXParseException: <Line 1, Column 1>: XML-20108: (Fatal Error) Start of root element expected.
 at oracle.xml.parser.v2.XMLError.flushErrorHandler(XMLError.java:422)
 at oracle.xml.parser.v2.XMLError.flushErrors1(XMLError.java:287)
 at oracle.xml.parser.v2.NonValidatingParser.parseRootElement(NonValidatingParser.java:345)
 at oracle.xml.parser.v2.NonValidatingParser.parseDocument(NonValidatingParser.java:307)
 at oracle.xml.parser.v2.XMLParser.parse(XMLParser.java:212)
 at oracle.sysman.oii.oiii.OiiiInstallXMLReader.readComps(OiiiInstallXMLReader.java:321)
 at oracle.sysman.oii.oiii.OiiiInstallXMLReader.readComps(OiiiInstallXMLReader.java:229)
 at oracle.sysman.oii.oiii.OiiiInstallInventory.getCompOHListElement(OiiiInstallInventory.java:2251)
 at oracle.sysman.oii.oiii.OiiiAreaInventory.getAllCompsVect(OiiiAreaInventory.java:1057)
 at oracle.sysman.oii.oiii.OiiiAreaInventory.getAllCompsVect(OiiiAreaInventory.java:1091)
 at oracle.sysman.oii.oiii.OiiiAreaInventory.getCompatCompEntry(OiiiAreaInventory.java:1372)
 at oracle.sysman.oii.oiio.oiiod.OiiodDepEngine.buildCompArray(OiiodDepEngine.java:1128)

我靠，似乎是个XML解析错误导致的问题啊。
于是接下来就是找到这些XML，看看到底里面有什么东西发生了错误。

跑到/u01/app/oraInventory/ 下面：

find /u01/app/oraInventory/ -name *.xml

找到如下目录：
/home/u01/app/oraInventory/ContentsXML/
/home/u01/app/oraInventory/BACKUP/*./ContentsXML/

里面有很多XML文件，（lib.xml,comps.xml,inventory.xml,等等）
根据报错内容，是一个XML解析的错误，于是先是把各个文件里面内容拷贝出来用XML解析器一看，果然有个文件有语法错误

comps.xml
=>
```xml
<?xml version="1.0" standalone="yes" ?>


<PRD_LIST>
<TL_LIST>
```
注：网站格式原因，把XML内容弄里面的大于号小于号去掉了。

就这么点内容，别的没有了。
于是到好的机器上找了一个文件，对比了一下，又从叫BACKUP文件夹里面的同名备份文件里面取了个样儿，发现这个文件缺失了很多内容
```xml
<?xml version="1.0" standalone="yes" ?>


<PRD_LIST>
<TL_LIST>
</TL_LIST>
<COMP_LIST>
</COMP_LIST>
<ONEOFF_LIST>
</ONEOFF_LIST>
<PATCHSET_UPDATE_LIST>
</PATCHSET_UPDATE_LIST>
</PRD_LIST>
```
注：网站格式原因，把XML内容弄里面的大于号小于号去掉了。

似乎找到了问题，接下来把这几个XML文件都仔细对比了一遍。修改完毕之后，再次安装。

问题解决了！！

我靠，这个坑爹啊。

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论1 条评论

zhanghaiyang系统工程师联合网讯
2017-04-19 15:45

有毅力啊兄弟这都能坚持下来

Ctrl+Enter 发表

匿名评论

坑爷的ORA OEM问题解决过程分享

添加新评论1 条评论

作者其他文章