一次支付平台紧急故障处理备忘

应用服务器由4个服务器组成2组独立的集群，每组服务器安装的软件和配置完全一样。因此，每组服务器只需要检查其中的一个服务器就可以了。登录系统，检查如下项目：

1、  检查进程，查看tomcat是否还在运行，执行指令 ps auxww | grep java ，两个java进程运行得好好的呢！

2、  检查网络状态，分别执行 netstat –anp | grep EST ，也看不出有什么异常。

3、  检查tomcat日志，发现一段可疑输出，片段截取如下：

Could not open JDBC Connection for transaction; nested exception is java.sql.SQLException: An attempt by a client to checkout a Connection has timed out.

问了其他技术人员，回答说今天没有做任何程序方面的修改，由此可以简单断定，可能是数据库出了问题。顺手在应用服务上测试一下数据库服务器的网络联通性，执行命令ping 172.16.5.40,正常；再执行 telnet 172.16.5.41 1521 有正常的输出，这可以确定数据库的监听也是启动的。注意：oracle rac监听地址是安装过程中设定的vip，而不是实际物理接口地址，这就是什么啥ping的地址是172.16.5.40，而telnet 跟的地址是172.16.5.41的原因。

4、  重启一下tomcat，故障依旧。

5、  检查系统日志，无可以信息发现。

6、  直接在浏览器输入应用服务器的可访问url，异常。