weblogic宕机问题排查

1、问题现象：
weblogic 版本：weblogic11 JDK版本：JDK1.7

    系统持续运行2-3天，中间件出现宕机
    系统运行期间只要访问weblogic控制台，操作几次后中间件宕机

2、报错日志：

3、分析：
通过报错日志分析，为内存溢出，且为非堆内存溢出，这种情况一般需要调整：PermSize的大小。
4、解决过程：
调整weblogic配置参数：setDomainEnv.sh 设置setDomainEnv.sh 为512。
调整后重启系统，发现问题依旧，并没有解决宕机问题。
确认修改参数是否生效：生成javacore来分析（kill -3 进程ID）截图如下：

我们发现参数并没有生效。继续分析参数为什么没有生效。

Weblogic中的 commEnv.sh ,发现JAVA_VENDOR为 N/A

而setDomainEnv.sh 中PermSize 的设置为：

此处的参数并没有 设置我们需要的Open JDK的 JAVA_VENDOR的N/A 的赋值，所以非堆内存的设置并未生效。
注意：正常 open jdk 的JAVA_VENDOR 为Oracle的，但是配置文件却为：N/A,可能是weblogic的兼容性问题，或者人为改动导致，找到原因了，这个问题就没有细究。

5、解决方案：

修改commEnv.sh , JAVA_VENDOR为 Oracle、HP、IBM、Apple中的任何一个
在startWeblogic中，单独定义：MEM_ARGS="-Xms2048m -Xmx2048m -XX:PermSize=1024m"

6、验证方案：
采取第二种方案：

1）在原始默认环境，进行12个小时的循环操作，并持续访问weblogic控制台。
2）在修改后的环境，持续访问weblogic控制台，生成javacore文件看参数是否生效。并进行50人高强度的并发测试20个小时，看是否会重现宕机问题。

在方案的第一步，系统运行2小时，访问控制台，中间件宕机，系统无法访问。
在方案的第二步，系统在50人高强度的并发测试20小时的情况下，响应正常。频繁访问控制台并未发现任何异常。通过生成javacore 发现非堆内存正常生效。