老瓶装新酒，一次完整的应用调优

字数 8225阅读 12312评论 0赞 0

原来是我发在itpub上的文章（<A href="http://www.itpub.net/thread-976460-1-1.html" target=_blank>http://www.itpub.net/thread-976460-1-1.html</A>），原来是weblogic，后面整合环境平台我转向了websphere。整个调优说实话更多的是教训在里面。 项目组反应数据库有问题， 检查发现sga还用的默认参数，缓冲区命中率很低，pga target 有点小。根据系统内存调整后，好像系统正常了。数据库调整就算是结束了 一天后，我再登这个数据库的时候，发现一个提示说线程已经超过限制，不允许再登录。然后我去修改了process到250，增加并发连接数。然后重启了数据库。当天没发生什么事情，第二天，发现250又被撑满了，这个时候，我就开始怀疑中间件有问题，登入中间件那边看了下日志，一直报错，提示无法打开新的连接。一般来说，中间件连接数据库能开10个都算可以了。至少websphere是这样，weblogic应该差不多。然后修改了一下，调整了weblogic的连接池，修改最大连接到100. 1、        报错信息 <2008-4-22 上午04时33分18秒 CST> <Error> <WebLogicServer> <BEA-000337> <ExecuteT hread: '1' for queue: 'weblogic.kernel.Default' has been busy for "102" seconds working on the request "Http Request: /guestAction.jsp", which is more than the configured time (StuckThreadMaxTime) of "60" seconds.> <2008-4-22 上午04时33分18秒 CST> <Error> <WebLogicServer> <BEA-000337> <ExecuteT hread: '7' for queue: 'weblogic.kernel.Default' has been busy for "178" seconds working on the request "Http Request: /guestAction.jsp", which is more than the configured time (StuckThreadMaxTime) of "60" seconds.> <2008-4-22 上午04时34分18秒 CST> <Error> <WebLogicServer> <BEA-000337> <ExecuteT hread: '0' for queue: 'weblogic.kernel.Default' has been busy for "111" seconds working on the request "Http Request: /guestAction.jsp", which is more than the configured time (StuckThreadMaxTime) of "60" seconds.> <2008-4-22 上午04时34分18秒 CST> <Error> <WebLogicServer> <BEA-000337> <ExecuteT hread: '1' for queue: 'weblogic.kernel.Default' has been busy for "162" seconds working on the request "Http Request: /guestAction.jsp", which is more than the configured time (StuckThreadMaxTime) of "60" seconds.> <2008-4-22 上午04时35分18秒 CST> <Error> <WebLogicServer> <BEA-000337> <ExecuteT hread: '0' for queue: 'weblogic.kernel.Default' has been busy for "171" seconds working on the request "Http Request: /guestAction.jsp", which is more than the configured time (StuckThreadMaxTime) of "60" seconds.> <2008-4-22 上午04时35分18秒 CST> <Error> <WebLogicServer> <BEA-000337> <ExecuteT hread: '12' for queue: 'weblogic.kernel.Default' has been busy for "111" seconds working on the request "Http Request: /guestAction.jsp", which is more than the configured time (StuckThreadMaxTime) of "60" seconds.> <2008-4-22 上午04时36分18秒 CST> <Error> <WebLogicServer> <BEA-000337> <ExecuteT hread: '12' for queue: 'weblogic.kernel.Default' has been busy for "171" seconds working on the request "Http Request: /guestAction.jsp", which is more than the configured time (StuckThreadMaxTime) of "60" seconds.> 2、        判断可能存在部分sql语句未优化，造成执行时间过长（request超时）造成挂死 3、        解决 开发模式和产品模式的一些参数的默认值不同，可能会对性能造成影响，下面是对性能有影响的参数列表： 参数        开发模式默认值        产品模式默认值 Execute Queue: Thread Count        15 threads        25 threads JDBC Connection Pool: MaxCapacity        15 connnections        25 connections 通过启动管理控制台，在域（如：mydomain）> 配置 > 常规选择产品模式。 修改了server-myserver参数中的threadcount参数，按照cpu数量，修改为100 修改jdbc数据库连接池，修改为初始15，最大100。 晚间进行跟踪，系统运行正常，高峰时段，尤其是早晨的高峰时段，系统没有再出现挂死的问题。 早晨点击页面查询发现有时会出现页面无法访问的情况。 跟踪发现weblogic最高时有100多并发，同时注意到内存占用比较高，检查发现，原来内存配置较低。 检查原配置文件： :bea if "%PRODUCTION_MODE%" == "true" goto bea_prod_mode set JAVA_VM=-jrockit set MEM_ARGS=-Xms96m -Xmx256m set JAVA_OPTIONS=%JAVA_OPTIONS% -Xverify:none goto continue :bea_prod_mode set JAVA_VM=-jrockit set MEM_ARGS=-Xms128m -Xmx256m goto continue :sun if "%PRODUCTION_MODE%" == "true" goto sun_prod_mode set JAVA_VM=-client set MEM_ARGS=-Xms32m -Xmx200m -XX:MaxPermSize=128m set JAVA_OPTIONS=%JAVA_OPTIONS% -Xverify:none goto continue :sun_prod_mode set JAVA_VM=-server set MEM_ARGS=-Xms32m -Xmx200m -XX:MaxPermSize=128m goto continue 很明显配置为96m，最高256m。修改后的参数： 修改后结果为 :bea if "%PRODUCTION_MODE%" == "true" goto bea_prod_mode set JAVA_VM=-jrockit set MEM_ARGS=-Xms256m -Xmx768m set JAVA_OPTIONS=%JAVA_OPTIONS% -Xverify:none goto continue :bea_prod_mode set JAVA_VM=-jrockit set MEM_ARGS=-Xms256m -Xmx768m goto continue :sun if "%PRODUCTION_MODE%" == "true" goto sun_prod_mode set JAVA_VM=-client set MEM_ARGS=-Xms256m -Xmx768m -XX:MaxPermSize=128m set JAVA_OPTIONS=%JAVA_OPTIONS% -Xverify:none goto continue :sun_prod_mode set JAVA_VM=-server set MEM_ARGS=-Xms256m -Xmx768m -XX:MaxPermSize=128m goto continue :continue 最低256，最高768.查看跟踪信息比较调整前后性能： 调整前内存 调整后情况： 现在垃圾回收不那么频繁了，整体稳定性应该有好处。再频繁打开一个页面的情况下，页面仍然能正常显示。、 
<a class="example-image-link" href="http://www.talkwithtrend.com/images/base/haveattach.gif" data-lightbox="example-set"><img class="example-image" src="http://www.talkwithtrend.com/images/base/haveattach.gif" align=absMiddle border=0></a><A href="http://www.webspherechina.net/club/attachment.php?aid=2151" target=_blank>weblogic1.jpg</A> (2008-10-10 18:25:19, Size: 22.5 KB, Downloads: 0) 
<a class="example-image-link" href="http://www.talkwithtrend.com/images/base/haveattach.gif" data-lightbox="example-set"><img class="example-image" src="http://www.talkwithtrend.com/images/base/haveattach.gif" align=absMiddle border=0></a><A href="http://www.webspherechina.net/club/attachment.php?aid=2152" target=_blank>weblogic2.jpg</A> (2008-10-10 18:25:19, Size: 22.3 KB, Downloads: 0) 但是我太傻太天真了，真正的应用调优不是这么简单的。在做完上面的修改后，噩梦仍然缠着我，没几天又开始继续应用挂死，没办法，我把weblogic添加到Windows服务，然后做每6小时的重启。但是仍然架不住忽然而来的挂死、 我观察了日志，发现了些问题，然后把它又记录了下来。 （<A href="http://www.itpub.net/thread-983855-1-1.html" target=_blank>http://www.itpub.net/thread-983855-1-1.html</A>） 终于发现了！Bea-101020问题大揭秘 先说明，这个问题在pub曾经有人提过，但是一直没解决，有人认为是空指针的问题，其实，事情哪有这么简单啊。。。。 最近服务器经常出现连接池满了，但是并不是放，最后weblogic本身是好的，但是页面无法连接数据库了的问题。检查发现conn都已经有关闭语句，但是是什么造成的呢？ 先看看报错信息如下： ####<2008-5-7 下午04时31分35秒 CST> <Error> <HTTP> <long-d0bv89pu0t> <myserver> <ExecuteThread: '187' for queue: 'weblogic.kernel.Default'> <<WLS Kernel>> <> <BEA-101020> <[ServletContext(id=23501330,name=xjhy,context-path=)] Servlet failed with Exception java.lang.Throwable         at DataBase.DataClass.ConnAllClose()V(DataClass.java:82)         at DataBase.DataInfo.ListInfo(Ljava/lang/String;Ljava/lang/String;Ljava/lang/String;Ljava/lang/String;Ljava/lang/StringLjava/util/List;(Optimized Method)         at DataBase.DataInfo.getCityII(Ljava/lang/StringLjava/util/List;(DataInfo.java:401)         at jsp_servlet.__infolist._jspService(Ljavax/servlet/http/HttpServletRequest;Ljavax/servlet/http/HttpServletResponseV(__infolist.java:304)         at weblogic.servlet.jsp.JspBase.service(Ljavax/servlet/ServletRequest;Ljavax/servlet/ServletResponseV(Optimized Method)         at weblogic.servlet.internal.ServletStubImpl$ServletInvocationAction.run()Ljava/lang/Object;(ServletStubImpl.java:1072)         at weblogic.servlet.internal.ServletStubImpl.invokeServlet(Ljavax/servlet/ServletRequest;Ljavax/servlet/ServletResponse;Lweblogic/servlet/internal/FilterChainImplV(ServletStubImpl.java:465)         at 我找了很长时间没找到原因，经过多次调优，问题依旧。具体调优经过我已经在pub上发过具体文章，后来发现好像只能 延缓，并不能解决这个问题，定时重启策略也是无效的。 今天挂了，我很郁闷 看到有人随便提了句多点登录的问题。我做了如下测试。 1、a机器登录网站。 2.换b机器登录网站， 3检查log。里面看到了我们期待的内容。 下面的问题就是怎么限制多点登录了，找开发吧。。。。呵呵 但是我真的有理由说服开发重新修改代码么？好像我自己都不确信。 和开发沟通的结果是其实业务使用量并不大，并不需要做多点登录的限制，何况原来开发的人现在都不管这摊子了，一句话，做不了。 没法子，但是我不甘心，一定要解决这个问题。 首先是还原到根本，前面有提到报错是返回结果比较慢，那么就检查下数据库的应用，发现问题来了 。网站用了比较多的分页。下面是一个典型的分页语句 select com_id from ( select com_id,rownum rn from (select * from business where 1=1 order by com_id ) a where RowNum < 201 ) where rn >= 191 
<a class="example-image-link" href="http://www.talkwithtrend.com/images/base/haveattach.gif" data-lightbox="example-set"><img class="example-image" src="http://www.talkwithtrend.com/images/base/haveattach.gif" align=absMiddle border=0></a><A href="http://www.webspherechina.net/club/attachment.php?aid=2147" target=_blank>sql1.jpg</A> (2008-10-10 18:02:47, Size: 103 KB, Downloads: 0) 修改后的分页语句 select /*+ ordered usenl(b,a)*/ com_id from  (select rid from ( select rownum rn,rid from (select rowid rid from business where 1=1 order by com_id  ) where RowNum < 201 ) where rn >= 191) b, business a where b.rid=a.rowid 
<a class="example-image-link" href="http://www.talkwithtrend.com/images/base/haveattach.gif" data-lightbox="example-set"><img class="example-image" src="http://www.talkwithtrend.com/images/base/haveattach.gif" align=absMiddle border=0></a><A href="http://www.webspherechina.net/club/attachment.php?aid=2148" target=_blank>sql2.jpg</A> (2008-10-10 18:02:47, Size: 104 KB, Downloads: 0) 分页使用执行速度快了几十倍！ 既然weblogic做的不好，那么我就用websphere来看看运行情况如何。和开发商量了一下，决定做一下代码移植。 全部修改到websphere上。 我找了一台dell2950（2双核 4g内存 ）.做了如下的部署 装了一个dm+app+ihs  计划通过ihs来访问 应用部署后调整了下面的参数 1、JVM 起始堆大小和最大堆大小 256-512 2、调整线程池 3、监控线程池使用情况 4、web容器启用servlet高速缓存 
<a class="example-image-link" href="http://www.talkwithtrend.com/images/base/haveattach.gif" data-lightbox="example-set"><img class="example-image" src="http://www.talkwithtrend.com/images/base/haveattach.gif" align=absMiddle border=0></a><A href="http://www.webspherechina.net/club/attachment.php?aid=2149" target=_blank>was1.JPG</A> (2008-10-10 18:18:02, Size: 41.9 KB, Downloads: 0) 
<a class="example-image-link" href="http://www.talkwithtrend.com/images/base/haveattach.gif" data-lightbox="example-set"><img class="example-image" src="http://www.talkwithtrend.com/images/base/haveattach.gif" align=absMiddle border=0></a><A href="http://www.webspherechina.net/club/attachment.php?aid=2150" target=_blank>was2.JPG</A> (2008-10-10 18:18:02, Size: 53.1 KB, Downloads: 0) 参看一下这里 <A href="http://publib.boulder.ibm.com/tividd/td/ITPME/SC23-1284-00/zh_CN/HTML/p12plmst93.htm" target=_blank>http://publib.boulder.ibm.com/tividd/td/ITPME/SC23-1284-00/zh_CN/HTML/p12plmst93.htm</A> 调整完以后，发现开始的时候网站依旧是那样，更容易垮掉了。问了下业务是怎么访问的，结果发现是直连应用服务器，把ihs的地址告诉他们，用ihs访问，情况好了很多。 现在使用中，依然会有was挂死的情况，具体是webcontainer线程满了，但是一般说来，撑个一周挂一次我是很满意了。 最后说一下，开发因为觉得之前的代码太烂了，现在忍不住全部代码重写准备上线了。 一个应用，不管你机器多么的好，基础应用代码写的烂，神仙都没救。 这不是一次成功的调优，因为最后的结果是应用的重写，写出来希望能从dkm这里多挣点工分，更希望能得到大家的指点。谢谢！ [ 本帖最后由 月光无寒 于 2008-10-10 18:25 编辑 ]

中间件

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

老瓶装新酒，一次完整的应用调优

添加新评论0 条评论

作者其他文章

相关文章

相关问题

相关资料