系统运行缓慢,某几个磁盘IO压力大?(技术交流)

问题背景描述:银行现有两台P780,两台机器做了rac,A节点的应用比较少,B节点的应用压力比较大,B节点应用压力是A节点的3倍左右。
1、现在B节点的系统出现性能问题,在工作日上午9点左右到下午6点左右出现系统卡慢现象。
通过iostat命令发现有三块磁盘的IO读写访问压力比较大,其他的都很正常,这三个磁盘(比如是hdisk10,hdisk11,hdisk12)被划分给一个LV,这个LV上的文件系统是一个存放应用的log的文件系统。
2、B节点上的应用是Tuxedo,且单个进程对应单个线程。通过收集B节点上的perfpmr给后线工程师分析后,后线给出的结论是应用有好多线程锁,同时对一个内存地址进行访问,而这个内存地址对应文件的正是这些应用的很多log文件。所有的log文件在内存中映射的内存地址都是相同的地址。
问题内容:
1、请问出现系统卡顿性能下降的情况,比如:运行一个topas命令很久才能输出结果;但是系统层面只是发现三个磁盘的IO访问压力大,别的指标都正常,请问系统层面还能做哪些方面的优化?
(首先,监控系统性能发现内存足够来高速缓存那些由正在运行进程使用的文件页面,换页空间使用也正常。
其次,存储方面不想做条带化,所以这点就不考虑了。
再者,也曾设想将现在压力大的盘除了center区域外的其他区域的数据分担到同一个VG的其他磁盘上,但是实际执行上有一定的难度,因为分担到其他盘的center区域上空闲的PPnumber都是不规律的,而且需要计算当前VG中目标盘center区域空间是否足够分担这三块盘的数据,所以不管数据量还是工作量都很大,另外手动迁移的话风险也很大,感觉效果也不会很明显,此方案不考虑了)
2、目前怀疑是应用侧开发使用的统一接口有问题,因为不同的服务输出Log在内存中对应的内存地址都相同。请问有什么方法能更清晰的定位应用程序中哪个函数的调用造成对内存访问不断的加线程锁?
参与77

71同行回答

北京荣歆咨询北京荣歆咨询系统架构师北京荣歆咨询有限公司
应用能够通过程序诊断和优化解决是最好。现实中很多情况还是需要系统和硬件方面更多支持的。显示全部
应用能够通过程序诊断和优化解决是最好。现实中很多情况还是需要系统和硬件方面更多支持的。收起
IT咨询服务 · 2015-03-17
浏览1574
caichaloucaichalou系统工程师中国邮政储蓄银行
回复 21# zwz99999     嗯,目前已经让应用调查了。谢谢您的答复!显示全部
回复 21# zwz99999


    嗯,目前已经让应用调查了。谢谢您的答复!收起
银行 · 2015-03-17
浏览1279
zwz99999zwz99999系统工程师dcits
建议从应用上找出问题的解决方法吧!存放log,可以看看这段时间为什么产品那么多log。显示全部
建议从应用上找出问题的解决方法吧!存放log,可以看看这段时间为什么产品那么多log。收起
系统集成 · 2015-03-17
浏览1916
caichaloucaichalou系统工程师中国邮政储蓄银行
回复 19# kanter2008 :lol:victory:显示全部
回复 19# kanter2008


:lol:victory:收起
银行 · 2015-03-17
浏览1864
kanter2008kanter2008系统工程师上海***
回复 15# caichalou     等你结果了。估计是应用。显示全部
回复 15# caichalou


    等你结果了。估计是应用。收起
互联网服务 · 2015-03-17
浏览1957
caichaloucaichalou系统工程师中国邮政储蓄银行
回复 17# 北京荣歆咨询     “存储方面不想做条带化”是啥意思?-----就是我们银行不想做raid0。更换SSD是个不错的提议,但是如果确实是应用那边的接口有问题,更换SSD也不是长久之计。更换SSD只能提高应用和系统都正常工作时候的性能,所以目前已经协商应用继续调查...显示全部
回复 17# 北京荣歆咨询


    “存储方面不想做条带化”是啥意思?-----就是我们银行不想做raid0。更换SSD是个不错的提议,但是如果确实是应用那边的接口有问题,更换SSD也不是长久之计。更换SSD只能提高应用和系统都正常工作时候的性能,所以目前已经协商应用继续调查他们的问题了。收起
银行 · 2015-03-16
浏览1900
北京荣歆咨询北京荣歆咨询系统架构师北京荣歆咨询有限公司
回复 1# caichalou “存储方面客户不想做条带化”是啥意思?加SSD可以考虑吗?毕竟用得起P780的系统,几块SSD应该不算奢侈吧。只要是log,无论是DB的还是应用的,都可能存在实时落盘的需求。毕竟,如果宕机,内存cache是不能保证数据安全的。虽然应用优化是一个解决方向,但这方面不了解...显示全部
回复 1# caichalou

“存储方面客户不想做条带化”是啥意思?加SSD可以考虑吗?毕竟用得起P780的系统,几块SSD应该不算奢侈吧。
只要是log,无论是DB的还是应用的,都可能存在实时落盘的需求。毕竟,如果宕机,内存cache是不能保证数据安全的。
虽然应用优化是一个解决方向,但这方面不了解细节很难给出有价值的建议。存储的闪盘解决这类问题有优势。收起
IT咨询服务 · 2015-03-13
浏览1904
caichaloucaichalou系统工程师中国邮政储蓄银行
回复 14# kanter2008 :lol:handshake还是老兄讲的有道理显示全部
回复 14# kanter2008 :lol:handshake还是老兄讲的有道理收起
银行 · 2015-03-13
浏览1852
caichaloucaichalou系统工程师中国邮政储蓄银行
嗯,我觉得我怀疑的成立的可能性还是挺大的,现在跟他们协商了,但是他们还是不愿意调查,不过具体操作也需等两会结束后解封网之后才能做。就看到时候他们做动作不做了。显示全部
嗯,我觉得我怀疑的成立的可能性还是挺大的,现在跟他们协商了,但是他们还是不愿意调查,不过具体操作也需等两会结束后解封网之后才能做。就看到时候他们做动作不做了。收起
银行 · 2015-03-13
浏览1899
caichaloucaichalou系统工程师中国邮政储蓄银行
回复 12# vasilyben     您好!很感谢您的回复,我们这边的数据库使用的是ORACLE,而且ORACLE的人确定已经不是因为数据库的日志输出导致的问题产生。源问题中描述的log文件是应用产生的交易log信息。之所以出现在上午到下午上班这个时间段,也能说明是因为这段时间是...显示全部
回复 12# vasilyben


    您好!很感谢您的回复,我们这边的数据库使用的是ORACLE,而且ORACLE的人确定已经不是因为数据库的日志输出导致的问题产生。源问题中描述的log文件是应用产生的交易log信息。之所以出现在上午到下午上班这个时间段,也能说明是因为这段时间是应用交易压力比较大的时间段,过了这个时间段系统运行速度变快。另外,应用侧讲白天交易量比较大,每个一交易对应一个进程,每一个进程对应一个或者多个线程。如果当大量交易并发时,而且多个交易log文件在内存中对应的文件指针是同一个的话,那么当CPU处理一个log文件的IO访问时,就会对其加线程锁,其他的线程也想要进行IO访问,就也会对该指针加线程锁,这样不断的加锁请求是否会导致IO的性能下降?进而系统性能下降会不会正是因为IO线程锁过多直接导致的?收起
银行 · 2015-03-13
浏览1898

提问者

caichalou
系统工程师中国邮政储蓄银行
擅长领域: 服务器存储云计算

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-03-13
  • 关注会员:3 人
  • 问题浏览:56967
  • 最近回答:2015-12-22
  • X社区推广