系统运行缓慢,某几个磁盘IO压力大?(技术交流)

问题背景描述:银行现有两台P780,两台机器做了rac,A节点的应用比较少,B节点的应用压力比较大,B节点应用压力是A节点的3倍左右。
1、现在B节点的系统出现性能问题,在工作日上午9点左右到下午6点左右出现系统卡慢现象。
通过iostat命令发现有三块磁盘的IO读写访问压力比较大,其他的都很正常,这三个磁盘(比如是hdisk10,hdisk11,hdisk12)被划分给一个LV,这个LV上的文件系统是一个存放应用的log的文件系统。
2、B节点上的应用是Tuxedo,且单个进程对应单个线程。通过收集B节点上的perfpmr给后线工程师分析后,后线给出的结论是应用有好多线程锁,同时对一个内存地址进行访问,而这个内存地址对应文件的正是这些应用的很多log文件。所有的log文件在内存中映射的内存地址都是相同的地址。
问题内容:
1、请问出现系统卡顿性能下降的情况,比如:运行一个topas命令很久才能输出结果;但是系统层面只是发现三个磁盘的IO访问压力大,别的指标都正常,请问系统层面还能做哪些方面的优化?
(首先,监控系统性能发现内存足够来高速缓存那些由正在运行进程使用的文件页面,换页空间使用也正常。
其次,存储方面不想做条带化,所以这点就不考虑了。
再者,也曾设想将现在压力大的盘除了center区域外的其他区域的数据分担到同一个VG的其他磁盘上,但是实际执行上有一定的难度,因为分担到其他盘的center区域上空闲的PPnumber都是不规律的,而且需要计算当前VG中目标盘center区域空间是否足够分担这三块盘的数据,所以不管数据量还是工作量都很大,另外手动迁移的话风险也很大,感觉效果也不会很明显,此方案不考虑了)
2、目前怀疑是应用侧开发使用的统一接口有问题,因为不同的服务输出Log在内存中对应的内存地址都相同。请问有什么方法能更清晰的定位应用程序中哪个函数的调用造成对内存访问不断的加线程锁?
参与77

71同行回答

奔驰男孩奔驰男孩  系统工程师 , 新大洋集团
解决了吗?求方案~显示全部
解决了吗?求方案~收起
系统集成 · 2015-03-23
浏览1428
caichaloucaichalou  系统工程师 , 中国邮政储蓄银行
回复 31# yjwself     是的,用的阵列显示全部
回复 31# yjwself


    是的,用的阵列收起
银行 · 2015-03-23
浏览1485
yjwselfyjwself  数据库管理员 , 老虎
用的阵列吗显示全部
用的阵列吗收起
互联网服务 · 2015-03-21
浏览1617
caichaloucaichalou  系统工程师 , 中国邮政储蓄银行
回复 28# yszw0817 采用raid技术的确是一个好的解决方案,目前系统侧不做条带化考虑,主要是想让应用承认自己的问题,并主动调查他们自己的问题,系统侧必须坚持这个原则。显示全部
回复 28# yszw0817

采用raid技术的确是一个好的解决方案,目前系统侧不做条带化考虑,主要是想让应用承认自己的问题,并主动调查他们自己的问题,系统侧必须坚持这个原则。收起
银行 · 2015-03-21
浏览1480
caichaloucaichalou  系统工程师 , 中国邮政储蓄银行
回复 27# dooza 谢谢您的回复!应用的log目录里,每发生一次交易就会对好多不同的log文件进行读写,而且节点二上的一天的交易量将近千万级别,产生的线程锁达167618个。iowait参数显示数据不到2%,三个盘是否来自不同raid组不清楚,系统层面有没有做条带化都是存储负责的,不太清楚。...显示全部
回复 27# dooza
谢谢您的回复!应用的log目录里,每发生一次交易就会对好多不同的log文件进行读写,而且节点二上的一天的交易量将近千万级别,产生的线程锁达167618个。iowait参数显示数据不到2%,三个盘是否来自不同raid组不清楚,系统层面有没有做条带化都是存储负责的,不太清楚。回头问一下,看看“3个盘是否来自不同的raid组,是否在系统层面条带化”。收起
银行 · 2015-03-21
浏览1508
yszw0817yszw0817  存储架构师 , 北京
还是应该查应用,DB当然是看AWR报告。但单从存储方面,log如果是redo log,尝试使用高性能盘,比如原来RAID5磁盘,换RAID10试试。再有采用metaLUN,也能提升一些性能。显示全部
还是应该查应用,DB当然是看AWR报告。
但单从存储方面,log如果是redo log,尝试使用高性能盘,比如原来RAID5磁盘,换RAID10试试。再有采用metaLUN,也能提升一些性能。收起
硬件生产 · 2015-03-20
浏览1561
doozadooza  系统工程师 , dooza
应用的log目录里,是秒级产生大量文件?读写比例如何?io延时如何?3个盘是否来自不同的raid组?如果同时繁忙,应该是在系统层面条带化了吧?显示全部
应用的log目录里,是秒级产生大量文件?读写比例如何?io延时如何?3个盘是否来自不同的raid组?如果同时繁忙,应该是在系统层面条带化了吧?收起
互联网服务 · 2015-03-20
浏览1528
caichaloucaichalou  系统工程师 , 中国邮政储蓄银行
很好的提议,但是现在做迁移未免动作过大,这个建议用在刚部署或者新上线应用的时候比较好。如果现在按照您的提议如何在保证业务正常进行的同时,进行ORACLE软件目录的迁移和成千上万log文件的向SAN存储的迁移呢?...显示全部
很好的提议,但是现在做迁移未免动作过大,这个建议用在刚部署或者新上线应用的时候比较好。如果现在按照您的提议如何在保证业务正常进行的同时,进行ORACLE软件目录的迁移和成千上万log文件的向SAN存储的迁移呢?收起
银行 · 2015-03-19
浏览1564
childkafpchildkafp  系统架构师 , cathaysec
Oracle 問題Oracle 的軟件目錄要獨立出去 SAN 上,最好在將 各 log 的位置在獨立在一塊 在SAN上的 LV上显示全部
Oracle 問題

Oracle 的軟件目錄要獨立出去 SAN 上,最好在將 各 log 的位置在獨立在一塊 在SAN上的 LV上收起
证券 · 2015-03-19
浏览1506
caichaloucaichalou  系统工程师 , 中国邮政储蓄银行
回复 23# 北京荣歆咨询     感谢您的答复,后续我们还会进行应用和系统侧的洽谈会,然后进一步就问题产生的根源及周边问题作出全面分析和诊断。显示全部
回复 23# 北京荣歆咨询


    感谢您的答复,后续我们还会进行应用和系统侧的洽谈会,然后进一步就问题产生的根源及周边问题作出全面分析和诊断。收起
银行 · 2015-03-19
浏览1463

提问者

caichalou
系统工程师中国邮政储蓄银行
擅长领域: 服务器存储云计算

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-03-13
  • 关注会员:3 人
  • 问题浏览:56276
  • 最近回答:2015-12-22
  • X社区推广