互联网服务pv

pv "queue_depth"参数及Cache技术问题请教!

1、系统环境   1)主机:570
   2)SAN Swtich:博科
   3)存储:HDS
   简单拓扑描述,570-SAN-存储

2、问题描述
   1)下午致电IBM 400工程师请教关于存储Cache的问题,当OS请求将数据往文件系统中写数据时,流程有两种:
        1.1)没开异步(AIO)
               先将数据写入到文件系统cache,fs cache满了后flush到主机Raid卡Cache中,然后再将Raid cache中的数据Flush到存储Raid卡Cache,然后再写入硬盘。
        1.2)开启异步(AIO)
                  数据直接送到主机Raid卡Cache中,然后再将Raid cache中的数据Flush到存储Raid卡Cache,然后再写入硬盘。
    2)OS PV “Queue depth”参数,默认值为10,其作用如下:
                  当文件系统cache池满了之后,如果没有queue队列,数据就积压,存储却没有压力,数据读写速度慢,如果开了此参数并设置合适的队列值时,及时cache池满了,OS会在内存或换页空间中开辟一片空间,作为queue队列保存数据用,此时数据会根据IO请求次数进入相应的队列数,其实做到相当于达到加大Cache池空间的作用。
                  但如果该参数设置不合理可能会导致磁盘IO长时间busy。
                  如果主机在某一时间突然宕机,而队列中还有数据,则队列中数据被清除,而存入Raid Cache池中的数据则保留,主机启动后继续进入Flush流程。
    且IBM不建议修改Queue_depth参数


针对以上的每一条,希望专家们能拍板并给出合理的解释,小弟向各位学习。
为什么要了解这些?
因为最近IO存在性能瓶颈,想从每一个环节分析问题原因,希望各位能不吝赐教,谢谢!



jiaxu2000要求,我讲一下我们现在的瓶颈:
原本pv的queue_depth的值为2,OS的MBPS总数为70M/S左右,HDS的存储上没有任何压力,raid组为0+1(单盘900G,4d+4d),strip_size为256k(感觉太大了),应用看了下处理能力达不到目标值。
今天将pv的queue_depth的值为8.OS的MBPS总数约为40M/S左右,HDS的存储上依然没有任何压力,应用看了下,数据处理速度更差(CPU wait始终保持在30%左右)。
这个SAN交换机上接的另一台570,存储接的IBM高端存储,PV的queue_depth值为20,从SAN交换机上监控端口速率可以达到200M/S左右,性能远超HDS。
参与28

27同行回答

dba_xyxdba_xyx数据库管理员asia
回复 27# jiaxu2000     非常感谢,这篇文章很有用!显示全部
回复 27# jiaxu2000


    非常感谢,这篇文章很有用!收起
互联网服务 · 2014-12-01
浏览2645
jiaxu2000jiaxu2000系统工程师沈阳医学院附属中心医院
今天无意看到一篇文档,值得一读https://www-03.ibm.com/support/t ... QueueTuningV1.2.pdf显示全部
今天无意看到一篇文档,值得一读

https://www-03.ibm.com/support/t ... QueueTuningV1.2.pdf收起
事业单位 · 2014-11-26
浏览2558
dba_xyxdba_xyx数据库管理员asia
回复 23# jiaxu2000 我不确定是不是这么叫,反正意思就是一堆lun组成的一个组显示全部
回复 23# jiaxu2000
我不确定是不是这么叫,反正意思就是一堆lun组成的一个组收起
互联网服务 · 2014-11-21
浏览2468
dba_xyxdba_xyx数据库管理员asia
回复 24# abit2007 在IBM官网上看是不需要重启,不知道他是不是没说明白显示全部
回复 24# abit2007
在IBM官网上看是不需要重启,不知道他是不是没说明白收起
互联网服务 · 2014-11-21
浏览2449
abit2007abit2007系统工程师代维
回复 22# dba_xyx 那个参数修改后要删盘重认,或重启机器才生效,直接在线改是不生效的。显示全部
回复 22# dba_xyx

那个参数修改后要删盘重认,或重启机器才生效,直接在线改是不生效的。收起
互联网服务 · 2014-11-05
浏览2508
jiaxu2000jiaxu2000系统工程师沈阳医学院附属中心医院
diskgroup是什么?HDS存储的专用名词?显示全部
diskgroup是什么?HDS存储的专用名词?收起
事业单位 · 2014-10-29
浏览2540
dba_xyxdba_xyx数据库管理员asia
回复 21# abit2007    多谢,修改这个参数可以在线修改的。   另外,我们问题已经解决,主要还是存储底层在规划diskgroup时不规范,一个dg全在一个通道上。容易形成热点盘不说,还易导致通道拥堵情况。我们重新规划了。...显示全部
回复 21# abit2007


   多谢,修改这个参数可以在线修改的。
   另外,我们问题已经解决,主要还是存储底层在规划diskgroup时不规范,一个dg全在一个通道上。容易形成热点盘不说,还易导致通道拥堵情况。我们重新规划了。收起
互联网服务 · 2014-10-28
浏览2516
abit2007abit2007系统工程师代维
网上的其它文章,当然调整queue_depth也是有讲究的,多少合适呢?举个例子:现在一块FC盘的内置queue为16个。按4d+4d做raid 1+0来算的,一个raid共有16*8=128个队列,一个Raid切成6个ldev的话,则每个ldev上有128/6=20个队列,当然实际操作当中可以比这个数字稍微大点也是可以的。对IBM...显示全部
网上的其它文章,

当然调整queue_depth也是有讲究的,多少合适呢?
举个例子:现在一块FC盘的内置queue为16个。按4d+4d做raid 1+0来算的,一个raid共有16*8=128个队列,一个Raid切成6个ldev的话,则每个ldev上有128/6=20个队列,当然实际操作当中可以比这个数字稍微大点也是可以的。
对IBM的存储,IBM建议设成256。
对于EMC的dmx存储,建议设成32。

修改queue_depth的命令如下:
chdev -l hdisk10 -a queue_depth=20
查看某个hdisk的queue_depth的命令如下:
lsattr -El hdisk10
修改queue_depth需要将VG varyoff后才能修改。收起
互联网服务 · 2014-09-29
浏览2609
zwz99999zwz99999系统工程师dcits
提高磁盘i/o,主要看你使用什么存储,不同的存储在系统中有不同调优方式,queue_depth 参数调整大小计算方法在AIX环境中,正确设置FAStT 逻辑磁盘的队列深度(queue_depth)对系统性能非常重要。 对于较大的FAStT配置,有许多卷和主机连接,这个设置对高可靠性来讲就更加关键。队列深度...显示全部
提高磁盘i/o,主要看你使用什么存储,不同的存储在系统中有不同调优方式,
queue_depth 参数调整大小计算方法
在AIX环境中,正确设置FAStT 逻辑磁盘的队列深度(queue_depth)对系统性能非常重要。 对于较大的FAStT配置,有许多卷和主机连接,这个设置对高可靠性来讲就更加关键。队列深度太大会导致文件系统的丢失或主机死机。下面介绍了如何正确设置磁盘的队列深度及其计算方法。
我们可以使用如下的公式来决定最大的队列深度:

512 / (主机数 * 每个主机的LUN数 )

例如一个系统有4个主机, 每个有 32 LUNs (这是每个AIX主机的最大LUN数), 那么最大队列深度应该是4:

512 / ( 4 * 32 ) = 4

这时,你应该把hdiskX 的queue_depth 属性设为如下:
#chdev -l hdiskX -a queue_depth=4 -P
X代表相对应的磁盘号。
可以使用iostat -D查看
其中sqfull表示自系统启动以来queue_deeth超出的次数
IBM工程师建议queue_depth的值在40-128之间收起
系统集成 · 2014-09-26
浏览2495
老么老么系统工程师mbi
队列深度这个确实是需要问存储厂商的显示全部
队列深度这个确实是需要问存储厂商的收起
互联网服务 · 2014-09-26
浏览2455

提问者

dba_xyx
数据库管理员asia

相关问题

问题状态

  • 发布时间:2014-09-19
  • 关注会员:1 人
  • 问题浏览:17819
  • 最近回答:2014-12-01
  • X社区推广