GPFS性能调优?

大家,好:如图所示,最近在实验室搭了一套nvme ib的gpfs环境,在测试过程中遇到一些性能问题。做过初步排查,排查结果如下:存储在SAN Mode模式下最大可以提供40GB以上的1M 读带宽2. 在io node(模式)节点上直接压测存储性能(100% 1M读),可以提供20GB以上带宽3. 在4个client任意一...显示全部

大家,好:

如图所示,最近在实验室搭了一套nvme ib的gpfs环境,在测试过程中遇到一些性能问题。做过初步排查,排查结果如下:

  1. 存储在SAN Mode模式下最大可以提供40GB以上的1M 读带宽
    2. 在io node(模式)节点上直接压测存储性能(100% 1M读),可以提供20GB以上带宽
    3. 在4个client任意一个io client上测试读性能,都可以提供10GB以上带宽
    4. 但是当2个client(及以上)压测时,读带宽只有13-15GB左右,预期是能达到18或19GB
    如下是GPFS参数配置:
    mmlsconfig::HEADER:version:reserved:reserved:configParameter:value:nodeList:

mmlsconfig::0:1:::clusterName:cluster1.spectrum::

mmlsconfig::0:1:::clusterId:10159236414388290552::

mmlsconfig::0:1:::minReleaseLevel:5.1.6.0::

mmlsconfig::0:1:::ccrEnabled:yes::

mmlsconfig::0:1:::verbsRdma:enable::

mmlsconfig::0:1:::verbsRdmaSend:yes::

mmlsconfig::0:1:::dmapiFileHandleSize:32::

mmlsconfig::0:1:::tscCmdAllowRemoteConnections:no::

mmlsconfig::0:1:::sdrNotifyAuthEnabled:yes::

mmlsconfig::0:1:::cipherList:AUTHONLY::

mmlsconfig::0:1:::workerThreads:1024::

mmlsconfig::0:1:::autoload:yes::

mmlsconfig::0:1:::nsdMaxWorkerThreads:2048::

mmlsconfig::0:1:::worker1Threads:2048::

mmlsconfig::0:1:::maxBufferDescs:8m::

mmlsconfig::0:1:::maxInodeDeallocHistory:0::

mmlsconfig::0:1:::maxMBpS:40000::

mmlsconfig::0:1:::verbsPorts:mlx5_0::

mmlsconfig::0:1:::adminMode:central::


以上是大概测试情况,现在可以肯定存储可以提供40GB以上读带宽,而单IO Node可以提供20GB以上读带宽。现在的问题是在用io client压测时只有13-15GB左右的带宽(希望最好能达到18-19GB左右)。现在个人感觉像是某个地方卡主了,导致读带宽上不去,看看哪位大侠可以有相关经验帮忙指点一二。如果可以远程服务并解决问题,可以有偿。微信:838664620(加好友时注明来意)

收起
参与6

返回zwz99999的回答

zwz99999zwz99999系统工程师dcits

gpfs参数设置可能有问题,需要调整一下
§usr/lpp/mmfs/bin>./mmchconfig maxMBpS=1600
§每秒最大传送数据量,考虑HBA带宽和数量,建议为1600MB
§/usr/lpp/mmfs/bin>./mmchconfig prefetchThreads=100
§/usr/lpp/mmfs/bin>./mmchconfig worker1Threads=450
§prefetchTread为最大顺序读写线程,worker1Thread为最大随机读写线程,两值相加不能超过550。
§/usr/lpp/mmfs/bin>./mmchconfig autoload=yes
§/usr/lpp/mmfs/bin>./mmchconfig maxFilesToCache=4000
§最大缓存文件数量。
§/usr/lpp/mmfs/bin>mmchconfig pagepool=1024M
§Pagepool 缓存数据和元数据,最大值为8GB,最小4MB。考虑服务器物理内存的大小,建议设置为1GB。
§mmchfs /dev/gpfs01 --inode-limit 1048576 (1MB)
§文件系统中最大文件数量,对于大量小文件的系统,建议增加数量到1MB
参考

系统集成 · 2023-08-15
  • 这个环境使用的是200G的IB卡,请问maxMBpS这个值是不是可设置为20000。谢谢
    2023-08-16
  • 可以加我微信吗,可以有偿咨询。谢谢
    2023-08-16

回答者

zwz99999
系统工程师dcits
擅长领域: 服务器存储灾备

zwz99999 最近回答过的问题

回答状态

  • 发布时间:2023-08-15
  • 关注会员:2 人
  • 回答浏览:705
  • X社区推广