大家,好:
如图所示,最近在实验室搭了一套nvme ib的gpfs环境,在测试过程中遇到一些性能问题。做过初步排查,排查结果如下:
- 存储在SAN Mode模式下最大可以提供40GB以上的1M 读带宽
2. 在io node(模式)节点上直接压测存储性能(100% 1M读),可以提供20GB以上带宽
3. 在4个client任意一个io client上测试读性能,都可以提供10GB以上带宽
4. 但是当2个client(及以上)压测时,读带宽只有13-15GB左右,预期是能达到18或19GB
如下是GPFS参数配置:
mmlsconfig::HEADER:version:reserved:reserved:configParameter:value:nodeList:
mmlsconfig::0:1:::clusterName:cluster1.spectrum::
mmlsconfig::0:1:::clusterId:10159236414388290552::
mmlsconfig::0:1:::minReleaseLevel:5.1.6.0::
mmlsconfig::0:1:::ccrEnabled:yes::
mmlsconfig::0:1:::verbsRdma:enable::
mmlsconfig::0:1:::verbsRdmaSend:yes::
mmlsconfig::0:1:::dmapiFileHandleSize:32::
mmlsconfig::0:1:::tscCmdAllowRemoteConnections:no::
mmlsconfig::0:1:::sdrNotifyAuthEnabled:yes::
mmlsconfig::0:1:::cipherList:AUTHONLY::
mmlsconfig::0:1:::workerThreads:1024::
mmlsconfig::0:1:::autoload:yes::
mmlsconfig::0:1:::nsdMaxWorkerThreads:2048::
mmlsconfig::0:1:::worker1Threads:2048::
mmlsconfig::0:1:::maxBufferDescs:8m::
mmlsconfig::0:1:::maxInodeDeallocHistory:0::
mmlsconfig::0:1:::maxMBpS:40000::
mmlsconfig::0:1:::verbsPorts:mlx5_0::
mmlsconfig::0:1:::adminMode:central::
以上是大概测试情况,现在可以肯定存储可以提供40GB以上读带宽,而单IO Node可以提供20GB以上读带宽。现在的问题是在用io client压测时只有13-15GB左右的带宽(希望最好能达到18-19GB左右)。现在个人感觉像是某个地方卡主了,导致读带宽上不去,看看哪位大侠可以有相关经验帮忙指点一二。如果可以远程服务并解决问题,可以有偿。微信:838664620(加好友时注明来意)
收起