容器环境中GPU资源池中可以多种切分方式并用吗?效果如何?

容器环境中GPU资源池中可以多种切分方式并用吗?效果如何显示全部

容器环境中GPU资源池中可以多种切分方式并用吗?效果如何

收起
参与7

查看其它 1 个回答Cui Xiaonan的回答

关于GPU高效共享的解决方案,行业有很多的技术实现,大致分成Remote CUDA,CUDA原生实现,GPU硬件实现。 1. R-CUDA的方案,也叫远程CUDA和CUDA劫持,是一种基于驱动或CUDA句柄的拦截和转发机制,英伟达官方并不支持这样的做法,尤其在跨服务器请求转发方面,其性能和效果对于网络和处理延时依赖较大,对于实时性的业务场景效果并不理想,同时随着GPU驱动的升级,对于其支持的周期风险很大。 2. CUDA原生实现,主要指英伟达的vGPU全切分方案,通过定制的GPU驱动,实现GPU的时分切分,基于时间片轮训机制,实现GPU显存最小粒度的切分,该方案是英伟达的原生技术实现,需要相应的License和技术支持服务。 3. GPU硬件切分技术,只要在A100和A30的GPU上提供,未来的H100也会支持,实现机制是通过GPU内部相应计算单元和显存单元的动态划分,实现硬件的空间切片,彼此的隔离性达到最佳,对于上层系统相对透明,且提供灵活的配置,该技术仅在A100和A30 GPU支持,不需要软件License。

效果,GPU空间切分-MIG技术相对隔离性较好,几乎没有额外性能损耗,vGPU时分切片技术,相对灵活性更好,硬件的限制较小,但是需要额外的软件许可。

建议关注NVIDIA AI Enterprise软件套件,包含GPU切分和管理的全部软件功能,并且提供企业级的支持服务。

互联网服务 · 2022-04-28
浏览1311

回答者

Cui Xiaonan 最近回答过的问题

回答状态

  • 发布时间:2022-04-28
  • 关注会员:3 人
  • 回答浏览:1311
  • X社区推广