银行GPU

如何提升gpu的资源利用率?

同一块gpu如何供多用户使用?都有哪些解决方案?

参与8

3同行回答

Monica WangMonica Wang  NVIDIA AI Enterprise 产品经理 , NVIDIA英伟达
提高GPU的资源利用率需要从几个方面考虑:1. 选择正确的GPU,不同GPU有不同使用场景,例如A100,A30用于加速计算,A40用于图像渲染处理。2. 软件工具选用英伟达在GPU上做过优化的库,例如NVAIE 软件套件中包含的6个工具库满足AI开发者在开发过程中所需要的所有工具,加速开发周期。...显示全部

提高GPU的资源利用率需要从几个方面考虑:
1. 选择正确的GPU,不同GPU有不同使用场景,例如A100,A30用于加速计算,A40用于图像渲染处理。
2. 软件工具选用英伟达在GPU上做过优化的库,例如NVAIE 软件套件中包含的6个工具库满足AI开发者在开发过程中所需要的所有工具,加速开发周期。
3. 有企业级的支持服务,获得原厂及时回复修复BUG和提供技术顾问,例如NVAIE软件套件中包含的技术服务可以确保企业AI关键任务顺利完成。

收起
硬件生产 · 2022-04-28
浏览1092
罗文江罗文江  云计算架构师 , 某银行
提高GPU的分配颗粒度,可以通过虚拟GPU技术,细化到0.1卡。譬如 NVIDIA 虚拟 GPU (vGPU) 技术,腾讯的vGPU开源项目、国内创业公司趋动科技的GPU虚拟化技术。单机的一张GPU卡,可以用分时调度安排,不同用户有不同的使用时间段。...显示全部
  1. 提高GPU的分配颗粒度,可以通过虚拟GPU技术,细化到0.1卡。譬如 NVIDIA 虚拟 GPU (vGPU) 技术,腾讯的vGPU开源项目、国内创业公司趋动科技的GPU虚拟化技术。
  2. 单机的一张GPU卡,可以用分时调度安排,不同用户有不同的使用时间段。
收起
银行 · 2022-04-30
浏览1004
可以参考这个链接 https://docs.nvidia.com/ai-enterprise/deployment-guide/dg-advance-gpu.html显示全部
互联网服务 · 2022-04-28
浏览988

提问者

jiangxiaobin
研发工程师某银行
擅长领域: GPU服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-04-25
  • 关注会员:4 人
  • 问题浏览:1884
  • 最近回答:2022-04-30
  • X社区推广