查看其它 1 个回答Cui Xiaonan的回答

对于智能化应用的部署,更加推荐在裸金属上,基于容器的开发和部署方式,首先英伟达在 NGC (ngc.nvidia.com)里面预制好各种的 GPU 运行环境,预训练模型, Helm 脚本及 SDK ,便于快速的开发和部署,结合最新一代安培架构的 A100 、 A30 的 MIG (多 GPU 实例),支持将一片 GPU 物理安全切分成多片 GPU 实例,同时部署运行独立不同的容器或 AI 应用,更加灵活的使用和调度 GPU 资源,且相比 vGPU 有更好的管理粒度和隔离的安全性。也支持在VM中去做应用的部署,可同时选择vGPU或MIG的切分方案。另外,对于应用的部署,也可以参考英伟达推理服务软件TRITON https://www.nvidia.cn/deep-learning-ai/solutions/inference-platform/

互联网服务 · 2021-07-28
浏览1189

回答者

Cui Xiaonan 最近回答过的问题

回答状态

  • 发布时间:2021-07-28
  • 关注会员:3 人
  • 回答浏览:1189
  • X社区推广