容器和虚拟机混用环境下,同一个GPU资源可以同时对两者提供服务吗?

参与15

4同行回答

Monica WangMonica Wang  NVIDIA AI Enterprise 产品经理 , NVIDIA英伟达
使用 NVIDIA AI Enterprise on vSphere 交付 AI 工作负载时,有多种编排方法。1.带有 Docker 的虚拟机允许您使用带有启动脚本的虚拟机模板。启动脚本将运行 docker 容器和 Jupyter 笔记本,供您的 AI 从业者或数据科学家使用。通过这些 VM 模板,您可以使用 VMware 的 vRA、Ho...显示全部


使用 NVIDIA AI Enterprise on vSphere 交付 AI 工作负载时,有多种编排方法。

1.带有 Docker 的虚拟机允许您使用带有启动脚本的虚拟机模板。启动脚本将运行 docker 容器和 Jupyter 笔记本,供您的 AI 从业者或数据科学家使用。通过这些 VM 模板,您可以使用 VMware 的 vRA、Horizo​​n 或其他虚拟机配置服务等解决方案部署和编排 AI。这是开发 AI 和数据科学应用程序初始阶段的理想解决方案。

2.编排 AI 的第二种方法是将 VM 与 Kubernetes 结合使用。这种方法可以让您获得虚拟化的好处以及使用 Kubernetes 进行容器编排的好处。 Kubernetes 带来了负载平衡、自动扩展推理请求和简化扩展训练作业的优势,使其成为 AI 开发生命周期最后阶段的生产部署的理想选择。当您的数据科学家或 AI 从业者需要特定风格的 Kubernetes 或您的应用程序具有与 Kubernetes 相关的依赖项时,此选项也很有用。然而,有了这个选项,Kubernetes 只知道 VM 来宾操作系统,而底层硬件被抽象出来,导致资源声明受到限制并增加了复杂性。

3.NVIDIA AI Enterprise 新增了对 Red Hat OpenShift 的支持,它通常在 VMware vSphere 中运行。将在下一部分详细介绍 NVIDIA AI Enterprise with OpenShift 的优势。

4.右侧是使用 VMware Tanzu 的容器编排,它提供了虚拟化和 Kubernetes 的优势以及与 vSphere 的直接集成,从而创建了一个完整的编排解决方案。 Tanzu 是声明性的,因此创建启用 GPU 的集群并与之交互通常需要比上游 Kubernetes 更少的步骤,并且可以按需完成

收起
硬件生产 · 2022-04-28
浏览987
罗文江罗文江  云计算架构师 , 某银行
容器和虚拟机混用环境应该指同一网络平面有容器服务和虚拟机服务,且容器宿主机节点为虚拟机的情况吧。技术上同一个GPU卡在容器宿主机节点和其上的容器POD是可配置访问到此GPU资源,没有启用GPU虚拟化的话,2者只能是排斥性使用。但是实际生产环境不会这样设计,否则平台运维和...显示全部
  1. 容器和虚拟机混用环境应该指同一网络平面有容器服务和虚拟机服务,且容器宿主机节点为虚拟机的情况吧。技术上同一个GPU卡在容器宿主机节点和其上的容器POD是可配置访问到此GPU资源,没有启用GPU虚拟化的话,2者只能是排斥性使用。
  2. 但是实际生产环境不会这样设计,否则平台运维和应用运维的边界不清晰,复杂度较高。特别是容器集群软件使用K8S的话, 应用是只能部署到容器POD中。
收起
银行 · 2022-04-30
浏览917
VincentVincent  存储工程师 , china
vmware的bitfusion可以了解下,应该能满足您的问题显示全部

vmware的bitfusion可以了解下,应该能满足您的问题

收起
银行 · 2023-02-20
浏览614
如果同一个GPU资源指的是同一张GPU卡,其实很难。个人观点,慢慢容器和虚拟化会趋同与同一个平台,大概率会是容器主导的技术方向,特别是在AI的技术路线上,可以更多关注K8S和GPU使用的结合。...显示全部

如果同一个GPU资源指的是同一张GPU卡,其实很难。

个人观点,慢慢容器和虚拟化会趋同与同一个平台,大概率会是容器主导的技术方向,特别是在AI的技术路线上,可以更多关注K8S和GPU使用的结合。

收起
互联网服务 · 2022-04-28
浏览993

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-04-20
  • 关注会员:5 人
  • 问题浏览:1842
  • 最近回答:2023-02-20
  • X社区推广