由于边缘计算是云端功能下沉的体现,云端目前都基本是基于K8S+docker方式实现业务容器化并部署的,所以边缘计算一般也是基于容器,因为这样才更方式的实现云端调度,边端执行。
另外,如果我们抓住边缘计算的本质,就是通过分布式、高可用、业务易部署与维护,那么容器化就是一个很重要的过程,还有一种就是不好容器化的场景,可以基于kubevirt来实现用容器来管理虚拟机,将业务部署在虚拟机中。
对于智能化应用的部署,更加推荐在裸金属上,基于容器的开发和部署方式,首先英伟达在 NGC (ngc.nvidia.com)里面预制好各种的 GPU 运行环境,预训练模型, Helm 脚本及 SDK ,便于快速的开发和部署,结合最新一代安培架构的 A100 、 A30 的 MIG (多 GPU 实例),支持将一片 GPU 物理安全切分成多片 GPU 实例,同时部署运行独立不同的容器或 AI 应用,更加灵活的使用和调度 GPU 资源,且相比 vGPU 有更好的管理粒度和隔离的安全性。也支持在VM中去做应用的部署,可同时选择vGPU或MIG的切分方案。另外,对于应用的部署,也可以参考英伟达推理服务软件TRITON https://www.nvidia.cn/deep-learning-ai/solutions/inference-platform/
收起