查看其它 4 个回答强哥之神的回答
现在有云端好多是通过 K8S + GPU device plugin 来实现容器化部署、调度的，比如：很多大型的AI开放平台都基本是既有 CPU 资源调度，又有 GPU 资源进行 AI 任务的计算，在 K8S 中，一般是以 cronjob 的方式完成一次大型的计算，而且现在随着 GPU 虚拟化技术的出现，这样可以做到 一个 GPU 物理卡同时提供给多个 AI 任务用，以提高 GPU 资源利用率。但在边端的可能会少些，毕竟边缘设备如果不支持容器化部署，就不好将业务容器化，不过容器化向边端发展肯定是一种趋势。
灵活性方面，容器比虚机天然就是轻量，因为其本质就是一个进程，所以会更加灵活。目前 AI 应用案例还是很多的，比如自动驾驶、图像识别、智能质检等场景都需要进行训练与推理，而为了灵活与节能，能容器化的都会以容器化运行。