CDS首云借力 OpenVINO Model Server加速AI云服务落地部署

随着云服务平台逐渐成为AI在各行业中落地部署的重要载体，AIaaS方案的整体工作效能正获得越来越多的关注，AI模型的部署推理效率也将直接影响方案的整体性能表现。但以往常见的部署工具，一方面无法按照应用场景需求对不同的深度学习框架提供支持；另一方面也不能根据基础设施架构的不同，提供更有针对性的推理效率优化。为提升 AIaaS 方案的工作效能与易用性，CDS首云携手英特尔，基于其高性能 K8S 容器平台，引入全新 OpenVINO Model Server，为AI模型的快速部署与推理效率的提升提供加力，并已在不良内容检测等应用场景中获得了验证，结果表明，新方案不仅在用户并发接入能力上远优于传统服务框架，同时在检测时延等关键性能指标上也有着良好表现，可让用户获得高可用、易维护且一键部署业务的能力，并有效降低TCO。