ai分析的计算能力是否可以以容器方式提供?

目前ai分析在企业中,尤其是在产线中逐步有很多应用场景和实际应用

关于cpu和gpu 计算能力这块,是否支持通过容器方式提供,这样资源的调度更加灵活
是否有实际的应用案例,可否详细介绍

参与12

5同行回答

强哥之神强哥之神架构师&技术经理上汽云计算中心(上海帆一尚行科技有限公司)
现在有云端好多是通过 K8S + GPU device plugin 来实现容器化部署、调度的,比如:很多大型的AI开放平台都基本是既有 CPU 资源调度,又有 GPU 资源进行 AI 任务的计算,在 K8S 中,一般是以 cronjob 的方式完成一次大型的计算,而且现在随着 GPU 虚拟化技术的出现...显示全部

现在有云端好多是通过 K8S + GPU device plugin 来实现容器化部署、调度的,比如:很多大型的AI开放平台都基本是既有 CPU 资源调度,又有 GPU 资源进行 AI 任务的计算,在 K8S 中,一般是以 cronjob 的方式完成一次大型的计算,而且现在随着 GPU 虚拟化技术的出现,这样可以做到 一个 GPU 物理卡同时提供给多个 AI 任务用,以提高 GPU 资源利用率。但在边端的可能会少些,毕竟边缘设备如果不支持容器化部署,就不好将业务容器化,不过容器化向边端发展肯定是一种趋势。

灵活性方面,容器比虚机天然就是轻量,因为其本质就是一个进程,所以会更加灵活。目前 AI 应用案例还是很多的,比如自动驾驶、图像识别、智能质检等场景都需要进行训练与推理,而为了灵活与节能,能容器化的都会以容器化运行。

收起
互联网服务 · 2021-11-02
浏览803
杜东明杜东明解决方案架构师灵雀云Alauda
1、AI分析类应用所需的计算能力,可以用容器应用方式提供。比如:华星光电采用腾讯云的ADC自动缺陷检测方案,实现对液晶面板的自动化缺陷检测。这套ADC检测系统的AI推理系统和AI训练平台,就是部署在容器云中。2、对于AI推理和AI训练时,所需的CPU和GPU计算能力,可以通过容器化方式...显示全部

1、AI分析类应用所需的计算能力,可以用容器应用方式提供。比如:华星光电采用腾讯云的ADC自动缺陷检测方案,实现对液晶面板的自动化缺陷检测。这套ADC检测系统的AI推理系统和AI训练平台,就是部署在容器云中。
2、对于AI推理和AI训练时,所需的CPU和GPU计算能力,可以通过容器化方式提供,还能大大的提高资源利用率。特别是利用容器云的GPU虚拟化能力,可以实现一个 GPU 物理卡同时给多个 AI 任务使用,提高 GPU 资源利用率。
灵雀云AI解决方案提供了基于容器的GPU虚拟化能力,保障AI业务底层CPU、GPU、显存资源的灵活调度和集约化使用;并且提供MLOps人工智能开发平台,提供TensorFlow、Pytorch等机器学习、模型发布、推理计算所必须工具。
在案例上,灵雀云曾帮助多个金融、工业企业建设AI平台,例如在某股份制银行的人工智能平台建设中,帮助客户建设了超过400物理节点的大型人工智能平台,承载行内3000+人工智能计算应用。

收起
软件开发 · 2022-06-06
浏览589
sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)
AI应用分为CPU和GPU计算,轻型应用或是不需要GPU计算的应用,一般都可以使用容器云方式,基于K8S+docker架构,例如人脸识别系统,通常包括结构化引擎、搜索、布控、数据库、管理以及业务应用等系统,其中结构化、搜索和布控等应用通常都会使用到GPU,最好还是使用物理机+GPU卡方式提供...显示全部

AI应用分为CPU和GPU计算,轻型应用或是不需要GPU计算的应用,一般都可以使用容器云方式,基于K8S+docker架构,例如人脸识别系统,通常包括结构化引擎、搜索、布控、数据库、管理以及业务应用等系统,其中结构化、搜索和布控等应用通常都会使用到GPU,最好还是使用物理机+GPU卡方式提供计算服务,尽管现在的GPU也可以通过直通或是专用等模式为虚拟机或是容器提供服务,但是相和物理机相比,容器+GPU卡并不能满足结构化对计算资源的需求,而数据库、管理和业务应用系统通过只需要CPU计算即可,容器方式提供服务即可满足

收起
互联网服务 · 2022-01-04
浏览738
北京不眠夜@博云北京不眠夜@博云产品经理公司
可以,完全是可以。我们推出的BCC算力平台就是让HPC、大数据、AI类应用可以轻松的运行在容器上,并提供GPU的算力调度能力。您可以看一下我的文章(https://www.talkwithtrend.com/Article/256151 "支持高性能计算场景,借助容器云打造智能算力引擎")...显示全部

可以,完全是可以。
我们推出的BCC算力平台就是让HPC、大数据、AI类应用可以轻松的运行在容器上,并提供GPU的算力调度能力。
您可以看一下我的文章(https://www.talkwithtrend.com/Article/256151 "支持高性能计算场景,借助容器云打造智能算力引擎")

收起
软件开发 · 2021-11-16
浏览736
英伟达推荐采用容器化的方式使用AI计算,建议参考 NGC( ngc.nvidia.com ),这是一个英伟达推荐并免费提供给我们开发者一个容器镜像集合,包括从训练到推理,从脚本到应用部署,都是基于容器化实施,如果提及的AI分析能力是类似大数据分析,建议参考RAPIDS开源加速框架( https://rapids.ai...显示全部

英伟达推荐采用容器化的方式使用AI计算,建议参考 NGC( ngc.nvidia.com ),这是一个英伟达推荐并免费提供给我们开发者一个容器镜像集合,包括从训练到推理,从脚本到应用部署,都是基于容器化实施,如果提及的AI分析能力是类似大数据分析,建议参考RAPIDS开源加速框架( https://rapids.ai/ ),目前已经支持Spark3。
如果是推理服务的部分,可以参考Trition,开源的推理服务框架,可以同时支持CPU和GPU的推理任务。https://github.com/triton-inference-server/server

收起
互联网服务 · 2021-11-05
浏览757

ChatGPT 回答

AI分析在企业中,尤其是在产线中逐步有很多应用场景和实际应用。其中,GPU计算能力在AI分析中发挥着重要的作用,因为GPU相比CPU在并行计算方面具有更强的优势,能够大幅提高AI模型的训练速度和效率。

容器云技术可以提供更加灵活的资源调度和管理方式,使得企业可以更加高效地利用GPU计算能力进行AI分析。通过容器方式提供GPU计算能力,可以实现资源的动态调度和分配,根据实际需要进行灵活的资源调配,从而提高计算资源的利用率。

在实际应用中,已经有很多企业采用容器云技术来支持GPU计算能力的提供。例如,阿里云提供了GPU云服务器和容器服务相结合的解决方案,可以帮助企业快速搭建GPU计算环境,并通过容器方式进行资源调度和管理。另外,华为云也提供了GPU容器服务,可以为企业提供高效的GPU计算能力支持。

总之,通过容器方式提供GPU计算能力已经成为企业进行AI分析的一种重要方式,可以提高计算资源的利用率和灵活性,从而更好地支持企业的业务需求。

提问者

hoge
hoge009
技术总监tcl
擅长领域: 服务器GPU云计算

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-10-29
  • 关注会员:6 人
  • 问题浏览:1638
  • 最近回答:2022-06-06
  • X社区推广