据我所知,目前k8s对GPU资源的共享程度颗粒度是到单个GPU级别,针对中小型计算压力的实际情况来说,单个GPU资源共享的场景实用性及普遍性更高,未来是否存在集群GPU资源共享更小颗粒度的可能性?此外,是否可能根据业务压力功能分配GPU算力的可能?
1、GPU的分配颗粒度,可以通过虚拟GPU技术,细化到0.1卡。譬如 NVIDIA 虚拟 GPU (vGPU) 技术,腾讯的vGPU开源项目、国内创业公司趋动科技的GPU虚拟化技术。2、要根据业务压力功能分配GPU算力,通常需要建设基于K8S的一个GPU管理平台,通过平台的调度能力和配置策略来实现
分享一个NVAIE手册里面的一个章节,分别提到了软硬GPU切分的一些颗粒度和技术细节,供大家参考: https://docs.nvidia.com/ai-enterprise/deployment-guide/dg-advance-gpu.html
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30