victorylee
作者victorylee·2021-12-31 18:40
软件开发工程师·浪潮商用机器有限公司

训练和推理两种算力需求

字数 633阅读 6029评论 0赞 3

大力出奇迹。毋庸置疑,无数人工智能科学家设计的一连串的智慧机器学习模型,这些模型在很多业务中都行之有效,例如人脸识别,给用户推荐感兴趣的物品,以及使用搜索引擎搜索信息。这其中算法是功不可没的。

在算法之外,算力也居功至伟。 研究人员发当模型越来越大时,模型的准确率随着数据的增加会逐渐提升,这引起了模型的“军备竞赛”,模型的参数从数十亿,数百亿,数千亿,到10万亿参数。训练模型所需要的算力也越来越大。下面是几个大模型对算力的需求:

人工智能对算力的要求有2种:训练和推理,下面结合浪潮商用的Power服务器分别介绍。

训练模型所需算力
K1 Power Linux加快模型训练的速度。模型的训练主要分为前向计算和反向传播,浪潮商用的K1 Power Linux多GPU服务器,单处理器最高拥有22个内核,88个硬件线程,最高支持2TB内存高速3内存,该服务器提供强大的算力可加快模型的训练速度。

推理所需算力

  1. 处理器加速AI推理。Power10处理器内置MMA(Matrix Math Acceleration )加速器,可提高人工智能中矩阵运算的速度。
  2. Power10支持OpenBLAS,Eigen,BLIS,MLAS,ESSL等各种AI加速软件组件,支持双精度,单精度,半精度运算。应用可采用所需精度来训练模型。
  3. 对当前AI软件框架的全面支持。Power10内置加速组件支持当前主流的AI开发框架,例如Tensorflow,pyTorch,ONNX Runtime。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广