victorylee
作者victorylee2021-12-31 14:23
软件开发工程师, 浪潮商用机器有限公司

人工智能的三驾马车

字数 1930阅读 1017评论 0赞 4

算力,算法,数据是人工智能的三驾马车 。我们通常将数据送入人工智能算法,算法学习数据背后的规律,形成模型,如下图所示:

该过程中包含算法,算力,以及数据,其中数据是燃料,算法是引擎,服务器 ( 算力 ) 则是动力来源,三者是人工智能的三驾马车。

 算力

算力的重要性自不待言。 强化学习之父 Richard Sutton 在 2019 年 3 月 13 日发表文章《 The Bitter Lesson 》(中文:苦涩的教训)中谈到,依赖于人类的知识会使得 AI 方法复杂化,而依赖于算力的通用 AI 方法常常更加有效。 General methods that leverage computation are ultimately the most effective, and by a large margin. 随着模型的越来越大,模型所拥有的参数从数百万参数到千亿参数,模型的性能和准确率也越来越高。

训练模型的费用越来越大 。 为了训练这样的大模型,企业和研究机构通常搭建服务器集群,花费也越来越高。根据 Google 发布的信息,训练 1000 个参数大约需要 1 美元,训练一个模型需要数千美元,到训练一个大模型需要数百万美元。

高性能的AI训练平台 K1 Power Linux AI 中所需算力主要包含训练模型以及部署后预测时所需算力。浪潮商用的 K1 Power Linux 的多 GPU 服务器最高支持 22 CPU core , 2T 内存,新一代的 IO 加速技术,为企业级的模型训练服务器,可帮助企业或科研机构,高效率地训练模型。以下为高性能的训练模型常用的 Power 服务器。

Power10**内置矩阵运算加速器大幅提高推理效率。** 归根结底,所有的深度学习算法是由数十层到上百层的人工神经网络组成,无论是模型训练还是模型推理,都是一些矩阵运算,例如各种矩阵乘法,加法,转置操作,所以矩阵加速至关重要。 Pwer10 处理器 嵌入式矩阵数学加速器 , 与 IBM POWER9 处理器相比,每个插槽的 FP32 、 BFloat16 和 INT8 计算的 AI 推理速度分别提升 10 倍、 15 倍 和 20 倍,从而将 AI 融入商业应用,降低 AI 预测服务器的延时。

 算法

深度学习与人工神经。人工神经网络发端于 1957 年 Frank Rosenblatt 在 Cornell 航空实验室 发明的感知器模型。从神经网络的角度来看,感知器是仅包含一个神经元的人工神经网络,当我们增大网络让网络包含多层,每层包含多个神经元,这样感知器就变成了目前广泛使用的前馈神经网络。下面是 Asimov Institute 所绘制的人工神经网络的结构图,用不同颜色代表不同的层,连线代表神经元之间的连接关系,如下图所示:

目前最流行的网络主要有多层感知器 MLP ,循环神经网络 RNN ,卷积神经网络 CNN 以及 Transformer ,但其他神经网络(如图神经网络)的研究也如火如荼热火朝天。

 数据

训练数据包括带标签的数据和不带标签的数据 。 训练模型的数据主要有两种:带标签数据,不带标签数据。这里的标签是 ground truth ,也就是正确的答案,前者有正确答案,后者需要模型来找出正确答案。例如猫狗识别场景中,如果使用带标签的数据,人工在所有猫的照片打上标签“猫”,在所有狗的照片上打上标签“狗”,让模型学习分辨猫和狗,这样的数据就是带标签的数据。给一堆无“正确答案”(不带标签)的照片,让模型自己学习分辨猫和狗,这样的数据是不带标签的数据。

算法,算力,数据到底哪个更重要,不同的人有不同的看法,这样的争论曾发生过多次,无论在国内还是国外。也许最不坏的说法三者三位一体,相辅相成,缺一不可。

Reference

[1] Pang-Ning Tan, Michael Steinbach, Vipin Kumar. 数据挖掘导论 [M]. 北京市 : 人民邮电出版社, 2011:150,152
[2] Rich Sutton. The Bitter Lesson.
http://www.incompleteideas.net/IncIdeas/BitterLesson.html. 2019
[3] Asimov Institute. The Mostly Complete Chart of Neural Networks. https://www.asimovinstitute.org/?s=The+Mostly+Complete+Chart+of+Neural+Networks

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

4

添加新评论0 条评论

Ctrl+Enter 发表