victorylee
作者victorylee2021-12-31 16:12
软件开发工程师, 浪潮商用机器有限公司

深度学习的四大模型

字数 1931阅读 7815评论 0赞 3

深度学习将 AI 推向热潮。 历史上,人工智能的发展经过了多次热潮,又多次陷入低谷,这里暂且不论。从2010 年以来,深度学习通过算法上的突破,从而在语音识别,图像识别上的卓越表现,重新将人工智能的研究推向了高潮。

深度学习算法种类繁多。深度学习算法主要是各种各样的人工神经网络算法,如下图所示:

这些网络让人眼花缭乱,其中部分网络曾经非常流行,随着机器学习研究的推进,已逐渐遗留在 paper 的故纸堆中。所以本文总结了深度学习的四大常用模型:前馈神经网络,卷积神经网络,循环神经网络及Transformer,下面逐一介绍。

前馈神经网络MLP

前馈神经网络的结构。 前馈神经网络也被称为多层感知器,它由多个感知器相互相连,形成一个多层的人工神经网络。其中第一层读入数据,被称为输入层;最后一层返回结果,被称为输出层;介于输入层和输出层之间的层,从外面不可见,所以被称为隐藏层。下面图示使用前馈神经网络做图像识别:

卷积神经网络CNN

前馈神经网络无法处理大规模数据。 当处理图像时,前馈神经网络输入层的每个神经元读入图像的一个像素,如果图像的分辨率为10万,那么输入层就需要10万个神经元,所以当输入数据的维度较高时,会导致前馈神经网络的神经元数目暴增,导致网络的运算量过于大,所以在处理图像等大规模数据时,通常使用卷积神经网络。

卷积神经网络的结构。 卷积神经网络通常包含多个block,每个block中包含卷积层,池化层,其中卷积层用于提取图像的特征,池化层可减低图像数据的维度,二者一起组成一个block。卷积神经网络使用多个block来逐层降低数据的维度(池化层的作用),并提取特征(卷积层的作用)。经过多个block后,图像被处理为一个包含多个特征的向量,然后将这个向量输入到前馈神经网络中,进行结果预测。如下图所示:

# 循环神经网络RNN
前馈神经网络及卷积神经网络无法处理长序列数据。 前馈神经网络和卷积神经网络不擅长处理长序列数据,如一段文字,一段时间序列数据,这时就需要使用循环神经网络。
循环神经网络的结构。 循环神经网络由多个cell组成(下图为一个cell),这个cell循环多次,便组成了循环神经网络。每个time step读入数据,提取有助于目标任务的信息,存储在网络中。由于该网络有记忆,所以可以处理长序列数据。序列长度可达1000个time step。循环神经网络的一个最典型的模型就是下图的LSTM( Long short-term memory)。

Transformer 系列

循环神经网络并发能力降低。 数据按顺序依次按顺序串行输入到RNN中,RNN逐一处理。这种处理方式导致RNN的并发能力较弱。
Transformer的结构。Transformer可一次读入整个数据序列,提高了并发能力。如下图所示:

Transformer是一个Encoder-Decoder结构,Encoder和Decoder都是由多层Transformer组成,该层引入了MHA(multi-head Attention)的注意力机制,目前广泛应用在自然语言处理,图像和视频处理上。

Power10对AI的全方位支持

处理器加速AI推理。Power10处理器内置MMA(Matrix Math Acceleration )加速器,可提高人工智能中矩阵运算的速度。
Power10支持OpenBLAS,Eigen,BLIS,MLAS,ESSL等各种AI加速软件组件,支持双精度,单精度,半精度运算。
Power10内置的AI加速能力,支持主流的AI框架,如Tensorflow,pytorch等,可提高前馈神经网络,卷积神经网络,循环神经网络,Transformer这些常见的深度学习模型的AI推理速度。不仅仅上面所类的模型,对于其他模型同样都能收益于Power10的AI加速技术。

以上就是目前广泛使用的深度学习的四大模型,除此之外还有一些模型如图神经网络, Recusive Neural Network 递归神经网络等的研究也如火如荼,不过其影响力还不能和这些模型相比。

Reference

[1] Pang-Ning Tan, Michael Steinbach, Vipin Kumar. 数据挖掘导论 [M]. 北京市 : 人民邮电出版社, 2011:150,152
[2] Asimov Institute . The Mostly Complete Chart of Neural Networks. https://www.asimovinstitute.org/?s=The+Mostly+Complete+Chart+of+Neural+Networks

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广