多层感知机 MLP · 深度学习 02

Created by Hailiang Zhao, 2021年8月24日 195 reads Last modified: 2022年1月7日

数学优化

关键字：深度学习多层感知机 MLP 参数学习 PyTorch

摘要 —— 这篇文档分析了多层感知机的结构。

多层感知机在 softmax 回归的输入层和输出层（softmax 层）之间引入了隐藏层，隐藏层的输出是输入的线性组合的一个非线性映射。

隐藏层

多层感知机（Multi-layer Perceptron）在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有 5 个隐藏单元。多层感知机中的隐藏层和输出层都是全连接层。

图 1 多层感知机

矢量计算表达式

在不考虑激活函数的前提下，设输入样本 $X \in \mathbb{R}^{n \times d}$，标签个数为 $q$。对于仅包含单个隐藏层的神经网络，记隐藏层的输出为 $H \in \mathbb{R}^{n \times h}$。则 $$ H = X W_h + \vec{b}_h $$

$$ O = H W_o + \vec{b}_o, $$ 其中 $W_h \in \mathbb{R}^{d \times h}$，$\vec{b}_h \in \mathbb{R}^{1 \times h}$，$W_o \in \mathbb{R}^{h \times q}$，$\vec{b}_o \in \mathbb{R}^{1 \times q}$ 分别为隐藏层和输出层的权重及偏置。因此 $$ O = X W_h W_o + (\vec{b}_h W_o + \vec{b}_o), $$ 这相当于是一个权重为 $W_h W_o$，偏置为 $\vec{b}_h W_o + \vec{b}_o$ 的单层神经网络。

激活函数

全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的复合仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数（activation function）。下面给出了三个典型的激活函数。

\begin{aligned} &\textrm{ReLU}(x) = \max (x, 0) \\ &\textrm{sigmoid} (x) = \frac{1}{1 + \exp (-x)} \\ &\textrm{tanh} (x) = \frac{1 - \exp (-2x)}{1 + \exp (-2x)} \end{aligned}