1、 神经网络激活函数Relu导数函数如下即当x0x 0x0时函数表现为yxy xyx当x0x 0x0时函数表现为y0y 0y0。表示为分段函数的形式y{x,x00,x0 y \begin{cases} x, x 0 \\ 0, x 0 \end{cases}y{x,0,​x0x0​则Relu 函数的导函数为2、激活函数σ(x)σ(x)11e−x \sigma(x) \frac{1}{1 e^{-x}}σ(x)1e−x1​其数学作用是将任意实数压缩到 (0, 1) 区间内。是一个处处可导的连续函数。其导数为S′(x)S(x)⋅(1−S(x)) S(x) S(x) \cdot (1 - S(x))S′(x)S(x)⋅(1−S(x))可导函数的定义在数学上如果一个函数在定义域内的任意一点都“光滑”没有断点、没有尖角折角我们称它是可导函数。在在神经网络训练中要使用“反向传播算法”来调整权重。反向传播的数学基础是链式法则而链式法则要求函数必须可导。如果函数不可导有尖角梯度就无法顺畅传递模型就训练不下去。其特点如下模型计算出误差需要将误差“反向”传递回每一层网络。传递的过程就是求导的过程。因为 Sigmoid 是处处可导的所以误差可以顺畅地流过 Sigmoid 层准确地告诉网络“权重需要怎么改”。因为导数连续权重的更新也是平滑的不会出现震荡或崩溃。梯度消失问题因为其导数S(x) 的值永远在 (0, 1) 之间所以导数永远小于等于 0.25。当训练一个很深的神经网络时梯度经过层层反向传递每经过一个 Sigmoid 层就乘以 0.25。经过几层之后梯度就趋近于 0 了。这意味着网络的深层几乎“学不到”任何东西参数更新极其缓慢甚至停滞。由于梯度消失问题Sigmoid 已经很少用作神经网络的“隐藏层”激活函数现在多ReLU。但它在需要输出“概率”的二分类问题中依然是输出层的首选比如判断邮件是不是垃圾邮件输出 0.9 代表 90% 的概率是垃圾邮件。3、Tanh双曲正切函数 激活函数Tanh 函数可以看作是放大并平移的 Sigmoid 函数但因为是零中心化的 (zero-centered) 通常收敛速度快于 Sigmoid 函数下图是二者的对比其函数形式为作用把任意实数压缩到 (-1, 1) 区间并以 0 为中心输出让神经网络能同时表达“正向激活”和“负向抑制”从而比 Sigmoid 收敛更快、梯度更强。tanh导函数为从数学上看Tanh 的导数在 x0 处达到最大值 1Sigmoid 只有 0.25所以对比σ(x)反向传播时梯度衰减更慢。x 接近 0 时导数 ≈ 1梯度强|x| 很大时导数 → 0进入饱和区梯度消失。所以 Tanh 缓解了但并未根治梯度消失问题——深层网络里它依然会被 ReLU 取代。tanh的应用场景场景为什么用 TanhRNN / LSTM / GRU 的隐藏状态需要正负值表示“增强/抑制”信号Tanh 天然适合控制信息流GAN 生成器输出层图片像素常归一化到 [-1, 1]Tanh 直接约束输出范围强化学习连续动作输出如机器人关节角度限制在 [-1, 1]Tanh 天然截断早期前馈网络隐藏层ReLU 流行之前Tanh 是隐藏层默认选择4、softmax函数含义将一组任意实数可能是负数、大于1的数强制转换为一组和为 1 的正数概率分布。其形式为yiy_iyi​表示第iii个输出值即属于类别iii的概率∑i1Cyi1\sum\limits_{i 1}^Cy_i 1i1∑C​yi​1zWTxz W^TxzWTx表示线性方程Softmax 函数用于多分类会对应多个方程。例如z[3,1,-3]计算过程如下softmax函数的导数为首先求标量形式的导数即第iii个输出对于第jjj个输入的偏导数其中ezie^{z_i}ezi​对zjz_jzj​求导要分情况讨论那么当iji jij时当i̸ji \not jij时两者合并其中1{ij}{1,if ij0,if i̸j\pmb{1}\{ij\} \left\{\begin{aligned} 1, \quad if \ \ i j \\0,\quad if \ \ i \not j \end{aligned}\right.1{ij}{​1,ifij0,ifij​softmax函数的作用在神经网络中模型经过层层计算最后会吐出几个原始数字Logits。 如果不加 Softmax这些原始数字比如 [−2,0,3]没有任何物理意义Softmax把这几个数字计算出了出现的概率。模型打分最高的那个类别经过 Softmax 后对应的概率值就会最大从而确定最终分类结果。比如输入一张图模型输出“猫、狗、鸟”的概率分别为 [0.05, 0.01, 0.94]模型最终判定为“鸟”。5、常见激活函数对比输出需求激活函数概率值0~1Sigmoid概率分布和为1Softmax对称激活-1~1Tanh无约束回归线性激活 / ReLU