新闻详情

新闻详情

首页 / 资讯中心 / 详情

激活函数之数学基础与应用

发布时间:2026/11/21 21:10:31来源:尧图网络
激活函数之数学基础与应用
1、 神经网络激活函数Relu导数函数如下即当x0x 0x0时函数表现为yxy xyx当x0x 0x0时函数表现为y0y 0y0。表示为分段函数的形式y{x,x00,x0 y \begin{cases} x, x 0 \\ 0, x 0 \end{cases}y{x,0,​x0x0​则Relu 函数的导函数为2、激活函数σ(x)σ(x)11e−x \sigma(x) \frac{1}{1 e^{-x}}σ(x)1e−x1​其数学作用是将任意实数压缩到 (0, 1) 区间内。是一个处处可导的连续函数。其导数为S′(x)S(x)⋅(1−S(x)) S(x) S(x) \cdot (1 - S(x))S′(x)S(x)⋅(1−S(x))可导函数的定义在数学上如果一个函数在定义域内的任意一点都“光滑”没有断点、没有尖角折角我们称它是可导函数。在在神经网络训练中要使用“反向传播算法”来调整权重。反向传播的数学基础是链式法则而链式法则要求函数必须可导。如果函数不可导有尖角梯度就无法顺畅传递模型就训练不下去。其特点如下模型计算出误差需要将误差“反向”传递回每一层网络。传递的过程就是求导的过程。因为 Sigmoid 是处处可导的所以误差可以顺畅地流过 Sigmoid 层准确地告诉网络“权重需要怎么改”。因为导数连续权重的更新也是平滑的不会出现震荡或崩溃。梯度消失问题因为其导数S(x) 的值永远在 (0, 1) 之间所以导数永远小于等于 0.25。当训练一个很深的神经网络时梯度经过层层反向传递每经过一个 Sigmoid 层就乘以 0.25。经过几层之后梯度就趋近于 0 了。这意味着网络的深层几乎“学不到”任何东西参数更新极其缓慢甚至停滞。由于梯度消失问题Sigmoid 已经很少用作神经网络的“隐藏层”激活函数现在多ReLU。但它在需要输出“概率”的二分类问题中依然是输出层的首选比如判断邮件是不是垃圾邮件输出 0.9 代表 90% 的概率是垃圾邮件。3、Tanh双曲正切函数 激活函数Tanh 函数可以看作是放大并平移的 Sigmoid 函数但因为是零中心化的 (zero-centered) 通常收敛速度快于 Sigmoid 函数下图是二者的对比其函数形式为作用把任意实数压缩到 (-1, 1) 区间并以 0 为中心输出让神经网络能同时表达“正向激活”和“负向抑制”从而比 Sigmoid 收敛更快、梯度更强。tanh导函数为从数学上看Tanh 的导数在 x0 处达到最大值 1Sigmoid 只有 0.25所以对比σ(x)反向传播时梯度衰减更慢。x 接近 0 时导数 ≈ 1梯度强|x| 很大时导数 → 0进入饱和区梯度消失。所以 Tanh 缓解了但并未根治梯度消失问题——深层网络里它依然会被 ReLU 取代。tanh的应用场景场景为什么用 TanhRNN / LSTM / GRU 的隐藏状态需要正负值表示“增强/抑制”信号Tanh 天然适合控制信息流GAN 生成器输出层图片像素常归一化到 [-1, 1]Tanh 直接约束输出范围强化学习连续动作输出如机器人关节角度限制在 [-1, 1]Tanh 天然截断早期前馈网络隐藏层ReLU 流行之前Tanh 是隐藏层默认选择4、softmax函数含义将一组任意实数可能是负数、大于1的数强制转换为一组和为 1 的正数概率分布。其形式为yiy_iyi​表示第iii个输出值即属于类别iii的概率∑i1Cyi1\sum\limits_{i 1}^Cy_i 1i1∑C​yi​1zWTxz W^TxzWTx表示线性方程Softmax 函数用于多分类会对应多个方程。例如z[3,1,-3]计算过程如下softmax函数的导数为首先求标量形式的导数即第iii个输出对于第jjj个输入的偏导数其中ezie^{z_i}ezi​对zjz_jzj​求导要分情况讨论那么当iji jij时当i̸ji \not jij时两者合并其中1{ij}{1,if ij0,if i̸j\pmb{1}\{ij\} \left\{\begin{aligned} 1, \quad if \ \ i j \\0,\quad if \ \ i \not j \end{aligned}\right.1{ij}{​1,ifij0,ifij​softmax函数的作用在神经网络中模型经过层层计算最后会吐出几个原始数字Logits。 如果不加 Softmax这些原始数字比如 [−2,0,3]没有任何物理意义Softmax把这几个数字计算出了出现的概率。模型打分最高的那个类别经过 Softmax 后对应的概率值就会最大从而确定最终分类结果。比如输入一张图模型输出“猫、狗、鸟”的概率分别为 [0.05, 0.01, 0.94]模型最终判定为“鸟”。5、常见激活函数对比输出需求激活函数概率值0~1Sigmoid概率分布和为1Softmax对称激活-1~1Tanh无约束回归线性激活 / ReLU
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/21 14:14:45

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/21 14:14:26

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/21 21:08:55

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/20 16:11:20

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/21 19:02:25

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/21 14:13:11

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉