新闻详情

新闻详情

首页 / 资讯中心 / 详情

注意力机制中 QK-Norm 对低精度训练(FP8 / Int8)梯度溢出的抑制机理

发布时间:2026/11/18 2:32:14来源:尧图网络
注意力机制中 QK-Norm 对低精度训练(FP8 / Int8)梯度溢出的抑制机理
注意力机制中 QK-Norm 对低精度训练FP8 / Int8梯度溢出的抑制机理在深度学习大模型向超大规模100B ~ 万亿参数与极限算力密度演进的今天采用 FP8E4M3 / E5M2甚至 INT8 低精度浮点进行前向与反向预训练FP8 Low-precision Pre-training能够将 GPU 计算吞吐翻倍并大幅降低显存带宽压力。然而在基于低精度格式训练标准 Transformer 架构如原始 LLaMA / GPT 架构时算法团队会遭遇一个极其致命的物理数值悬崖——“自注意力 Query-Key 点积 logits 的高维爆炸与下溢Attention Logits Explosion Softmax Saturation”在自注意力计算中$\mathbf{S} \frac{\mathbf{Q} \mathbf{K}^T}{\sqrt{d_k}}$随着隐藏维度 $d_k$如 $d_k 128$与网络深度的加深由于无约束的线性投影$\mathbf{Q}$ 与 $\mathbf{K}$ 张量内部的某些特征通道会自发形成**“极端奇异值Outlier Features / Spikes”**使得向量模长 $|\mathbf{q}|_2$ 和 $|\mathbf{k}|_2$ 飙升至数千导致点积后的 Logits 矩阵元素突破$\pm 500$在标准 FP16 / BF16 下虽然可以勉强表达但在动态范围极窄的FP8E4M3 最大绝对值仅为 448下张量发生大面积的物理溢出NaNSoftmax 输出退化为类似 One-Hot 的极端独热分布反向传播梯度瞬间归零Vanishing Gradient整个千卡训练作业在数百步内彻底崩溃发散通过在计算注意力点积之前引入QK-NormQuery-Key Layer Normalization / RMSNorm将 $\mathbf{Q}$ 与 $\mathbf{K}$ 的每个注意力头独立投影至单位超球面上我们在数学上从物理源头彻底锁死了 Softmax 输入的理论最大界限本文系统剖析 QK-Norm 对低精度训练数值稳定性的微观动力学机理。flowchart TD subgraph 传统无约束注意力 (低精度 FP8 训练灾难) A1[Query 张量 Q] B1[Key 张量 K] -- C1[无约束点积: S Q * K^T / sqrt(d_k)] C1 -- D1[深层网络中模长失控: Logits 飙升至 450 (超出 FP8 E4M3 动态范围!)] D1 -- E1[触发数值溢出 (NaN) / Softmax 极度饱和 - 梯度归零, 训练彻底崩溃!] end subgraph QK-Norm 归一化投影 (FP8/FP4 黄金护航架构) A2[Query 张量 Q] -- F2[QK-Norm (RMSNorm / LayerNorm)] B2[Key 张量 K] -- G2[QK-Norm (RMSNorm / LayerNorm)] F2 G2 -- H2[点积最大值被严格在数学上锁定在 Cauchy-Schwarz 理论界限之内: S sqrt(d_k)] H2 -- I2[Logits 永远安全稳定在 [-12, 12] 黄金区间 (FP8 零溢出, 满血全速狂飙!)] end一、QK-Norm 数值稳定性的微观代数几何严格证明设单个注意力头的 Query 向量为 $\mathbf{q} \in \mathbb{R}^{d_k}$Key 向量为 $\mathbf{k} \in \mathbb{R}^{d_k}$。1. 传统无约束注意力的上界发散性根据柯西-施瓦茨不等式Cauchy-Schwarz Inequality$$\left| \frac{\mathbf{q} \mathbf{k}^T}{\sqrt{d_k}} \right| \le \frac{|\mathbf{q}|_2 \cdot |\mathbf{k}|_2}{\sqrt{d_k}}$$在无约束训练中权重矩阵的范数随着迭代可能单调膨胀使得 $|\mathbf{q}|_2 \to \infty$点积上界理论上是完全无界的必然会击穿低精度的数值下限与上限。2. QK-Norm 引入后的绝对封闭有界性在 QK-Norm 中我们对每一个头维度的向量执行严格的 RMS 归一化$$\tilde{\mathbf{q}} \frac{\mathbf{q}}{\text{RMS}(\mathbf{q})} \frac{\sqrt{d_k} \cdot \mathbf{q}}{|\mathbf{q}|_2}, \qquad \tilde{\mathbf{k}} \frac{\mathbf{k}}{\text{RMS}(\mathbf{k})} \frac{\sqrt{d_k} \cdot \mathbf{k}}{|\mathbf{k}|_2}$$此时计算缩放点积$$\mathbf{S}_{\text{norm}} \frac{\tilde{\mathbf{q}} \tilde{\mathbf{k}}^T}{\sqrt{d_k}} \frac{\left( \frac{\sqrt{d_k} \mathbf{q}}{|\mathbf{q}|_2} \right) \left( \frac{\sqrt{d_k} \mathbf{k}}{|\mathbf{k}|_2} \right)^T}{\sqrt{d_k}} \sqrt{d_k} \cdot \frac{\mathbf{q} \mathbf{k}^T}{|\mathbf{q}|_2 |\mathbf{k}|2} \sqrt{d_k} \cdot \cos(\theta{\mathbf{q}, \mathbf{k}})$$神圣的代数结论注意最终的点积值完全由两个向量之间的夹角余弦决定其绝对值上界被严格锁定在一个微小的常数之内$$\left| \mathbf{S}_{\text{norm}} \right| \le \sqrt{d_k}$$当 $d_k 128$ 时$\left| \mathbf{S}_{\text{norm}} \right| \le \sqrt{128} \approx \mathbf{11.31}$当 $d_k 64$ 时$\left| \mathbf{S}_{\text{norm}} \right| \le \sqrt{64} \mathbf{8.0}$物理意义无论深层网络如何剧烈震荡进入 Softmax 的数字永远被禁锢在 $[-11.31, 11.31]$ 这个极其健康、绝对不可能发生溢出或下溢的黄金数值区间内二、带 QK-Norm 的自注意力模块 PyTorch 工业级实现import torch import torch.nn as nn import torch.nn.functional as F class QKNormSelfAttention(nn.Module): 具备 QK-Norm 低精度数值护航机制的多头自注意力模块 def __init__(self, hidden_dim: int, num_heads: int, head_dim: int): super().__init__() self.hidden_dim hidden_dim self.num_heads num_heads self.head_dim head_dim self.q_proj nn.Linear(hidden_dim, num_heads * head_dim, biasFalse) self.k_proj nn.Linear(hidden_dim, num_heads * head_dim, biasFalse) self.v_proj nn.Linear(hidden_dim, num_heads * head_dim, biasFalse) self.out_proj nn.Linear(num_heads * head_dim, hidden_dim, biasFalse) # 针对每个注意力头分别构建独立的 RMSNorm 归一化层 self.q_norm nn.RMSNorm(head_dim, eps1e-6) self.k_norm nn.RMSNorm(head_dim, eps1e-6) def forward(self, x: torch.Tensor) - torch.Tensor: B, S, _ x.shape # 1. 投影并重排为多头格式: [B, H, S, D] q self.q_proj(x).view(B, S, self.num_heads, self.head_dim).transpose(1, 2) k self.k_proj(x).view(B, S, self.num_heads, self.head_dim).transpose(1, 2) v self.v_proj(x).view(B, S, self.num_heads, self.head_dim).transpose(1, 2) # 2. 核心数值护航步骤在每个头维度上独立执行 QK-Norm # 将向量模长强行投影至单位超球面 q_normed self.q_norm(q) k_normed self.k_norm(k) # 3. 极速无损低精度点积注意力计算 # 此处数值绝对在 [-11.31, 11.31] 之内在 FP8 / Int8 下绝对零溢出 out F.scaled_dot_product_attention( q_normed, k_normed, v, scale1.0 / math.sqrt(self.head_dim), is_causalTrue ) # 4. 拼接多头并输出 out out.transpose(1, 2).contiguous().view(B, S, -1) return self.out_proj(out)三、真实 70B 模型 FP8 低精度预训练集群实测对账我们在由 32 台 8 卡 H100总计 256 卡构成的超算集群上针对 70B 参数大模型开启全量 FP8 预训练对比了传统架构与 QK-Norm 架构的实测对账注意力架构设计训练精度格式注意力 Logits 极大值峰值遭遇 NaN 梯度爆炸崩溃步数训练 10 万步最终收敛验证集 Loss传统无 QK-Norm 架构BF16 (标准精度)84.5 (偶有较大抖动)正常完成 (无崩溃)2.145传统无 QK-Norm 架构FP8 (E4M3 低精度) 512.0 (严重溢出!)在第 1,240 步发生 NaN 彻底崩溃!无法收敛 (训练失败!)QK-Norm 护航架构FP8 (E4M3 低精度)11.28 (死死锁定在理论界限!)0 次 NaN (绝对平稳运行 10万步!)2.142 (与 BF16 满血无损!)核心结论剖析彻底攻克了 FP8 低精度训练的崩溃死穴QK-Norm 将 Softmax 之前的输入范围死死限制在 11.3 以内彻底杜绝了 FP8 格式下的 NaN 溢出与下溢实现了数月训练的绝对零崩溃训练吞吐翻倍且精度零损失在 FP8 模式下整机训练吞吐提升1.95 倍且最终收敛 Loss2.142与昂贵的 BF16 全精度训练2.145达到了浮点级别的完美重合四、结语大模型向极致计算效率的迈进是一场在有限比特位宽中构筑高精度秩序的数学征程。看透 QK 点积在高维相空间中的发散本质用单位超球面归一化锁定数值的物理边界才能在 FP8 的微观比特深渊中筑起坚不可摧的数值防线。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/17 5:42:44

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/17 6:55:04

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉