各模型注意力机制 层数汇总模型注意力机制层数层分配混合模型的逐层安排DeepSeek R1MLA61全层 MLADeepSeek V3MLA61全层 MLADeepSeek V3.2DSA稀疏61全层 DSAMLA 上实例化 indexerDeepSeek V4-FlashSWA CSA HCA43前 2 层纯 SWA后 41 层 CSA/HCA 逐层交错DeepSeek V4-ProCSA HCA61前 2 层 HCA后 59 层 CSA/HCA 逐层交错GLM 5.2MLA DSA78全层 MLADSAIndexShare 让索引器每 4 层算一次、后 3 层复用Kimi K2MLA61全层 MLAKimi K3KDA MLA9369 层 KDA 24 层 MLA约 3:1 交错Qwen2 / 2.5 / 3GQA依尺寸而异全层 GQAQwen3.5 / 3.6Gated DeltaNet 全注意力依尺寸如 35B-A3B40 层30 层 DeltaNet 10 层全注意力3:1 交错主流注意力机制实现原理一、传统/分组类1. GQAGrouped Query Attention分组查询注意力原理多头注意力中把 query head 分成 G 组组内多个 query 共享同一套 K/V head。效果相比 MHAKV cache 缩小为 1/G比 MQA全部共享一组质量损失更小是两者折中。代表Qwen2/2.5/3、Llama 3、GLM 4.x。2. MQAMulti-Query Attention原理GQA 的极端情况G1所有 query head 共享唯一的 K/V head。效果KV cache 最小但质量损失最大现已被 GQA/MLA 取代。二、低秩压缩类3. MLAMulti-head Latent Attention多头潜在注意力原理KV 先经下投影矩阵W^DKV压到低维 latent 向量c_KV只缓存这个 latent计算时再经上投影W^UK / W^UV还原各头 K/V。位置信息用decoupled RoPE单独注入不污染低秩压缩。吸收技巧decode 时把W^UK吸收进W^UQ、W^UV吸收进W^O无需显式还原完整 K/V。效果KV cache 从每头一份变成每 token 一个 latent 向量省 3~5 倍存储。代表DeepSeek V2/V3/R1、Kimi K2。三、稀疏选择类省计算/带宽不省存储4. DSADeepSeek Sparse Attention稀疏注意力原理两阶段索引 精选。轻量闪电索引器lightning indexerMQA 结构、128 维、FP8给所有历史 token 快速打分选出top-k如 2048个 token主 MLA 注意力只在这 k 个 token 上计算。index scoreI_{t,s} Σ_j w^I_{t,j} · ReLU(q^I_{t,j} · k^I_s)效果复杂度 O(L²) → O(Lk)。省读取带宽不省存储因为 top-k 每次变必须全量存。代表DeepSeek V3.2、GLM 5.x。5. NSANative Sparse Attention原生稀疏注意力原理单层内三路并行 门控融合压缩分支连续 token 压成块摘要block summary选择分支根据摘要粗选 top-n 块只算选中块滑窗分支最近 w 个 token 稠密注意力。特点原生稀疏训练训练时就模拟稀疏避免训练稠密、推理剪枝的性能损失。落地情况未落地到任何发布模型复杂度太高是 DSA 的学术前身。四、压缩 稀疏类真正省存储6. CSACompressed Sparse Attention压缩稀疏注意力原理先沿序列维度压缩每 m4 个连续 token 压成 1 个 KV entry再在压缩 entry 上做DSA 稀疏 top-k选择k512/1024。效果压缩省存储约 4 倍稀疏省读取。代表DeepSeek V4。7. HCAHeavily Compressed Attention重度压缩注意力原理更激进的压缩每 m128 个 token 压成 1 个 entry压缩后保持稠密注意力对所有压缩块都算。效果存储省最多约 128 倍块数极少故稠密也能接受。代表DeepSeek V4。五、滑窗类8. SWASliding Window Attention滑动窗口注意力原理每个 token 只关注最近 w 个 token的稠密注意力窗口外的历史直接丢弃。效果KV cache 只保留最近 w 个计算和存储都固定。局限丢失长程信息需配合其他全局机制如 V4 的 CSA/HCA使用。六、线性注意力类DeltaNet 系9. KDAKimi Delta Attention原理基于DeltaNet的线性注意力用delta 规则做递推状态更新S_t S_{t-1} k_t ⊗ (β_t · (v_t - S_{t-1}^T k_t))即先用 K 查出旧值只写新旧之差delta类似数据库 UPSERT精确覆盖不留残影。改造点Moonshot 加入门控 per-channel decay逐通道衰减用分块并行 kernel实现高效训练。效果用固定大小的递推状态矩阵替代随序列增长的 KV cache。代表Kimi K369/93 层。10. Gated DeltaNetQwen 的线性注意力原理与 KDA 同属 DeltaNet 系核心差异是加数据依赖的遗忘门 α_tgating话题切换时主动遗忘旧记忆。混合方式Qwen3.5/3.6 按3:1交错——3 层线性承担粗粒度语义混合 1 层全注意力承担精确检索校正。代表Qwen3.5 / Qwen3.6。NSA的一点分析混合注意力机制的模型都是分层选择不同注意力。同一层内采用不同注意力首先大概率是互斥的比如MHA和MLA、DSA本身就互相冲突。只有DeepSeek论文中的NSA在同一层采用SWADSA混合的方式对于近2048个token采用稠密注意力2048个token之前的token采用稀疏注意力而这种机制由于实现复杂度最终没有工程化落地。NSA 真正的落地难点三块三套 KV 格式并存压缩块摘要 全量原始 KV选择分支要 gather 被选块 滑窗原始 KV。每层要同时维护三种 cache增删策略各不相同。滑窗边界动态最近 w 个 token 的窗口每个 decode 步都往后挪一位需要环形 buffer 之类的高效增删机制这就是你说的实时更新。压缩是增量、异步的每凑满 l 个 token 才生成一个新块摘要末尾永远有个没凑满的尾巴块压缩和 attention 之间存在时间差。再加上三路注意力 门控融合需要专门 kernel、gather 选中块的访存不规则——这些都是硬件对齐的硬骨头。