不同注意力头如何看到不同上下文RedKnot SegPagedAttention分页注意力运行时设计揭秘【免费下载链接】RedKnotEfficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention项目地址: https://gitcode.com/gh_mirrors/re/RedKnot在长上下文大模型推理中RedKnot 的 SegPagedAttention 分页注意力运行时把 KV 缓存拆分为「每个注意力头一张页表」让 global 头读全量上下文、local 头只读 sink 近期窗口从而在不改变模型外部接口的情况下把注意力头级的稀疏性转化为真实的显存与算力节省。本文面向新手用 6 个部分讲清为什么不同注意力头看到的上下文可以不同、分页存储如何组织、无 mask 的融合内核如何执行以及实测收益有多少。1. 为什么不同注意力头可以看到不同的上下文大模型的一个 Transformer 层里注意力机制被拆成多个KV 头KV head。研究者们早已发现DuoAttention 等工作这些头并不是人人平等的——有的头对前缀敏感必须回看全部历史 token才能保持输出质量称为global全局头有的头对前缀鲁棒只要看住开头几个 sink token 加上最近几百个 token输出几乎不变称为local局部头。如果让所有头都用同一份全量 KV 缓存 掩码mask来执行local 头其实做了大量无用功不可见的 KV 照样占显存、照样被搬运。RedKnot 的做法很简单直接——既然 local 头根本不需要那些 token那就别为它们分配存储空间。这就引出了 SegPagedAttention 的核心思想KV 缓存的存储粒度从「整个请求」细化到「层 × 注意力头 × 分段」。2. RedKnot 的四种头分类策略在 RedKnot 中每个(层, KV头)组合都会被分配 4 种策略之一定义在 head_config.py策略可见范围计算复杂度角色localsink 近期窗口O(L × W)长上下文的主力省显存global全量历史 KVO(L²)保障前缀敏感信号retrievaltop-p 重要 token稀疏检索按需回看远距离关键 tokendense全量 RoPE 重对齐O(L²)浅层安全网保留细粒度信号这些分类不是拍脑袋定的而是离线剖析profiling得到的RedKnot 提供 head_profiler.py 对真实模型逐头打分输出 JSON 配置。仓库里也发布了多份现成的头分类配置例如Llama-3.3-70B 最优配置llama-70B_optimal_g15_lf_ret.json80 层 × 8 KV 头约 15% global 头local 窗口 8192sink 4DeepSeek-V4-Flash 发布配置deepseek_v4_flash_0731_redknot.jsonQwen3-32B / Mistral-7B 等配置见 test/srt/redknot/head_class/3. SegPagedAttention 分页存储从一张大表到每头一页表传统 PagedAttention 用一张全局页表映射「token → 物理页」。SegPagedAttention 则换成(层, 头, 分段) → 连续虚拟页的三维页表核心实现在 segpaged.pySegmentPageTable第 106-127 行页表本体记录每个头段的页号、每个头的执行策略GLOBAL / LOCAL及其分段列表SegPagedKVCache第 133-303 行物理页池。local 头只分配sink recent的页global 头分配全量上下文的页。页与页之间通过虚拟→物理映射隔离local 头的占用量与上下文总长无关build_segpaged_cache第 309-365 行从稠密 KV 构建分头存储的入口按头策略裁剪 local 头只保留可见 token。一个形象的类比传统缓存像图书馆的一整面书架所有读者都面对全部藏书SegPagedAttention 则像给每位读者配了自己的迷你书架——local 头这位读者的书架上永远只有开头几本和最近几本无论图书馆涨到多大。4. 无 mask 的融合内核如何把稀疏性变成真实加速有了分头页表还不够——如果内核仍然按最长的那个头的长度去算再靠 mask 屏蔽节省不了算力。RedKnot 的segpaged_attention第 428-547 行执行的是论文算法 2逐头查页表取出该头真实的 KV 长度把所有 (查询头, KV头) 对打包进一次FA-3 varlen变长调用各头各算各的长度全程无 maskHopper GPU 上走融合内核其他环境自动回退到等价的 PyTorch 参考实现保证可验证。配套的verify_against_dense第 592-672 行会用稠密 mask 基线做数值对照论文要求余弦相似度 0.99998——也就是换掉存储布局结果不变。5. 实测收益提速与 KV 节省到底有多少单张 H200 上的实测记录见 SEGPAGED_RESULTS.md结论注意力算子级场景阶段注意力算子提速KV 节省数值等价H2O / Heavy-Hitterdecode4.8x ~ 14.9x随上下文增长90–96%cos 1.0DuoAttentionprefill1.8x ~ 8.3x72–75%cos ≈ 1.0几个值得注意的细节上下文越长dense 基线要读的 KV 越多差距越大8K 时 4.78x → 32K 时 14.9x页表等布局开销必须在 KV 写入时一次性完成并复用每次 attention 现算会吃掉收益文中记录了 0.70x 的反例KV 容量节省直接转化为并发能力论文口径下 head-aware 调度可带来 4.7–7.8x 并发容量。6. 如何动手体验 SegPagedAttention 后端SegPagedAttention 已注册为独立的 SGLang 注意力后端segpaged入口在 segpaged_backend.py启动方式python -m sglang.launch_server \ --attention-backend segpaged \ --segpaged-head-config-path /path/to/head_config.json \ --segpaged-page-size 64如果没有自己的头配置也可以克隆仓库后直接跑演示脚本完整说明见 examples/redknot/README.mdgit clone https://gitcode.com/gh_mirrors/re/RedKnot cd RedKnot CUDA_VISIBLE_DEVICES0 python examples/redknot/segpaged_redknot_demo.py --mode smoke该 demo 会对比三条路径——稠密 mask、PyTorch SDPA mask、SegPaged 融合内核——并输出延迟、余弦等价性和 KV token 节省适合新手建立直观感受。小结SegPagedAttention 的分页二字本质是把注意力头级的异构性从计算时的掩码下沉为存储时的物理隔离global 头存全量页、local 头只存 sink 近期页、检索头按需取页。配合无 mask 的 varlen 融合内核同样的模型输出换来 72–96% 的 KV 节省与数倍注意力加速。对长上下文 RAG、多轮对话这类业务这正是 TTFT 与并发容量提升的底层来源。想深入了解论文级细节可参考 ROADMAP.md 中的分阶段实现路线。【免费下载链接】RedKnotEfficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention项目地址: https://gitcode.com/gh_mirrors/re/RedKnot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考