新闻详情

新闻详情

首页 / 资讯中心 / 详情

Chunked Prefill 深度调优:平衡首字延迟与生成吞吐的黄金切片步长

发布时间:2026/11/16 7:57:11来源:尧图网络
Chunked Prefill 深度调优:平衡首字延迟与生成吞吐的黄金切片步长
Chunked Prefill 深度调优平衡首字延迟与生成吞吐的黄金切片步长在大促长文本多轮对话、智能客服知识库检索RAG以及代码辅助等复杂业务场景中推理集群经常面临一种极端的“负载撕裂”一方面大量在线交互请求正在进行逐 Token 的流式生成Decode 阶段对**序列间延迟Inter-Token Latency, ITL**有着严苛的平稳性要求如波动不得超过 30ms另一方面突发的长 Prompt 请求如 4K ~ 16K Tokens不定期涌入如果系统采用传统的整包 Prefill 策略GPU 会在长达 150~300ms 内全量投入该长文本的矩阵乘计算导致所有处于 Decode 阶段的请求发生剧烈的“停顿等待Hiccup”用户端打字机效果严重卡死。**切片预填充Chunked Prefill**技术的出现彻底重塑了大模型调度器的执行范式。它将一个庞大的 Prompt 按照固定步长切分为多个 Chunk与正在运行的 Decode 请求无缝交错执行。本文深入微架构计算开销探讨如何调优切片步长以达成吞吐与平稳性的极致平衡。传统 Prefill 阻塞 vs Chunked Prefill 交错调度对比: 1. 传统无切片调度 (Decode 被动遭长 Prefill 阻断): Step 1 (40ms) : [ Decode 128 seqs ] Step 2 (220ms!) : [ Long Prefill 8192 Tokens 独占 GPU ! 造成严重 ITL 顿挫 ] Step 3 (40ms) : [ Decode 128 seqs (恢复生成) ] 2. Chunked Prefill 调度 (固定 Chunk 步长交错流水): Step 1 (45ms) : [ Decode 128 seqs ] [ Chunk 1 (1024 Tokens) ] Step 2 (46ms) : [ Decode 128 seqs ] [ Chunk 2 (1024 Tokens) ] Step 3 (45ms) : [ Decode 128 seqs ] [ Chunk 3 (1024 Tokens) ] Step 4 (45ms) : [ Decode 128 seqs ] [ Chunk 4 (1024 Tokens) - 完成 Prefill ]切片预填充的微观算力与访存权衡Chunked Prefill 的核心原理在于通过算力与访存的算子融合填补 GPU 的空闲执行单元Decode 序列天然是访存受限Memory-Bound计算小、读取大GPU 的 Tensor Core 计算单元利用率通常低于 25%Prefill 切片是计算密集型Compute-Bound将一个 1024 Tokens 的 Chunk 塞入同一个 Batch 中能够将矩阵乘维度拉大将 Tensor Core 利用率瞬间拉升至 80% 以上步长选择的博弈步长过小如 256矩阵乘计算粒度不够GPU 计算核心未充分预热算子启动Kernel Launch与小 GEMM 的固定开销占比过高导致整体 Prefill 总耗时被拉长步长过大如 4096单步计算时间过长Decode 序列的 ITL 延迟毛刺重新显现切片失去平滑抖动的意义。实测对账矩阵8 卡 H100 SXM5 80GB70B 模型在 512 并发下不同 Chunk Size 对比在 512 并发背景流量下针对 8192 Tokens 长 Prompt 输入对比不同 Chunk Size 的性能指标Chunk 切片步长 (Tokens)单步 Step 平均耗时Decode P99 ITL 抖动8K Prompt 首字耗时 (TTFT)单卡总吞吐 (Tokens/s)GPU 算力利用率 (MFU)未开启切片 (Baseline)35ms (Decode) / 280ms (Prefill)285.0 ms (严重顿挫)280 ms1,82054.2%Chunk Size 25638.5 ms18.2 ms (极度平稳)1,230 ms (过慢)1,98061.5%Chunk Size 51241.0 ms21.5 ms650 ms2,34072.8%Chunk Size 1024 (黄金平衡)44.5 ms25.0 ms (完全达标)360 ms2,680 (47.2%)83.5% (算力吃满)Chunk Size 204858.0 ms48.5 ms290 ms2,71084.2%实测数据显示Chunk Size 1024在保持 P99 ITL 低于 25ms 平稳红线的同时将整机吞吐提升了 47.2%首字延迟360ms亦处于完全可接受范围。切片注意力Chunked Attention状态维护与 KV Cache 写入在实现 Chunked Prefill 时模型并非每次切片都从头计算而是必须维护连续的 KV Cache 链条# Chunked Prefill 调度与分步前向核心逻辑示意 class ChunkedPrefillRunner: def __init__(self, model_runner, chunk_size1024): self.runner model_runner self.chunk_size chunk_size def step_chunked_forward(self, active_decode_reqs, pending_prefill_req): # 1. 提取当前处于 Decode 阶段的 Tokens decode_tokens [req.get_last_token() for req in active_decode_reqs] # 2. 截取新请求的一个 Chunk prefill_chunk_tokens [] is_last_chunk False if pending_prefill_req is not None: prefill_chunk_tokens pending_prefill_req.fetch_next_chunk(self.chunk_size) is_last_chunk pending_prefill_req.is_all_chunks_consumed() # 3. 拼接混合 Batch mixed_batch_tokens decode_tokens prefill_chunk_tokens # 4. 执行混合注意力 Kernel (Decode 读取历史 KV, Chunk 执行 Causal Attention 并追加 KV) output_logits self.runner.execute_mixed_step( mixed_batch_tokens, decode_countlen(decode_tokens), prefill_chunk_sizelen(prefill_chunk_tokens) ) # 5. 更新请求状态 if is_last_chunk: pending_prefill_req.transition_to_decode_phase() return output_logits大促生产级参数配置建议在 vLLM 与 SGLang 生产部署中启用并固化以下参数# vLLM 启用 Chunked Prefill 配置 python3 -m vllm.entrypoints.openai.api_server \ --model /models/Meta-Llama-3-70B-Instruct \ --tensor-parallel-size 8 \ --enable-chunked-prefill true \ --max-num-batched-tokens 8192 \ --max-num-seqs 512 \ --gpu-memory-utilization 0.95# SGLang 启用切片配置 python3 -m sglang.launch_server \ --model-path /models/Meta-Llama-3-70B-Instruct \ --tp 8 \ --chunked-prefill-size 1024 \ --max-running-requests 512 \ --port 30000通过将切片大小精准锁定在 1024 Tokens推理引擎得以在大促高并发的复杂混合场景中彻底消灭长文本请求引发的延迟顿挫让在线生成流如丝般顺滑。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/15 4:06:36

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉