大模型推理优化vLLM与TensorRT-LLM配置参数深度详解与实践吞吐优先选vLLM延迟苛刻选TensorRT-LLM——看似简单的选型背后隐藏着两大框架上百个参数的精细调优。本文基于vLLM v0.6.3与TensorRT-LLM 0.14.0从核心机制到关键参数带您穿透配置迷雾。1. 大模型推理挑战与框架选型痛点大语言模型部署面临三大核心矛盾一是自回归生成导致的低GPU利用率二是动态请求对批处理的实时性冲击三是KV缓存对显存的野蛮生长。PagedAttention和In-flight Batching等技术正是为解决这些矛盾而生分别被vLLM和TensorRT-LLM简称TRT-LLM发扬光大。据MLPerf Inference v4.0基准测试TensorRT-LLM在GPT-J上的推理性能较上一代方案提升约187%足以说明推理框架的价值。然而开发者常陷入这样的困境明明用了强框架性能却不达预期。根源在于默认参数是为“通用”设置而不同模型、不同硬件、不同SLA需要截然不同的配置策略。例如vLLM的max_num_seqs与TRT-LLM的max_batch_size看似功能相近内部机制却迥异混用会直接导致显存溢出或排队雪崩。2. vLLM核心参数精讲vLLM的灵魂在于PagedAttention它将KV缓存分页管理使显存碎片趋近于零支撑了Continuous Batching的秒级请求穿插。关键机制PagedAttentionKV缓存以blocktoken块为单位分配无需为每个请求预留连续显存显存利用率可超95%。Continuous Batching不在请求级别而是迭代级别动态组装批次新请求可立即插入无“等待凑batch”延迟。核心参数表参数默认值作用调优建议max_num_seqs256同时处理的最大序列数显存受限时降低批处理越少延迟越低但吞吐下降max_model_len模型上下文长度单序列最长token数务必与模型max_position_embeddings一致过大浪费显存gpu_memory_utilization0.9GPU显存预分配比例切勿设为1.0需为KV缓存波动预留空间推荐0.85-0.92enforce_eagerFalse禁用CUDA Graph调试时开启生产环境False以获得更高吞吐quantizationNone量化方法awq,squeezellm等AWQ可降低显存30-50%且精度损失极小tensor_parallel_size1张量并行数单卡装不下模型时用需等于GPU数量典型启动命令python-mvllm.entrypoints.openai.api_server\--modelmeta-llama/Llama-3.1-70B-Instruct\--tensor-parallel-size8\--gpu-memory-utilization0.90\--max-num-seqs128\--max-model-len8192\--quantizationawq上述配置适合8卡A100 80GB跑70B模型max_num_seqs设为128可在并发与延迟间取得平衡。若显存OOM优先降低gpu_memory_utilization而非直接减少max_num_seqs——因为后者可能引起排队前者只是减少预分配缓存vLLM会动态调整。3. TensorRT-LLM核心参数剖析TensorRT-LLM通过构建期优化与运行时In-flight Batching分离将推理延迟压至极低。它先对模型进行图编译生成TRT引擎再加载引擎运行因此分为构建参数与运行时参数两层。关键机制In-flight Batching将请求拆分为context阶段填充和generation阶段分别用不同kernel执行并允许正在进行generation的请求与新来的context请求交织执行最大化计算单元利用率。量化与融合原生支持FP8、INT4 AWQ、SmoothQuant等量化结合MHA融合、LayerNorm融合等图优化延迟可再降20-40%。构建阶段关键参数Truss Builder参数说明调优建议max_batch_size最大批处理大小需与max_num_tokens协同过大导致构建显存爆炸max_num_tokens最大并发token总数一般设为max_batch_size × max_input_len的70%左右max_beam_widthBeam Search宽度非搜索场景设为1否则显存翻倍kv_cache_configKV缓存配置max_tokens,free_gpu_memory_fraction等free_gpu_memory_fraction留0.10给动态分配quantization量化模式fp8,int4_awq,int8_sq等FP8需H100/H200INT4 AWQ适用多数场景运行时示例fromtensorrt_llm.runtimeimportModelRunner runnerModelRunner.from_dir(engine_dir./trt_llm_engine,max_batch_size64,max_input_len2048,max_output_len512,kv_cache_free_gpu_memory_fraction0.85)常见踩坑max_batch_size与max_num_tokens必须匹配若max_num_tokens设为8192max_batch_size64则平均每请求只能分到128 tokens可能不够生成引擎构建会报错。引擎文件与运行时max_beam_width、kv_cache_config必须严格一致否则运行时静默降级或崩溃。4. 对比分析与配置实战特性对比表维度vLLMTensorRT-LLM核心技术PagedAttention Continuous BatchingIn-flight Batching 图优化吞吐量高并发★★★★★★★★★☆延迟短输出★★★☆☆★★★★★显存效率极高PagedAttention几乎消除碎片高需预留构建参数空间易用性极简pip install即用兼容HuggingFace较重需先构建引擎量化支持AWQ, GPTQ, SqueezeLLMFP8, INT4 AWQ, INT8 SmoothQuant, INT4 GPTQ硬件要求NVIDIA Ampere及以上推荐HopperNVIDIA Ampere及以上H100优势明显多GPU并行TP/PP简单开箱即用TP/PP完善可通过配置文件精细控制生态集成原生OpenAI API Server广泛用于生产NVIDIA官方支持适合极致压榨性能配置实践两个典型场景场景1高并发聊天API重视吞吐、可容忍P99延迟略高推荐vLLM参考配置python-mvllm.entrypoints.openai.api_server\--modelmistralai/Mixtral-8x7B-Instruct-v0.1\--tensor-parallel-size2\--gpu-memory-utilization0.88\--max-num-seqs256\--max-model-len32768\--quantizationawq场景2语音助手端侧服务严格延迟要求P992s推荐TensorRT-LLM构建引擎trtllm-build\--checkpoint_dir./ckpt\--output_dir./engine\--gemm_pluginbfloat16\--gpt_attention_pluginbfloat16\--max_batch_size32\--max_input_len512\--max_output_len128\--max_num_tokens16384\--context_fmhaenable运行时通过ModelRunner严格控制batch和延迟。避坑精要vLLM的–gpu-memory-utilization不要与TRT-LLM的free_gpu_memory_fraction直接换算前者是总显存预分配比例后者是留给KV缓存之外的自由空间比例。显存OOM时不要无脑降max_num_seqs或max_batch_size先检查模型加载后的“无用”显存占用如torch缓存适当减小显存预分配比例往往能解决。混合并行TPPP在vLLM中直接用–pipeline-parallel-size指定在TRT-LLM中需在构建时配置并映射到MPI进程坑位较多。vLLM以极低的接入成本赢得了社区和初创公司的青睐TensorRT-LLM则凭借NVIDIA底层优化在延迟敏感场景难以撼动。两者并非替代关系而是不同SLA下的最优解。建议从业者基于自身模型、硬件与并发要求用本文参数作为起点进行至少三轮ablation实验。MLPerf数据源自NVIDIA官方博客及MLCommons公开结果vLLM参数版本基于v0.6.3TensorRT-LLM基于0.14.0实际使用请查阅最新文档。