LTX-2 管线选型指南从快速决策树到 12 条推理管线的能力对比与实战选型【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2导读本文是 LTX-2 官方推理包ltx-pipelines的管线选型权威指南。它以 Pipeline Selection Guide 为核心骨架完整继承其快速决策树与功能对比表并结合仓库源码distilled.py、retake.py、a2vid_two_stage.py、constants.py、args.py等逐条解析每条管线的阶段结构、条件控制方式与适用场景。读完本文你将掌握面对一个具体生成/编辑需求时如何在 12 条管线中选出最合适的那一条以及每条管线的底层工作方式与关键 CLI 参数。一、快速决策树按需求一步步收敛到正确管线ltx-pipelines共提供 12 条推理管线。官方文档给出了一条从需求出发的决策树按是否有现成素材 → 是否用音频驱动 → 是否需要 HDR → 是否需要图像/视频条件控制 → 纯文生视频的次序逐层筛选Do you have an existing video to modify? ├─ YES → Use RetakePipeline (regenerate a specific time region) │ Do you have an audio file to drive generation? ├─ YES → Use A2VidPipelineTwoStage (audio-to-video) │ Do you need HDR / EXR I/O? ├─ YES → Do you have EXR stills or EXR-frame folders for a standard pipeline? │ ├─ YES → Use Distilled / TI2V / Retake / IC-LoRA with --hdr {SRGB_LINEAR,ACESCG,ACESCCT} │ │ (see HDR Support; EXR BT.2020/HLG output) │ └─ NO → Use HDRICLoraPipeline (video-to-video with HDR IC-LoRA / LogC3 decode) │ Do you need to condition on existing images/videos? ├─ YES → Do you have reference videos for video-to-video? │ ├─ YES → Use ICLoraPipeline │ └─ NO → Do you have multiple keyframe images to interpolate? │ ├─ YES → Use KeyframeInterpolationPipeline │ └─ NO → Use TI2VidTwoStagesPipeline (image conditioning only) │ └─ NO → Text-to-video only ├─ Do you need best quality? │ └─ YES → Use TI2VidTwoStagesPipeline (highest quality, guided two-stage) │ ├─ Do you need maximum detail, or a higher frame rate than the base model? │ └─ YES → Use DFRPipeline (detailing pass optional temporal 2x/4x) │ └─ Do you need fastest inference? └─ YES → Use DistilledPipeline (recommended; 8 predefined sigmas)决策树的核心逻辑可以概括为四个优先问题要改一段已有视频的特定时间段→RetakePipeline单阶段保留窗口外内容用一段音频驱动生成→A2VidPipelineTwoStage两阶段音频到视频需要 HDR / EXR 输入输出→ 有 EXR 底片走原生--hdr否则走HDRICLoraPipeline需要图像/视频条件控制→ 有参考视频用ICLoraPipeline有多关键帧插值用KeyframeInterpolationPipeline仅图像条件用TI2VidTwoStagesPipeline。注意决策树中TI2VidOneStagePipeline主要用于教学目的。追求最佳质量时请使用两阶段管线TI2VidTwoStagesPipeline、TI2VidTwoStagesHQPipeline、ICLoraPipeline、KeyframeInterpolationPipeline、A2VidPipelineTwoStage或DistilledPipeline编辑已有视频请使用RetakePipeline。该约束在官方文档中作为显式警告给出选型时不要用单阶段教学管线替代生产管线。二、功能对比总表12 条管线的能力矩阵官方文档提供了一张核心对比表覆盖阶段数Stages、多模态引导Multimodal Guidance、上采样Upsampling、条件控制Conditioning与最佳适用场景五个维度PipelineStagesMultimodal GuidanceUpsamplingConditioningBest ForDistilledPipeline2❌✅ImageRecommended; fastest inference (8 sigmas)DFRPipeline2 ( optional temporal rounds)❌✅ spatial optional temporal 2xImage generated keyframesMaximum detail fidelity, higher effective frame rateTI2VidTwoStagesPipeline2✅✅ImageProduction qualityTI2VidTwoStagesHQPipeline2✅✅ImageSame as above, res_2s sampler (higher quality)TI2VidOneStagePipeline1✅❌ImageEducational, prototypingICLoraPipeline2✅✅Image VideoVideo-to-video transformationsKeyframeInterpolationPipeline2✅✅KeyframesAnimation, interpolationA2VidPipelineTwoStage2✅✅Audio ImageAudio-driven video generationRetakePipeline1✅❌Source VideoRegenerating a time region of a videoHDRICLoraPipeline2❌✅VideoHDR IC-LoRA video-to-video (linear float / EXR); see also native--hdrDubItPipeline2✅✅Video AudioDub-It with audio ref conditioningT2AOneStagePipeline1Audio only❌None (text)Text-to-audio (audio-only output, no video)从表中可以提炼出三个快速判断维度Stages2 且带 Upsampling ✅的管线是完整质量路线先低分辨率生成、再 2x 上采样细化Multimodal Guidance ✅意味着该管线在去噪过程中使用 CFG/STG/模态引导蒸馏管线除外见下文Conditioning 列直接决定你能否把图像、视频、音频、关键帧作为输入。每条管线的完整参考实现与参数说明见 Available Pipelines。下文按决策树的分支逐条深入。三、文生视频三条主线怎么选3.1 DistilledPipeline官方推荐的默认最快路径适用需要最快推理速度、批处理大量视频或你持有蒸馏模型权重。架构两阶段生成使用蒸馏模型 预定义的 8 个 sigma 调度8 步 stage 1 4 步 stage 2全程无需 CFG 引导。它是全部管线中推理最快的支持图像条件控制并要求空间上采样器spatial upsampler。源码中 sigma 调度定义在 constants.py# 蒸馏管线第一阶段噪声调度8 个非零 sigma 终点 0.0 DISTILLED_SIGMA_VALUES [1.0, 0.99375, 0.9875, 0.98125, 0.975, 0.909375, 0.725, 0.421875, 0.0] # 第二阶段超分细化用的缩减调度 STAGE_2_DISTILLED_SIGMA_VALUES [0.909375, 0.725, 0.421875, 0.0]这些 sigma 值经过与蒸馏过程对齐的调优直接控制每个去噪步的噪声水平。从 distilled.py 的实现可以看出两个阶段的明确分工Stage 1在width // 2, height // 2的半分辨率下生成视频使用SimpleDenoiser无引导。LTX-2.5 及以后的 checkpoint 会改用祖先SDEEuler 采样器eta1.0, s_noise1.0并给噪声生成器加10000的种子偏移以避免与初始潜变量噪声逐位相同Stage 2用VideoUpsampler在潜空间 2x 上采样再以 3 步确定性调度STAGE_2_DISTILLED_SIGMAS细化视频与音频都以上一步潜变量为initial_latent。CLI 运行示例以 LTX-2.5 分体式目录结构为例来自 hdr.md 的蒸馏 I2V 示例并适配 SDRuv run python -m ltx_pipelines.distilled \ --transformer-path models/ltx-2.5/diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors \ --text-encoder-path models/ltx-2.5/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors \ --video-vae-path models/ltx-2.5/vae/ltx-2.5-video-vae-bf16.safetensors \ --audio-vae-path models/ltx-2.5/vae/ltx-2.5-audio-vae-bf16.safetensors \ --spatial-upsampler-path models/ltx-2.5/latent_upscale_models/ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors \ --num-frames 121 \ --prompt Rain starts falling on the cow in the pasture \ --image path/to/image.png 0 1.0 \ --output-path output/cow_rain.mp4关键 CLI 参数定义于 args.py--distilled-checkpoint-path单体或--transformer-path分体蒸馏模型权重--num-frames帧数必须满足num_frames 8 * k 1如 121、97、193从 LTX-2.5gemma4起也可省略以通过 DurationHead 从字幕自动预测时长或用--auto-duration MIN_SECONDS MAX_SECONDS控制预测范围--image PATH FRAME_IDX STRENGTH [CRF]图像条件CRF 省略时按 checkpoint 型号自动匹配2.3/2.4 为 332.4 为 18见 constants.py--num-generated-keyframes N额外生成关键帧数量默认 0需 checkpoint 支持use_keyframes_abs_pos_embedding--quantization {fp8-cast,fp8-scaled-mm,nvfp4-cast,nvfp4-prequant}、--offload {none,cpu,disk}、--compile KEYVALUE显存与速度优化开关。为何蒸馏管线不需要引导蒸馏 sigma 调度本身已经记住了引导效果因此全程使用SimpleDenoiser。这也解释了对比表中 DistilledPipeline 的 Multimodal Guidance 为 ❌。3.2 TI2VidTwoStagesPipeline / HQ生产级质量的两阶段路线适用追求生产级画质、需要更高分辨率、质量优先于速度以及带图像条件的文生视频。两阶段架构Stage 1 生成带多模态引导的低分辨率视频Stage 2 以蒸馏 LoRA 做 2x 上采样细化。支持图像条件控制是全部管线中输出质量最高的路线速度慢于单阶段但质量显著更好。HQ 变体TI2VidTwoStagesHQPipeline在同样的两阶段结构上改用res_2s 二阶采样器替代 Euler通常可以用更少的步数达到相当质量。两个变体的引导参数默认值定义在 constants.py2.0/2.3 默认videocfg_scale3.0、stg_scale1.0、stg_blocks[29]audiocfg_scale7.02.3 HQ 预设num_inference_steps15、stg_scale0.0关闭 STG、videorescale_scale0.45、audiorescale_scale1.0。多模态引导的三个信号详见 multimodal-guidance.mdCFG文本引导计算(cond - uncond_text)将生成拉向文本提示cfg_scale越高提示遵循越强1.0表示关闭STG时空引导扰动指定 transformer 块如最后一块[29]并远离扰动预测改善时间连贯性0.0关闭Modality CFG模态引导把生成从音视频不同步的结果中推离改善视听一致性视频带音频时建议1.0如3.0。调参建议官方文档从 constants.py 的默认值出发按需调整——更高cfg_scale 更强提示遵循但运动可能不自然更高stg_scale 更好时间连贯性但推理更慢需要额外前向传播。相关 CLI 参数为--video-cfg-guidance-scale、--video-stg-guidance-scale、--video-stg-blocks、--video-rescale-scale、--a2v-guidance-scale、--video-skip-step及对应的--audio-*系列。3.3 TI2VidOneStagePipeline仅用于教学与原型验证警告官方明确标注此管线主要用于教育目的。单阶段生成无上采样支持多模态引导与图像条件推理更快但分辨率低典型 512×768。仅适合学习管线工作原理、快速原型验证、测试或对高分辨率无要求的场景。生产请务必回到两阶段管线。3.4 DFRPipeline最大细节保真与更高有效帧率适用细节保真优先于墙钟时间或需要高于基础模型的有效帧率。DFRDiffusion Fidelity Rendering扩散保真渲染的流程见 pipelines.mdStage 1在半分辨率下同时生成视频与生成关键帧槽位槽位放在 8 帧边界的分段网格上半分辨率结果保留为参考视频与关键帧在潜空间上采样Stage 2在满分辨率下用蒸馏 LoRA 可选 2x 空间细化 IC-LoRA 重新去噪以 Stage 1 参考为条件。音频来自 Stage 1Stage 2 仍跑音频通道是因为视频分支需要跨模态注意力但音频不再细化。时间细化可选--temporal-upsample-rounds {0,1,2}每轮把帧率翻倍——画布时间上采样后切成2**round个共享关键帧的 tile补入新的段间槽位用祖先 Euler 加密。无论内部需要多少 padding最终总是得到(num_frames - 1) * 2**rounds 1帧。CLI 示例来自官方文档uv run python -m ltx_pipelines.dfr_pipeline \ --checkpoint-path models/ltx-2.5/diffusion_models/ltx-2.5-22b-dev-transformer-bf16.safetensors \ --distilled-lora models/ltx-2.5/loras/ltx-2.5-22b-distilled-lora-450-bf16.safetensors \ --spatial-upsampler-path models/ltx-2.5/latent_upscale_models/ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors \ --temporal-upsampler-path models/ltx-2.5/latent_upscale_models/ltx-2.5-latent-temporal-upscaler-x2-bf16-1.0.safetensors \ --temporal-upsample-rounds 1 \ --num-frames 121 --output-path output.mp4 --prompt ...注意DFR 需要支持生成关键帧槽位的 checkpointLTX-2.5 及以后 蒸馏 LoRA与其它关键帧管线不同它不接受--num-generated-keyframes——槽位位置由自身的分段网格推导。四、条件控制分支图像、视频、关键帧与音频4.1 ICLoraPipeline视频到视频变换适用视频到视频变换、图像到视频的强控制或手头有参考视频需要引导生成。两阶段生成 IC-LoRA 支持可对参考视频视频到视频或特定帧图像做条件控制Stage 1 使用 CFG 引导Stage 2 上采样。注意ICLoraPipeline 只能配合蒸馏模型使用同见 pipelines.md。视频条件控制使用VideoConditionByKeyframeIndex来自ltx-core区别于图像条件它是对整段参考视频的条件化详见 conditioning.md。4.2 KeyframeInterpolationPipeline关键帧插值适用有关键帧图像并希望在它们之间插值生成平滑过渡或动画/运动插值任务。两阶段生成使用引导潜变量additive conditioning而非替换潜变量以获得更平滑的过渡。Stage 1 带多模态引导Stage 2 上采样。4.3 图像条件的两种底层机制无论哪条管线图像条件都有两种注入方式见 conditioning.md 与 helpers.py替换潜变量image_conditionings_by_replacing_latent用编码后的图像替换特定帧的潜变量对特定帧控制强引导潜变量image_conditionings_by_adding_guiding_latent把图像作为引导信号加入而非替换更适合关键帧间的平滑插值。4.4 A2VidPipelineTwoStage音频驱动的视频生成适用有一段音频并想生成匹配的视频、音频反应式视频生成或音乐可视化。两阶段音频到视频Stage 1 在半分辨率生成视频仅视频去噪音频冻结Stage 2 2x 上采样并细化视频音频保持固定使用蒸馏 LoRA。从 a2vid_two_stage.py 的源码可以看出一个实现细节它构造了两个独立的DiffusionStage——Stage 2 会把蒸馏 LoRA 与其它 LoRA 合并stage_2_loras (*tuple(loras), *tuple(distilled_lora))这是它与 DistilledPipeline 共用一个 stage 的最大区别。输入音频经音频 VAE 编码为初始音频潜变量但原始音频波形会直接透传到输出以保真。支持图像条件与提示词增强。额外 CLI 参数--audio-path必填、--audio-start-time、--audio-max-duration。4.5 T2AOneStagePipeline纯文本到音频适用仅从文本提示生成语音/音频无视频例如驱动口音等音频风格 LoRA。单阶段、仅音频生成视频分支不存在videoNone只对音频模态去噪并经音频 VAE vocoder 解码输出 wave 文件。音频时长由--num-frames/--frame-rate推导沿用视频的8k1帧约定。音频引导CFG/STG可选--audio-*系列默认取模型值由于没有视频模态视频→音频的跨模态引导被禁用。额外 CLI 参数全部可选且有默认值--num-frames、--frame-rate、--negative-prompt、--audio-cfg-guidance-scale、--audio-stg-guidance-scale、--audio-stg-blocks、--audio-rescale-scale、--audio-skip-step。无--height/--width/--image音频没有空间维度。五、编辑分支RetakePipeline 与 DubItPipeline5.1 RetakePipeline重做视频的指定时间段适用想重做生成视频的某一段如修复坏片段、在时间窗内有选择地重建音频或视频、或只迭代部分结果而不重新生成整段。架构见 retake.py将源视频与音频编码为潜变量应用时间区域掩码TemporalRegionMask来自ltx-core的noise_mask_cond标记[start_time, end_time]区间只对掩码区域内从文本提示去噪窗口外内容原样保留。关键设计点源码可见regenerate_video/regenerate_audio标志可独立控制视频与音频是否重建不重建的模态通过frozenTrue冻结视频冻结时甚至不挂掩码条件retake.py两种模型模式蒸馏模式固定 8 步 sigma 调度 SimpleDenoiser或完整模型模式CFG 引导 MultiModalGuidernum_inference_steps默认 40参数校验在 CLI 阶段即完成start_time end_time直接报错(frames - 1) % 8 ! 0或宽高非 32 倍数均拒绝retake.py。额外 CLI 参数--video-path必填、--start-time必填、--end-time必填。约束源视频帧数必须满足8k1格式如 97、193分辨率必须是 32 的倍数。5.2 DubItPipeline同人声身份的配音与重述适用配音dub——在保持同一说话人身份、嘴型匹配新音频的前提下重述内容。在蒸馏checkpoint 上使用 IC-LoRA且同一个 Dub-It IC-LoRA 在两个阶段都施加。参考片段提供视频与音频参考 token其 VAE 潜变量作为冻结参考 token追加到目标音频序列上。帧数与帧率由参考视频推导帧数静默就近吸附到8k1因此 CLI不接受--num-frames或--frame-rate。必填--reference-video可选--reference-strength。注意需要蒸馏模型 checkpoint且--lora恰好指定一次 Dub-It IC-LoRA。六、HDR 分支原生--hdr与 HDRICLoraPipeline6.1 原生--hdr标准管线的 EXR 一等公民支持当持有 EXR 底片或 EXR 帧序列时标准生成/编辑管线Distilled / TI2V / Retake / IC-LoRA可直接通过--hdr {SRGB_LINEAR,ACESCG,ACESCCT}消费它们详见 hdr.md。颜色空间枚举定义在 color_config.py值源含义加载行为SRGB_LINEAR场景线性 Rec.709 / sRGB 标记 EXR压缩为 ACEScct 供 VAE 使用ACESCG场景线性 ACEScg EXR压缩为 ACEScct 供 VAE 使用ACESCCT已是 ACEScct 对数码直通加载时不做传输变换省略--hdr即 SDR普通图像/视频输入与 H.264 输出。HDR 模式下的输出包括半浮点 EXR 帧序列输出名_exr/frame_XXXXX.exr按所选颜色空间标记与10-bit BT.2020/HLG HEVC 母版libx265。HDR 的 VAE 解码以float32运行SDR 为 bf16。关键 CLI 约束在 args.py 的媒体路径校验中强制实施任何 EXR 单帧或文件夹都必须带--hdr一次运行的所有--image/--video-conditioning必须全 EXR 或全 SDR禁止混用Retake 的 EXR 文件夹必须带--frame-rateEXR 目录无容器 fps视频文件则禁止带--frame-rateDubIt 无--hdr参考必须是 SDR 视频文件fps 与音频身份来自容器EXR 一律拒绝。Retake 从 EXR 序列重做的完整示例uv run python -m ltx_pipelines.retake \ --transformer-path models/ltx-2.5/diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors \ --text-encoder-path models/ltx-2.5/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors \ --video-vae-path models/ltx-2.5/vae/ltx-2.5-video-vae-bf16.safetensors \ --audio-vae-path models/ltx-2.5/vae/ltx-2.5-audio-vae-bf16.safetensors \ --video-path path/to/source_exr_frames/ \ --frame-rate 24 \ --start-time 0.67 --end-time 5.0 \ --prompt The cow morphs into a moose \ --hdr SRGB_LINEAR \ --output-path output/retake.mp46.2 HDRICLoraPipeline离线色调映射的线性 HDR 输出路径适用需要为 EXR 导出、调色或自定义色调映射工作流输出线性 HDR float的视频到视频生成。在蒸馏模型上做两阶段视频到视频 HDR IC-LoRA解码后的潜变量经HDR 逆变换ARRI LogC3得到线性 HDR float 张量[f, h, w, c]。仅视频跳过音频文本嵌入在外部预计算后从.safetensors加载色调映射与 EXR 保存由调用方负责。额外 CLI 参数--inputmp4 或目录必填、--output-dir必填、--hdr-lora必填、--text-embeddings预计算.safetensors必填、--num-frames、--spatial-tileVAE 分块解码 tile 尺寸低显存 GPU 减小、--skip-mp4仅 EXR无 H.264 预览、--exr-halffloat16 EXR、--high-quality内部生成 2x 帧使输出更平滑约慢 2 倍、--offload {none,cpu,disk}非none时禁用 FP8 量化。两条 HDR 路线如何选官方建议已有 EXR 底片、想要一等公民的 EXRHLG 输入输出且不想引入 HDR IC-LoRA 时优先用--hdr 蒸馏 / retake / TI2V需要线性 HDR float 做离线调色工作流时才走 HDRICLoraPipeline。七、决策要点与常见误区教学管线不是慢速的捷径TI2VidOneStagePipeline输出分辨率低且无上采样生产勿用蒸馏管线与引导互斥Distilled、DFR、HDRICLora 等蒸馏系管线用SimpleDenoiser不需要也不接受 CFG/STG需要引导控制如更强的提示遵循、STG 时间连贯性时选非蒸馏两阶段管线IC-LoRA 系列只能在蒸馏模型上使用ICLora、DubIt、HDRICLora帧数与分辨率的硬约束生成管线要求num_frames 8k 1Retake 源视频要求8k1帧 32 倍数分辨率且start_time end_timeEXR 与 SDR 不可混用EXR 输入必带--hdr先查对比表再读细节功能矩阵第二节解决这条管线支持什么各管线的源码与 CLI 参数解决怎么把它跑起来。八、延伸阅读Available Pipelines每条管线的完整参考HDR Support原生--hdr颜色空间与 EXR/HLG I/OMultimodal GuidanceCFG / STG / Modality 引导参数详解Conditioning Types图像 / 视频 / 生成关键帧槽位条件控制源码入口distilled.py、retake.py、a2vid_two_stage.py、args.py、constants.py【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考