Faster-Whisper 本地语音识别部署与推理加速完整指南5分钟跑通第一条转录【免费下载链接】faster-whisperFaster Whisper transcription with CTranslate2项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper云端 ASR 按量计费音频还得先送出内网本地跑原版 Whisper13 分钟音频要 2 分 23 秒。Faster-Whisper 用 CTranslate2 重写推理精度不变速度最高 4 倍、显存不到一半本地语音识别部署 5 分钟出结果。快速上手5分钟安装并跑出第一条转录一条命令安装pip install faster-whisper要求 Python 3.9。与原版 Whisper 不同它不需要系统预装 FFmpeg——音频解码由 PyAV 库完成解码器随依赖一起装好少一步环境排错。最小可运行示例from faster_whisper import WhisperModel # GPU 上用 float16CPU 上改为 devicecpu, compute_typeint8 model WhisperModel(large-v3, devicecuda, compute_typefloat16) segments, info model.transcribe(audio.mp3, beam_size5) for segment in segments: print([%.2fs - %.2fs] %s % (segment.start, segment.end, segment.text))WhisperModel按模型名自动下载并加载对应的 CTranslate2 权重compute_type决定精度与速度档位下面调优部分展开讲。预期输出Detected language zh with probability 0.98 [0.00s - 5.12s] 大家好欢迎收听这一期节目。 [5.12s - 10.80s] 今天我们来聊聊本地部署语音识别。注意一个容易踩的点transcribe()返回的segments是生成器不调用迭代for循环或list()就不会真正开始转录。语言检测结果在info.language和info.language_probability里。性能佐证13 分钟音频的 GPU 实测对比以下数据来自项目 README 的基准测试同一句 13 分钟音频large-v2 模型beam_size5GPU 为 RTX 3070 Ti 8GBCUDA 12.4。实现精度耗时显存占用openai/whisperfp162m23s4708MBwhisper.cppFlash Attentionfp161m05s4127MBtransformersSDPAfp161m52s4960MBfaster-whisperfp161m03s4525MBfaster-whisperbatch_size8fp1617s6090MBfaster-whisperint859s2926MBfaster-whisperbatch_size8int816s4500MB两个结论可以直接用int8 量化比 fp16 再快约 1 倍、显存从 4525MB 降到 2926MB开批量推理后总耗时压到 16 秒代价是显存回到 4.5GB 左右。CPU 侧同样成立i7-12700K 8 线程、small 模型下原版 Whisper 6 分 58 秒faster-whisper int8 1 分 42 秒1477MBbatch_size8 时 51 秒。进阶调优一GPU 批量推理与 VAD 静音过滤批量推理显存够就开13 分钟音频 17 秒跑完批量推理把多个 30 秒音频片段并行送进解码器用显存换速度。它是WhisperModel.transcribe的直接替换from faster_whisper import WhisperModel, BatchedInferencePipeline model WhisperModel(turbo, devicecuda, compute_typefloat16) batched_model BatchedInferencePipeline(modelmodel) segments, info batched_model.transcribe(audio.mp3, batch_size16)收益数据fp16 下从 1m03s 到 17sint8 下到 16s。batch_size越大越快直到显存上限8GB 卡从 8 往上加前先留足余量。批量模式下 VAD 默认开启静音片段自动跳过。VAD 静音过滤与词级时间戳长音频和字幕场景的标配VADVoice Activity Detection语音活动检测先用 Silero 模型标出有声区间静音部分不进模型。当前版本vad_filter默认为 True默认只剔除超过 2 秒的静音偏保守segments, _ model.transcribe(audio.mp3, vad_filterTrue, vad_parametersdict(min_silence_duration_ms500))min_silence_duration_ms500更激进适合大量留白的播客、录音访谈省算力直接体现在耗时上。需要逐字时间戳时加word_timestampsTrue每个segment.words里带词起止时间——这是生成卡拉 OK 式字幕或做关键词高亮的唯一途径代价是额外计算批量任务里按需开启。进阶调优二量化精度与 beam_size 怎么选量化按显存余量选 compute_type显存充裕16GBfloat16精度损失可忽略。8GB 卡想跑 large-v3int8_float16GPU 端 int8 权重的标准写法。纯 CPUint8内存从 fp32 的 2257MB 降到 1477MB速度约为原版 Whisper 的 4 倍。一句话原则显存每剩 1GB 就优先换 int8 档位速度还会跟着再快一些基准里 int8 与 fp16 的差距在 4 秒到 4 秒之间。beam_size 与 temperature精度换速度的旋钮beam_size默认 5即每步保留 5 个候选序列取最优。调大如 10准确率略升耗时同步增加CPU 上资源紧张时降到 1-3速度收益明显日常转录损失有限。temperature默认 0输出确定可复现想降低长音频上的重复循环可小幅提高到 0.2 并配合condition_on_previous_textFalse但复现性会下降生产环境建议保持 0。代码入口读懂推理流程的四个模块核心代码集中在 faster_whisper/ 目录四个文件值得按顺序读transcribe.py 里WhisperModel和BatchedInferencePipeline承载了全部转录参数30 项签名即文档audio.py 实现基于 PyAV 的解码解释了为何不依赖系统 FFmpegvad.py 封装 Silero VADONNX 模型随包内 assets/ 目录分发feature_extractor.py 负责 30 秒分块与 16kHz log-mel 特征。想调参数或看批处理调度逻辑从 transcribe.py 进即可。场景与选型字幕、会议、离线翻译怎么用字幕自动化批量推理 word_timestampsTrue组成字幕流水线。13 分钟视频 17 秒出词级时间戳转写后直接导出 SRT多语言视频靠自动语言检测省掉手工配置。企业会议记录部署在内网服务器上录音不出本地这是相对云端 API 的核心价值。info.language给出语种与置信度词级时间戳用于定位某句发言的精确时刻便于按人、按话题检索。离线翻译transcribe()的tasktranslate参数把任意语种音频直接转成英文文本适合涉外文档的离线批处理整条链路无需外网。什么情况下不建议用它需要毫秒级实时流式输出这是离线分块式模型逐字上屏的实时场景应选 Whisper-Streaming 类方案。只有 CPU 又要求大模型精度int8 small/medium 是 CPU 上精度与速度的折中极限精度需求建议云端大模型或 GPU。只是小规模、临时性的转写直接调用现成 ASR 云 API 的接入成本可能低于本地部署的维护成本。避坑指南五个高频问题三行式排查1. GPU 加载报错提示 cuBLAS / cuDNN 缺失或版本不符现象import ctranslate2 或初始化 CUDA 时报库缺失、版本不匹配错误。 原因最新 ctranslate2 仅支持 CUDA 12 cuDNN 9CUDA 11 旧环境不兼容。 解决安装 CUDA 12 版 cuBLAS/cuDNN 9或 CUDA 11 环境执行pip install --force-reinstall ctranslate23.24.0降级。2. 调用 transcribe() 后立刻退出没有任何输出现象代码跑完耗时约等于 0segments看起来是空的。 原因segments是生成器不迭代就不触发转录。 解决segments list(segments)或放进for循环后再使用。3. 长音频转得慢内存持续上涨现象小时级录音耗时远超预期内存或显存越跑越高。 原因静音段未过滤、模型档位偏大、未量化。 解决int8 量化 VAD 过滤 按需降到 medium/small或分段处理超长音频。4. 自动检测语种错误现象开头转成别的语言或整段语言判断置信度低。 原因语言检测只依据音频前 30 秒片段质量差时会被误导。 解决显式传languagezh等参数常用专有名词可用initial_prompt或hotwords给模型提示。5. CPU 实测明显慢于基准现象同硬件同模型自己跑的时间比 README 长一倍以上。 原因线程数未对齐多数框架读取OMP_NUM_THREADS环境变量。 解决以OMP_NUM_THREADS8 python3 my_script.py方式运行与基准条件8 线程对齐后再比较。写在最后Faster-Whisper 把 Whisper 的推理成本压到本地硬件可接受的范围GPU 上 16 秒转完 13 分钟音频CPU 上 int8 跑出 4 倍于原版的效率隐私敏感和离线场景都有了工程上说得通的答案。需要再往前走一步时社区已有现成轮子——WhisperX 补说话人分离与对齐speaches 提供 OpenAI 兼容的部署服务Whisper-Streaming 负责近实时场景按需求取用即可。【免费下载链接】faster-whisperFaster Whisper transcription with CTranslate2项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考