人工智能语音音频基础模型【免费下载链接】whisperRobust Speech Recognition via Large-Scale Weak Supervision项目地址https://gitcode.com/GitHub_Trending/whisp/whisper点击查看免费下载Whisper仓库路径whisper/项目名为openai-whisper是一个通用的语音识别模型通过在大规模多样化音频数据集上进行弱监督训练可同时完成多语言语音识别、语音翻译与语种识别等任务。本文以仓库根目录 README.md 为主线结合 源码 与 测试用例 对模型原理、环境搭建、模型选型、命令行与 Python 用法进行系统性解读读者将掌握 Whisper 从安装到部署的完整实战方案。一、模型定位与核心设计思想Whisper 是一个通用语音识别general-purpose speech recognition模型它在大规模、多样化音频数据上训练同时也是一个多任务multitasking模型能够执行多语言语音识别、语音翻译和语种识别三类任务。其官方定位与技术路线即项目描述 Robust Speech Recognition via Large-Scale Weak Supervision——通过大规模弱监督信号获得稳健的语音识别能力。从 model.py 的源码结构看模型本体是一个标准的Transformer sequence-to-sequence 架构包含两个核心组件AudioEncoder音频编码器将梅尔频谱特征编码为音频表征TextDecoder文本解码器基于编码后的音频特征自回归地生成文本 token 序列。该架构的典型特征如下依据 model.py组件实现要点音频输入16 kHz 单声道波形 → 对数梅尔频谱log-Mel spectrogram80 或 128 个 mel 通道编码器前端两层一维卷积Conv1d第二层 stride2 做时间下采样配合 GELU 激活位置编码音频侧使用正弦位置编码sinusoids文本侧使用可学习位置编码解码器带因果掩码的自注意力 交叉注意力cross-attention MLP自回归逐 token 生成输出层词嵌入权重共享的线性投影输出各 token 的 logits1.1 多任务统一为 token 序列一套模型替代传统多阶段流水线Whisper 的核心创新在于多任务训练格式multitask training format语音识别、语音翻译、口语语种识别、语音活动检测VAD等任务被统一表示为解码器需要预测的 token 序列从而让一个单一模型取代传统语音处理流水线中由多个独立组件串联的多个阶段。具体实现上解码器通过一组**特殊 tokenspecial tokens**充当“任务说明符”task specifiers或“分类目标”。以 tokenizer.py 中的sot_sequence构造逻辑为例一次转录的解码输入序列大致为|startoftranscript| |语言标签| |transcribe| ...文本 token... |时间戳 token| ...其中|startoftranscript|标志开始转录语言标签 token如|en|、|zh|指明语种|transcribe|或|translate|指明任务类型。Whisper 还将时间戳建模为从|0.00|起始的连续特殊 token步长 0.02 秒共 1501 个见 tokenizer.py解码器可在生成文本的同时预测各时间边界从而在单个序列中同时输出“说了什么”和“在什么时间说的”。该设计在工程层面带来的直接收益是无需显式级联“语音活动检测 → 分段 → 识别 → 对齐”等独立子系统一个模型即可完成端到端的多样任务。二、环境搭建与依赖安装官方使用 Python 3.9.9 与 PyTorch 1.10.1 训练与测试模型代码库预期兼容Python 3.8–3.11 及较新版本的 PyTorch。从 pyproject.toml 可以确认当前仓库声明的 Python 依赖上限实际上覆盖到 Python 3.13requires-python 3.8因此安装约束比文档所述更为宽松。2.1 安装 openai-whisper 包# 安装/升级到最新发布版本 pip install -U openai-whisper# 直接从仓库拉取并安装最新 commit 及其 Python 依赖 pip install githttps://github.com/openai/whisper.git# 更新到仓库最新版本不重复解析依赖、强制重装 pip install --upgrade --no-deps --force-reinstall githttps://github.com/openai/whisper.git由 pyproject.toml 可见核心运行时依赖包括torch模型前向计算与自动微分tiktokenOpenAI 快速 BPE 分词器实现本项目不依赖慢速tokenizers库而是直接使用预置的.tiktoken词表文件见 tokenizer.pynumpy、numba、more-itertools、tqdmtriton2在 Linux x86_64 平台上用于加速中值滤波见 timing.py缺少时自动回退到较慢的 PyTorch 实现。安装后pyproject.toml将whisper.transcribe:cli注册为名为whisper的命令行入口因此whisper命令可直接在终端使用。2.2 安装 ffmpeg 命令行工具Whisper 依赖系统级命令ffmpeg解码音频将任意格式音频转为 16 kHz 单声道 PCM见 audio.py 中通过 subprocess 调用ffmpeg -i file -f s16le -ac 1 -acodec pcm_s16le -ar 16000 -。各平台安装方式如下# Ubuntu / Debian sudo apt update sudo apt install ffmpeg # Arch Linux sudo pacman -S ffmpeg # macOS (Homebrew) brew install ffmpeg # Windows (Chocolatey) choco install ffmpeg # Windows (Scoop) scoop install ffmpeg2.3 Rust 与 tiktoken 构建问题排查如果tiktoken没有为你的平台提供预编译 wheel则需安装 Rust 开发环境并配置PATH如export PATH$HOME/.cargo/bin:$PATH。若安装报错No module named setuptools_rust执行pip install setuptools-rust提示先执行pip install -U openai-whisper再按需安装ffmpeg与rust可避免 90% 以上的环境问题。三、可用模型与语言支持Whisper 提供6 种模型规格其中 4 种附带纯英文版本在速度与准确率之间提供不同取舍规格参数量英文专用模型多语言模型所需显存相对速度tiny39 Mtiny.entiny~1 GB~10xbase74 Mbase.enbase~1 GB~7xsmall244 Msmall.ensmall~2 GB~4xmedium769 Mmedium.enmedium~5 GB~2xlarge1550 MN/Alarge~10 GB1xturbo809 MN/Aturbo~6 GB~8x表注相对速度以在 A100 上转写英语语音为基准测得实际速度受语种、语速和硬件影响会有明显差异。模型选择建议依据 README 原文及源码事实.en系列模型专为纯英文场景设计tiny.en与base.en相比同规格多语言模型表现更优small.en、medium.en的差异则不再显著turbo是large-v3的优化版本以极小的准确率损失换取约 8x 的转写速度是当前仓库中的默认模型见 transcribe.py 中--model的默认值turbo未针对翻译任务训练进行“非英语语音翻译成英语”时应改用多语言模型tiny、base、small、medium、large中的任意一个。3.1 模型权重下载与本地缓存机制在init.py 中_MODELS字典为每个官方模型名登记了权重文件的 SHA-256 校验和与下载地址。调用load_model()时若模型名在_MODELS中则下载权重到默认缓存目录~/.cache/whisper受环境变量XDG_CACHE_HOME影响见init.py下载前先校验本地文件 SHA-256匹配则复用本地缓存不匹配则重新下载见init.py也可以通过download_root参数或 CLI 的--model_dir指定自定义缓存目录还可直接传入本地 checkpoint 路径如whisper.load_model(/path/to/model.pt)。whisper.available_models()可列出全部官方模型名见init.py。注意large、large-v3以及turbo、large-v3-turbo分别共用相同的权重文件。3.2 支持的语言Whisper 的多语言模型支持 99 种语言num_languages默认为 99完整语言代码与名称对照表可在 tokenizer.py 的LANGUAGES字典中查看包括中文zh、日语ja、粤语yue等TO_LANGUAGE_CODE还提供若干语言别名映射如mandarin→zh、burmese→my、haitian→ht。四、命令行使用4.1 基本转写命令使用turbo模型默认转写一个或多个音频文件whisper audio.flac audio.mp3 audio.wav --model turbo默认设置对英语转写效果良好。可同时传入多个文件Whisper 会逐个处理若某文件处理失败CLI 会打印异常并跳过该文件继续处理后续文件见 transcribe.py。4.2 指定语言与非英语转写指定语言可以显著提升非英语转写准确率并节省语种检测时间whisper japanese.wav --language Japanese--language既接受语言代码ja也接受全称Japanese因为 transcribe.py 的 choices 同时包含LANGUAGES键与TO_LANGUAGE_CODE的标题化名称。4.3 语音翻译非英语 → 英语whisper japanese.wav --model medium --language Japanese --task translate重要注意即使指定--task translateturbo模型仍会返回原始语言文本翻译场景请使用medium或large以获得最佳效果。4.4 查看全部参数whisper --help4.5 完整参数速查表以下参数均来自 transcribe.py 中cli()的参数定义含默认值可供参考参数默认值说明audio必填待转写的音频文件路径可多个--modelturbo使用的模型名whisper.available_models()之一或本地 checkpoint 路径--model_dir~/.cache/whisper模型文件保存目录--deviceCUDA 可用则cuda否则cpuPyTorch 推理设备--output_dir/-o.输出文件保存目录--output_format/-fall输出格式txt/vtt/srt/tsv/json/jsonl/all--verboseTrue是否打印进度与调试信息--tasktranscribetranscribe语音识别或translate译成英语--languageNone自动检测音频语种指定可省去检测步骤--temperature0采样温度--best_of5温度非零时采样的候选数量--beam_size5温度为零时的 beam search 束宽--patienceNonebeam 解码的 patience 值参考 arXiv:2204.05424默认 1.0 等价于传统 beam search--length_penaltyNone长度惩罚系数 alpha参考 arXiv:1609.08144默认做简单长度归一化--suppress_tokens-1采样时抑制的 token id 列表-1抑制除常用标点外的特殊字符--initial_promptNone首窗口的提示文本可用于注入领域词汇、专有名词--carry_initial_promptFalse为 True 时initial_prompt会拼接到每次内部decode()的 prompt 前--condition_on_previous_textTrue为 True 时将前一段输出作为下一窗口的 prompt关闭可避免循环失败但窗口间文本可能不一致--fp16True是否使用 fp16 推理--temperature_increment_on_fallback0.2解码失败时逐步升高的温度增量--compression_ratio_threshold2.4gzip 压缩比超过该值视为解码失败过度重复--logprob_threshold-1.0平均对数概率低于该值视为解码失败--no_speech_threshold0.6\|nospeech\|token 概率高于该值且解码失败时视为静音段--word_timestampsFalse实验性提取词级时间戳并基于其修正结果--prepend_punctuation“¿([{ -word_timestamps 为真时这些标点并入下一个词--append_punctuation.。,!?:”)]}、word_timestamps 为真时这些标点并入前一个词--highlight_wordsFalse需要--word_timestamps True在 srt/vtt 中用下划线逐词高亮--max_line_widthNone字幕单行最大字符数超过则换行--max_line_countNone单个字幕块最大行数--max_words_per_lineNone单个字幕块最大词数与--max_line_width互斥--threads0CPU 推理使用的 torch 线程数覆盖 MKL/OMP 环境变量--clip_timestamps0逗号分隔的start,end,start,end,...片段秒最后一个 end 默认为文件结尾--hallucination_silence_thresholdNone需要--word_timestamps True检测到疑似幻觉时跳过超过该时长的静音关于温度回退temperature fallback机制CLI 默认--temperature 0当解码因compression_ratio_threshold、logprob_threshold判定失败时会按--temperature_increment_on_fallback默认 0.2逐步升高温度重试直到 1.0见 transcribe.py 与 transcribe.py 的decode_with_fallback。这一机制用于缓解长音频中的重复循环与时间戳失步问题。4.6 输出格式说明--output_format支持 6 种格式并可用all一次输出全部见 utils.py 的get_writertxt纯文本转写结果vttWebVTT 字幕小时可省略十进制小数点srtSRT 字幕始终含小时使用逗号作小数分隔符tsv制表符分隔的“开始毫秒 / 结束毫秒 / 文本”表格json完整结果 JSON含text、segments、languagejsonl每行一个 segment 的 JSON Lines。五、Python 使用5.1 基础转写 APIimport whisper model whisper.load_model(turbo) result model.transcribe(audio.mp3) print(result[text])transcribe()内部会读入整个音频文件并以30 秒滑动窗口切分处理在每个窗口上执行自回归的 sequence-to-sequence 预测最终返回包含text全文、segments分段信息与language检测到的语种的字典见 transcribe.py。5.2 低层 API语种检测与解码以下示例展示了whisper.detect_language()与whisper.decode()的低层用法便于理解预处理到解码的完整链路import whisper model whisper.load_model(turbo) # 加载音频并裁剪/填充到 30 秒 audio whisper.load_audio(audio.mp3) audio whisper.pad_or_trim(audio) # 计算 log-Mel 频谱并移动到与模型相同的设备 mel whisper.log_mel_spectrogram(audio, n_melsmodel.dims.n_mels).to(model.device) # 检测口语语种 _, probs model.detect_language(mel) print(fDetected language: {max(probs, keyprobs.get)}) # 解码音频 options whisper.DecodingOptions() result whisper.decode(model, mel, options) # 打印识别文本 print(result.text)5.3 关键步骤底层原理load_audio()调用ffmpeg将任意音频解码为 16 kHz 单声道 float32 波形见 audio.pypad_or_trim()将波形裁剪或补零至N_SAMPLES 48000030 秒 × 16 kHz超出部分截断、不足部分补零见 audio.pylog_mel_spectrogram()基于torch.stftFFT 窗口 400 点、HOP 160 点即每 10ms 一帧计算 STFT 幅度谱再与预置的 80/128 维 mel 滤波器组assets/mel_filters.npz做矩阵乘法得到 log-Mel 频谱见 audio.pydetect_language()仅以|startoftranscript|单 token 为输入做一次前向抑制非语言 token 后取最大概率语言 token 及其概率分布见 decoding.pydecode()基于DecodingOptions见 decoding.py含task、language、temperature、best_of、beam_size、patience、length_penalty、prompt、prefix、suppress_tokens、without_timestamps、fp16等选项执行采样或 beam search 解码输出包含text、tokens、avg_logprob、no_speech_prob、compression_ratio、temperature等字段的DecodingResult。六、进阶实战词级时间戳、提示工程与幻觉抑制6.1 词级时间戳--word_timestamps开启后Whisper 会利用解码器交叉注意力头的注意力模式与**动态时间规整DTW**算法为每个词精确标注起止时间见 timing.py。从init.py 可以看到每个模型都预置了与词级时间对齐高度相关的交叉注意力头索引_ALIGNMENT_HEADS加载模型时通过set_alignment_heads()注入见 model.py。whisper audio.wav --model turbo --word_timestamps True注意--word_timestamps在translate任务上输出的词级时间戳可能不可靠transcribe.py 会发出警告。与词级时间戳配合的--highlight_words、--max_line_width、--max_line_count、--max_words_per_line参数可用于生成逐词高亮、自动折行的 srt/vtt 字幕见 utils.py。这些参数都依赖--word_timestamps True否则 CLI 会报错见 transcribe.py。6.2 提示工程--initial_promptinitial_prompt可为首个 30 秒窗口提供上下文例如注入领域词汇或专有名词提高这些词的命中概率whisper podcast.mp3 --model small --initial_prompt 这位主播的名字是张三节目固定开场白是大家好欢迎收听本期节目。--carry_initial_prompt True则会将initial_prompt拼接到每一次内部decode()调用中上下文空间不足时从左侧截断见 transcribe.py代价是可能削弱condition_on_previous_text的效果。6.3 静音段与幻觉抑制--hallucination_silence_threshold结合--word_timestamps该参数会跳过被判定为“幻觉”前后的长静音段算法会计算每个词的异常分数概率过低、时长过短/过长都会加分并对前后均为静音或相邻异常词的“幻觉簇”进行裁剪见 transcribe.py 中的word_anomaly_score、is_segment_anomaly等逻辑可有效减少模型在静音环境音中“凭空补词”的现象。6.4 时间片段处理--clip_timestamps只转写指定时间区间秒格式为逗号分隔的start,end,start,end,...最后一个 end 缺省为文件结尾whisper audio.mp3 --clip_timestamps 0,60,120,180实现上该参数会被转换为若干seek_clips区间主循环逐个区间处理见 transcribe.py。6.5 多语言与中文转写实测仓库自带 tests/test_transcribe.py 提供了一个可复现的端到端用例用jfk.flac仓库tests/目录下验证load_model、transcribe含word_timestampsTrue、语种检测与时间戳正确性断言识别文本包含 my fellow americans 等关键短语且Americans一词的时间戳落在 1.8 秒附近。可将其作为搭建 CI 或自测脚本的参考。七、运行时行为与已知注意事项模型加载与缓存首次加载某模型会下载权重可观察进度条之后命中本地缓存~/.cache/whisperSHA-256 不匹配时会自动重下见init.pyfp16 与 CPUCPU 上不支持 fp16代码会自动降级为 fp32 并给出警告见 transcribe.py如果本机有 CUDA 却强制用 CPU 推理也会告警condition_on_previous_text关闭可避免长音频中的“重复循环”与时间戳失步但窗口间文本一致性可能下降当某窗口使用高温temperature 0.5重试成功时下一窗口不会继承其文本作为 prompt见 transcribe.py英文专用模型的语种强制使用.en模型时即便传入--language指定其他语种也会被强制改为en并告警见 transcribe.py--threads设置 CPU 推理线程数覆盖MKL_NUM_THREADS/OMP_NUM_THREADS见 transcribe.py。八、许可与延伸资源Whisper 的代码与模型权重均以MIT License发布详见仓库根目录 LICENSE。模型文档见 model-card.md仓库还提供 LibriSpeech.ipynb 与 Multilingual_ASR.ipynb 两个可交互示例笔记本可直接在 Colab 中运行以快速体验模型的英文转写与多语言识别能力。赞分享人工智能语音音频基础模型【免费下载链接】whisperRobust Speech Recognition via Large-Scale Weak Supervision项目地址https://gitcode.com/GitHub_Trending/whisp/whisper点击查看免费下载相关推荐MuJoCo相机三式速成固定、自由、追踪视角MuJoCo相机三式速成固定、自由、追踪视角 你需要在调试机械臂仿真时让镜头始终跟着末端执行器走同时还能随时切到侧面固定视角对照轨迹。MuJoCo 的相机物理引擎机器人机器学习图形学pyvideotrans语音识别模型Faster-Whisper深度应用指南pyvideotrans语音识别模型Faster Whisper深度应用指南 pyvideotrans是一个功能强大的视频翻译和配音工具能够将视频从一种语言音视频AI 应用语音本地部署Whisper语音识别模型深度解析从架构原理到实战应用Whisper语音识别模型深度解析从架构原理到实战应用 Whisper是OpenAI推出的基于大规模弱监督训练的语音识别模型通过Transformer编码器人工智能深度学习语音/音频大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考