新闻详情

新闻详情

首页 / 资讯中心 / 详情

如何用 Whisper Diarization 三步从一段录音中拿到带说话人标签的转录稿

发布时间:2026/11/16 17:24:27来源:尧图网络
如何用 Whisper Diarization 三步从一段录音中拿到带说话人标签的转录稿
如何用 Whisper Diarization 三步从一段录音中拿到带说话人标签的转录稿【免费下载链接】whisper-diarizationAutomatic Speech Recognition with Speaker Diarization based on OpenAI Whisper项目地址: https://gitcode.com/GitHub_Trending/wh/whisper-diarizationWhisper Diarization 是基于 OpenAI Whisper 的自动语音识别工具它一次完成说话人分离与文字转写输出带说话人标签的转录稿和标准 SRT 字幕文件。适合需要把会议录音、访谈、播客快速变成可检索文本的人。 一段录音不好翻怎么知道谁说了什么会议结束留下一段两小时的录音。想查“这句话是谁说的”只能把整段音频从头听到尾。就算转成了文字没有说话人标签文稿还是一大团谁都不想看。 三条命令跑通从克隆到出稿先备好三样东西Python 3.10、FFmpeg、Cython。然后在项目目录里依次运行git clone https://gitcode.com/GitHub_Trending/wh/whisper-diarizationpip install -c constraints.txt -r requirements.txtpython diarize.py -a 你的音频文件.mp3跑完带说话人标签的转录稿就出来了。它是怎么做到的四级流水线先单独拎出人声处理前先用 Demucs 把原音频里的人声轨分离出来减少背景音乐和噪声对说话人识别的干扰。如果音频本身是纯人声加--no-stem可跳过这一步处理逻辑在 diarize.py 里。用 Whisper 转写并逐词对齐用 faster-whisper 做转写默认模型medium.en。同时用 ctc-forced-aligner 做强制对齐给每个词标出精确的起止时间戳这是后面把词对到说话人名下的基础。把每个词归给对的人默认的 MSDD 模型给出每个说话人的活动时间段也可以用--diarizer sortformer换成 Sortformer上限 4 人。流水线再按词的时间戳逐个匹配到对应说话人模型在 diarization/ 目录中。恢复标点修正句界对英语、法语等受支持的语言用标点恢复模型补回句末标点再按句子重新对齐说话人归属修正句首句尾的时间戳漂移。匹配逻辑见 helpers.py。 三个真实用法纪要、字幕、并行加速会议录音转带标签纪要输入是会议录音。运行python diarize.py -a 会议.mp3得到逐段标注 Speaker 0、1、2 的 .txt 文稿外加一份对应的 .srt。播客转视频直接可用的字幕输入是播客音频命令同上。得到的 .srt 每条都是“Speaker X文字”格式并带时间码可直接导入剪辑软件出字幕。显存 10GB 以上的 GPU 走并行运行python diarize_parallel.py -a 你的音频.mp3。它让 NeMo 与 Whisper 各占一个进程同时跑结果与串行版一致速度更快作者标注该模式为实验特性。常用参数怎么调参数作用建议值-a要处理的音频文件必填你的文件路径--whisper-modelWhisper 转写模型medium.en默认非英语换对应多语言版本--batch-size批量推理大小默认 8显存不足就调小0 为关闭批量--diarizer说话人分离模型msdd默认人数不限sortformer限 4 人以内--language手动指定语言留空自动检测检测失败时手动填调优建议出现显存不足先降--batch-size再考虑--device cpu文稿里数字很多就加--suppress_numerals数字会转成文字形式对齐更准。 跑完你会得到哪两个文件xxx.txt分段的转录文稿每段开头标注说话人标签。xxx.srt标准 SRT 字幕文件每条含时间码与说话人。运行中的临时文件temp_outputs_*结束后自动删除。 三个最常见的报错及对策运行中显存不足OOM原因批量太大或显存不够。对策调小--batch-size可到 0或换更小的--whisper-model。语言识别错、转写乱码原因自动检测失败或给仅支持英语的.en模型指定了其他语言。对策手动指定--language.en模型只处理英语音频。说话人切换处错标、文稿数字多原因数字符号干扰强制对齐时间戳有轻微漂移。对策加--suppress_numerals重跑。谁该用深入看哪里需要把录音批量变成可检索文本的会议记录、字幕制作、客服分析场景选它合适。想理解分离模型看 diarization/想改说话人映射和字幕输出逻辑看 helpers.py。项目目前也在推进重叠说话处理与 SRT 句长限制两个方向。现在就可以拿一段自己的音频把那条命令跑起来。【免费下载链接】whisper-diarizationAutomatic Speech Recognition with Speaker Diarization based on OpenAI Whisper项目地址: https://gitcode.com/GitHub_Trending/wh/whisper-diarization创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/15 4:06:36

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉