人工智能语音【免费下载链接】silero-vadSilero VAD: pre-trained enterprise-grade Voice Activity Detector项目地址https://gitcode.com/GitHub_Trending/si/silero-vad点击查看免费下载导读本文围绕 Silero VAD 仓库中 examples/openvino 目录的配套文档展开讲解如何把仓库内随附的silero_vad.onnx转换成可直接在 OpenVINO 中加载、编译与推理的模型。你将掌握ONNX 前端为何无法加载原模型的根本原因If 子图内的 Conv/STFT 静态秩推断失败、convert.py如何通过经验性条件求值 死代码消除 Identity 折叠 静态形状修复完成等价变换、如何通过verify.py做逐位级验证以及推理时为什么必须把 CPU 插件精度锁定为 f32、I/O 协议如何与仓库 OnnxWrapper 保持一致。问题背景stock 模型为什么无法加载仓库随附的原始模型位于 src/silero_vad/data/silero_vad.onnx文件约 2.32 MB与文档描述的 2.27 MB 一致。它由 TorchScript 追踪导出无法直接被 OpenVINO 的read_model加载报错如下OpConversionFailure: Model wasnt fully converted. -- Conv-16: While validating ONNX node Node(Conv): If_0_then_branch__Inline_0__/decoder/decoder/2/Conv_output_0: Check data.get_partial_shape().rank().is_static() failed The input data tensors rank has to be known (static)根因链条可以拆成三步Conv 算子藏在 If 子图里STFT 前端特征计算被封装为Conv算子且这些Conv位于If节点的then_branch/else_branch子图中。OpenVINO 的 ONNX 前端在转换时无法为子图内的这些Conv推断出静态的输入张量秩rank仍为动态。If 数量多且嵌套图中有一个顶层If用于在 8 kHz 与 16 kHz 两条路径之间切换另外每个分支下还残留 7 个由 TorchScript 追踪留下的嵌套If节点。因此仅仅把采样率常量折叠掉即直接写死sr是不够的——其余嵌套 If 依然会让前端转换失败。所有条件都与音频内容无关这些 If 的条件只依赖采样率和张量形状sr取 8000 还是 16000不依赖实际音频数据。这意味着对任一固定配置固定采样率、固定 batch所有分支都可以在离线阶段一次性解析掉——这正是convert.py转换思路成立的前提。convert.py四步离线等价变换convert.py 的核心流程convert函数如下加载模型 → 循环内联所有 If → 死代码消除 → 折叠 Identity → 固定静态形状 → 类型推断与校验 → 保存可选导出 IR。下面结合源码逐段拆解。1. 经验性求值并内联每个 Ifeval_condconvert.py用一个探针技巧求 If 条件的实际取值深度拷贝当前模型把条件张量追加为 graph 的额外输出再用 onnxruntime 在 CPU 上运行一次从输出中取出条件值并断言它是标量布尔。inline_ifconvert.py随后把选中的分支整体替换掉 If 节点把分支内部的节点、initializer 统一重命名加F{step}::前缀避免与外层作用域名字冲突deep_rename会递归进入嵌套子图并按 ONNX 作用域规则跳过被遮蔽的名字分支输出若来自内部则重命名直接映射到 If 节点的对应输出若分支输出是外层捕获的张量则补一个Identity节点做桥接分支的 initializer 拷贝进外层 graph。convert的主循环convert.py反复扫描If节点逐个求值、内联直到图中不再存在If最后断言图中也不存在Loop、Scan这类控制流算子保证产出一个纯数据流图。2. 死代码消除DCEdceconvert.py从 graph 输出反向做可达性分析只保留能连到输出节点的节点并递归收集其输入及子图中从外层捕获的输入随后同步清理不可达的 initializer 和 graph input。这一步的意义不止于瘦身——未选中的采样率分支例如--sr 8000时整个 16 kHz 分支连同其全部权重会被物理移除这正是文档所说文件从 2.27 MB 降到 1.23 MB 的原因。3. 折叠 Identity 节点eliminate_identityconvert.py反复遍历并移除 Identity 节点把它的输入/输出引用在消费者与生产者之间重连保留输出到输出别名这类必要场景。文档明确指出其必要性较新版本的 OpenVINO 在序列化 IR 时会把这类节点写成opset16::Identity而较旧的 CPU 插件能解析但不能执行转换脚本在测试中真实踩过这个坑——这也是 README 反复强调IR 要用目标 OpenVINO 版本本地重新生成的原因。4. 固定静态形状内联与清理完成后脚本把input、state、output、stateN四个 I/O 的形状从动态维度dim_param改写为固定值convert.py删除残留的value_info再调用shape_inference.infer_shapes做全图形状推断最后onnx.checker.check_model校验并用onnx.save写出干净模型。默认输出文件名为silero_vad_16k.onnx--sr 8000时则为silero_vad_8k.onnx见main中的默认值逻辑convert.py。命令行用法文档给出的完整命令如下注意输出文件名与采样率选择pip install numpy onnx onnxruntime openvino python convert.py # writes silero_vad_16k.onnx python convert.py --sr 8000 # writes silero_vad_8k.onnx python convert.py --save-ir # also exports OpenVINO IR python verify.py silero_vad_16k.onnx ../../tests/data/test.wav ../c/aepyx.wav python verify.py silero_vad_8k.onnx --sr 8000 ../c/aepyx_8k.wav补充说明均与脚本实现一致convert.py默认输入是仓库自带的 silero_vad.onnxREPO_MODEL定义于 convert.py通过parents[2]定位到仓库根也可传[input.onnx] [output.onnx]位置参数指定自定义路径--sr仅接受 8000 / 16000 两个取值convert.py对应保留的分支与输入长度16 kHz 时input为[1, 576]8 kHz 时[1, 288]见 convert.py 的 feeds 构造--save-ir需要已安装 openvino会在输出旁生成同名.xml.bin且compress_to_fp16False保持 f32 权重convert.py依赖方面convert.py只要求 numpy、onnx、onnxruntimeopenvino 仅在--save-ir时才需要见文件头部 docstringconvert.py。必须设置推理精度为 f32文档给出了一条容易被忽略的硬性建议在支持 bf16 的 CPU具备 AMX 或 AVX512 BF16 指令集多见于服务器级 Xeon上OpenVINO CPU 插件默认会静默启用 bf16 推理。对 Silero VAD 这种带循环状态的小模型这不是可以接受的小误差每个 chunk 的数值误差会通过循环状态state形状[2, 1, 128]逐步累积放大直到语音分段结果发生变化文档实测真实音频上默认精度与 stock 模型的最大绝对差可达3e-1而 f32 仅为2e-6——相差约 5 个数量级。因此推理时务必显式指定精度Python 端写法compiled core.compile_model(model, CPU, {INFERENCE_PRECISION_HINT: f32})C 端对应ov::hint::inference_precision(ov::element::f32)。verify.py的OvConverted类也遵循这一约定verify.py并在输出中打印当前 OpenVINO 版本与 inference precision forced to f32。模型本身很小f32 带来的开销可以忽略。转换后模型的 I/O 契约与推理协议转换后模型已移除sr输入采样率分支被固定I/O 如下张量方向形状16 kHz形状8 kHz类型input输入f32[1, 576] 64 上下文 512 新样本f32[1, 288] 32 上下文 256 新样本f32state输入[2, 1, 128][2, 1, 128]f32output输出[1, 1][1, 1]f32语音概率stateN输出[2, 1, 128][2, 1, 128]f32推理循环协议与仓库内 OnnxWrapper 完全一致对照OnnxWrapper.__call__utils_vad.py每个 chunk 为 512 个新样本8 kHz 时 256 个拼上上一轮的上下文组成input把本次输出的stateN链回下一次的state从本次input尾部截取最后 648 kHz 为 32个样本作为下一轮的上下文新数据流开始时state与ctx都清零。文档给出的最小推理示例import numpy as np import openvino as ov req ov.Core().compile_model(silero_vad_16k.onnx, CPU, {INFERENCE_PRECISION_HINT: f32}).create_infer_request() state np.zeros((2, 1, 128), np.float32) ctx np.zeros((1, 64), np.float32) for chunk in stream_of_512_sample_chunks: x np.concatenate([ctx, chunk[None]], axis1) res req.infer({input: x, state: state}) prob, state, ctx res[output][0, 0], res[stateN], x[:, -64:]verify.py逐位级验证与分段一致性检查verify.py 把转换后的模型与 stock 模型在链式状态下做端到端对比任何不符都会以非零退出码结束verify.py其判定标准为onnxruntime 中转换模型 vs stock 必须逐位相等max abs diff 恰好为 0.0OpenVINO 中 max abs diff 必须小于1e-4真实 wav 上的语音分段结果必须与 stock 完全一致。对比引擎有三个verify.pyOrtStockstock 模型保留sr输入、OrtConverted转换模型、onnxruntime 后端、OvConverted转换模型、OpenVINO 后端、强制 f32。它们共享相同 reset/chunk 拼接逻辑其中上下文大小 64/32 与 chunk 大小 512/256 的映射和推理协议一一对应。测试音频有两类合成音频synthetic_audioverify.py一段约 22 秒、包含静音、50/60/120/180 Hz 工频谐波、高斯噪声、4 Hz 包络 220/710/2400 Hz 类共振峰载波、100→1000 Hz 扫频、强噪声与尾部静音的拼接信号随机种子固定为 42。文档强调对比是纯数值性的不需要像真实语音真实 wav任意 16 bit 单声道 PCM 文件采样率必须匹配load_wav会断言帧率、声道数与位深verify.py。分段判定函数segmentsverify.py以概率 0.5 为阈值、最短 8 个 chunk 为一段统计起始/结束索引并逐段比对。文档给出的实测验证结论可复现依据即上述脚本与仓库内测试数据在 onnxruntime 中转换模型对两种采样率均逐位一致max abs diff 0.0说明该变换对所选采样率是数学意义上的恒等变换OpenVINO f32 下16 kHz 对 tests/data/test.wav 与 examples/c/aepyx.wav合计 229 秒、7161 个 chunkmax abs diff 为2.3e-0629/29 与 65/65 个分段全部一致8 kHz 对 examples/c/aepyx_8k.wav max abs diff 为4.5e-0679/79 个分段一致上述结果在 Linux 与 Windows、两个 OpenVINO 版本上复现stock 模型 sha256 为1a153a22f4509e292a94e67d6f9b85e8deb25b4988682b7e174c65279d8788e3可直接对 src/silero_vad/data/silero_vad.onnx 校验。使用限制Caveats单采样率、固定 batch每个转换后的模型只保留一个采样率分支sr输入被移除batch 固定为 1。文档明确指出部分被内联的 guard 可能依赖 batch因此 batch1 已被穷尽验证更大的 batch 未验证IR 对版本敏感IRxml bin与生成它的 OpenVINO 版本绑定。部署时应使用目标 OpenVINO 版本重新生成 IR或直接read_model加载清洗后的 ONNXwav 文件格式verify 只接受 16 bit 单声道 PCM采样率须与--sr匹配verify.py。常见问题FAQ要点每个 OpenVINO 大版本都要重新生成模型吗不需要。唯一版本敏感的产物是 IRconvert.py产出的清洗后 ONNX 是普通 ONNX 文件OpenVINO 直接read_model即可加载跨 OV 版本的行为与 stock 模型跨 onnxruntime 版本一致。这也是仓库选择发布转换脚本而非二进制产物、并建议如要发布 IR 就用目标版本本地生成的原因。IR 向前还是向后兼容IR 向前兼容、不向后兼容旧版本生成的 IR 可被新运行时加载IR 格式自 2022.1 起稳定但新版本生成的 IR 可能无法在旧运行时上使用——opset16::Identity无法被旧 CPU 插件执行正是实例也是convert.py折叠 Identity、README 建议本地重生成 IR 的由来。是否依赖具体 CPU 型号文件本身与硬件无关编译在加载时针对目标进行唯一的 CPU 相关行为是默认推理精度——bf16 能力的 CPU 上插件默认 bf16错误会经循环状态累积到分段改变按 README 设置INFERENCE_PRECISION_HINTf32后各 CPU 上与 onnxruntime 的误差均约 1e-6。只能跑在 Intel CPU 上吗不是。CPU 插件按指令集特性而非厂商分派AMD x86-64 同样可运行Intel 是验证与调优的主要对象ARM64含 Apple Silicon也官方支持。Intel 独占的是加速器插件集成 GPU 与 NPU本示例未涉及。与仓库主代码的关系本示例的推理协议与仓库主库的 OnnxWrapper 完全同构——上下文拼接、状态链回、清零时机与num_samples/context_size的 512/64、256/32 映射均可在 utils_vad.py 中找到对应实现verify.py中的segments分段逻辑也与仓库get_speech_timestamps的阈值化思想一致。因此在 OpenVINO 上运行转换模型时可以沿用仓库 tests/test_basic.py 中read_audio 分块推理的使用范式仅在推理后端上替换为 OpenVINO 的 InferRequest。若需进一步了解模型结构本身可参考 src/silero_vad/model.py 与 hubconf.py。赞分享人工智能语音【免费下载链接】silero-vadSilero VAD: pre-trained enterprise-grade Voice Activity Detector项目地址https://gitcode.com/GitHub_Trending/si/silero-vad点击查看免费下载相关推荐DeOldify模型转换终极指南ONNX Runtime与OpenVINO部署实践DeOldify模型转换终极指南ONNX Runtime与OpenVINO部署实践 DeOldify作为基于深度学习的图像和视频着色修复工具在实际应用中往往人工智能深度学习计算机视觉图像处理Jellium Desktop vs Plex Desktop哪个才是最佳媒体中心客户端Jellium Desktop vs Plex Desktop哪个才是最佳媒体中心客户端 当你在寻找理想的媒体中心客户端时Jellium Desktop和桌面应用音视频Silero VAD模型终极指南从PyTorch到ONNX完整转换与部署Silero VAD模型终极指南从PyTorch到ONNX完整转换与部署 语音活动检测VAD作为现代语音应用的核心组件在实时通信、语音识别预处理和智能设人工智能语音上一篇xCrash与主流崩溃监控方案对比为什么选择xCrash下一篇ponytail React 倒计时示例剖析同一个模型267 行代码如何变成 9 行创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考