OpenScreen 本地语音识别指南whisper.cpp 多后端与 DTW 词级时间戳对齐【免费下载链接】openscreenRecord your screen, ship a demo. Free and open-source, GPU-accelerated, no watermarks, no subscriptions. Windows, macOS, Linux. Actively maintained.项目地址: https://gitcode.com/gh_mirrors/opens/openscreenOpenScreen 是一款免费开源的 GPU 加速屏幕录制与演示剪辑工具它的本地语音识别功能完全运行在你的电脑上不上传音频、不调用云端 API、不依赖 Python。识别引擎是 whisper.cpp配合 Metal / Vulkan / CPU 多后端自动选择以及基于 DTW 的词级时间戳对齐算法让每一句旁白都能精确落到字幕行和剪辑点上。识别全流程从录音到词级时间戳整条流水线都跑在本地分为四步音频提取— 从录像文件中解出单声道 16 kHz PCM 音频extractAudio.ts智能分块— 长录音按约 90 秒一段切割且总在静音帧附近下刀chunking.ts这样既能显示进度也能在某一小块失败时只重试那一块而不是从头再来本地推理— 每个块通过 HTTPPOST /inference发给随应用附带的whisper-stt-server辅助进程whisperServer.ts它直接调用whisper_full()完成解码时间戳还原— 各块的相对时间被换算回整段录像的绝对秒数一次推理同时返回“语句段 逐词段”两种结果transcriptionContract.ts。模型文件是ggml-small-q8_0.bin约 264 MB 的多语言 Whisper small 量化模型首次运行时由 modelManager.ts 自动下载带 SHA-256 校验与原子写入下载中断也不会留下损坏文件。多后端自动选择Metal、Vulkan 与 CPU 免配置很多语音工具要求你手动配置显卡OpenScreen 没有这个负担。whisper.cpp 在运行时自动挑选计算后端每个平台只打一个二进制平台编译进的后端运行时候选macOS (Apple Silicon)MetalMetal → CPU 回退macOS (Intel)CPUCPUWindows (x64)VulkanVulkan → CPU 回退Linux (x64)VulkanVulkan → CPU 回退端侧探测代码在 gpuDetector.ts它只负责按平台找到正确的二进制真正绑定的是哪块 GPU由辅助进程通过ggml_backend_dev_name()在响应里如实上报一旦回退到 CPU日志会明确提示“吞吐约为 GPU 路径的一半”方便排查。这种“单一二进制 运行时设备选择”的设计意味着旧机器和带独显的新机器跑的是同一个安装包无需任何额外配置。DTW 词级时间戳让字幕和剪辑点都对得齐这是 OpenScreen 语音识别最核心的技术点。普通识别只告诉你“说了什么”而字幕渲染和按词剪辑还需要“每个字在什么时刻说完”。OpenScreen 的解法启用原生 DTW— 推理时打开dtw_token_timestampsaheadssmall、关闭 flash attention每个 token 都带一个t_dtw时间戳厘秒级如果 DTW 没有真正生效t_dtw -1辅助进程会直接报错而不是输出劣质时间戳词级区间推导— 以词的第一个 token 的t_dtw作为词起点以下一个词首个 token 的t_dtw作为词终点得到单调、无间隙的词时间轴向音频“回吸”对齐—t_dtw标记的是解码器“吐出”词的时刻实测会比真实发音晚 80–150 ms。snapWordBoundaries.ts 会查看原始音频的 RMS 能量包络把每个词边界回移到前 150 ms 内最安静的 10 ms 帧——边界从此“踩在”音节间的静音谷上而不是糊在词尾。这一步的价值不止于字幕转录编辑器里选中几个词删除等价于精确裁剪[首词起点, 末词终点]。边界晚 100 ms删掉的话开头就会残留半截对齐到位剪辑才干净。效果如何官方 POC 实测数据项目内置了一套独立评测工具tools/stt-eval/whispercpp-dtw-poc/完整报告见 REPORT.md。在 AMD 集显机型上的关键结论速度Vulkan q8_0 量化模型在 130 秒音频上达到5.27× 实时即 1 分钟转完 5 分钟音频GPU 相对 CPU 中位数加速2.07×时间戳精度词终点与基线引擎的中位偏差仅20 ms且 28/28 轮次 DTW 激活护栏全部通过质量词错率WER与基线持平甚至更低没有出现“感谢观看”式的幻觉结尾。这些数字也解释了为什么官方推荐“完全迁移到 whisper.cpp”——GPU 路径覆盖 CPU 路径的全部能力且严格更快。相关源码与文档路径模块作用electron/stt/index.tsSTT 管线总入口SttManager分块、重试、进度上报electron/stt/whisperServer.ts辅助进程生命周期与/inference客户端electron/stt/snapWordBoundaries.tsDTW 词边界回吸到音频静音帧electron/stt/modelManager.ts模型下载、SHA-256 校验、原子落盘electron/native/whisper-stt/src/main.cppC 辅助服务HTTP 接口 whisper_full() DTWtechnical-documentation/architecture/transcription-and-captions.md完整架构文档管线、字幕层与翻译机制架构细节、字幕渲染路径和已知限制完整说明都在这份架构文档里transcription-and-captions.md。【免费下载链接】openscreenRecord your screen, ship a demo. Free and open-source, GPU-accelerated, no watermarks, no subscriptions. Windows, macOS, Linux. Actively maintained.项目地址: https://gitcode.com/gh_mirrors/opens/openscreen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考