语音识别已经很强了可一旦两个人同时说话或者音箱播出的声音又被麦克风收回来后面的模型再聪明也只能在混乱的输入上猜。这也是很多语音项目容易误判的地方。识别错了第一反应是换 ASR通话有回音就一味加强降噪。但重叠人声、环境噪声和扬声器回声是三类不同的信号问题对应语音分离、降噪和声学回声消除不能靠一个模型全包。阿里 Qwen Audio 团队新公开的 FLASepformer 和 JAEC正好把其中两道最难的关卡拆开了前者处理双人重叠语音后者处理实时通话里的扬声器回声。先判断你听到的到底是什么如果录音里有两个真实说话人同时发声你需要的是语音分离目标是从一路混合波形里拆出两路独立人声。如果远端的声音从音箱播出又通过房间反射进入麦克风你需要的是 AEC它必须知道远端播放了什么才能在麦克风信号中估计并抵消回声。环境空调、键盘和道路噪声则更接近降噪任务。这三个名词看着都是「把声音变干净」但输入条件、评测方法和失败模式完全不同。项目选型的第一步不是看哪个模型名字更新而是先把干扰类型分对。FLASepformer让长语音分离不再被序列长度拖垮当两个人同时说话单通道麦克风得到的只有一条叠加波形。FLASepformer 的工作就是把它恢复成两路可单独处理的人声。这对重叠较多的访谈、会议录音和对话语料清洗很有价值因为后面的 ASR、说话人日志和音文对齐都能拿到更清楚的输入。它比较关键的改动是把长序列中的注意力复杂度从 O(N²) 降到 O(N)。论文里的 Gated Focused Linear Attention 一方面保留长距离建模一方面用 focused function、一维深度卷积和门控补足普通线性注意力过于平滑、特征多样性不足的问题。在论文的 RTX A800、30 秒混合语音设置下FLA-SepReformer-T/B/L 相对对应 SepReformer 基线的提速为 2.29、1.91 和 1.49 倍显存占用为基线的 15.8%、20.9% 和 31.9%。这个结果更适合用来判断「长序列是否更好跑」不能直接换算成所有机器上的处理时间。JAEC先对齐回声再估计并抵消回声消除不是单纯降噪。系统除了麦克风录到的近端信号还必须拿到远端播放的参考信号。JAEC 先用 TDE 网络估计两者的相对时延并完成对齐再由 LP 网络估计线性回声最后从麦克风信号中减掉它。当前开源版本为 16 kHz每次处理 160 个采样点对应 10 毫秒固定算法延迟是 352 个采样点也就是 22 毫秒。对双向通话和会议系统来说这个延迟口径很关键因为回声处理必须持续工作不能等整段音频结束。但这里也有一个必须讲清的边界当前包中只有 TDELP 前端不包含用来清理残余非线性回声的 NLP 网络。如果你的扬声器存在削波、失真或强双讲不能只看「22 毫秒」就默认它是完整的产品级 AEC。怎么选先看你手里有几路信号FLASepformer 只需一路混合语音但当前开源权重面向 8 kHz 单声道双人分离不要直接把它当成任意人数、任意采样率的通用音频分轨器。JAEC 则必须同时拿到麦克风信号和远端参考如果只有一个已录好的含回声 WAV它就没有完成对齐所需的参考。用在数据工程里时比较稳妥的顺序是保留原始音频对需要的样本做分离、回声消除或降噪接着做质量门再进入 VAD、ASR、说话人标注和音文对齐。处理后的音频、模型版本、质量分数和日志一起保留才能在效果变差时回溯。第一次试跑建议只做一个可核对小样本想试 FLASepformer先准备一段 8 kHz 单声道双人混合 WAV并提前保留两个人的干净参考这样才能判断分离后是真变清楚了还是只是主观上听起来更干净。pipinstallmodelscope torch numpy soundfile modelscope download\--modeliic/speech_flatsepreformer_separation_temporal_8k_base_libri2mix100使用 ModelScope pipeline 输出两路音频完成后应能看到output_spk1.wav和output_spk2.wav。importnumpyasnpimportsoundfileassffrommodelscope.outputsimportOutputKeysfrommodelscope.pipelinesimportpipelinefrommodelscope.utils.constantimportTasks model_idiic/speech_flatsepreformer_separation_temporal_8k_base_libri2mix100separationpipeline(Tasks.speech_separation,modelmodel_id)resultseparation(mix.wav)fori,signalinenumerate(result[OutputKeys.OUTPUT_PCM_LIST]):sf.write(foutput_spk{i1}.wav,np.frombuffer(signal,dtypenp.int16),8000)想试 JAEC需要两个等长的 16 kHz、单声道、PCM16 WAV一个是麦克风信号一个是远端参考。python-mpipinstall-U\modelscope githttps://github.com/modelscope/modelscope.gitmastermodelscope download--modeliic/speech_jaec_aec_16kfrommodelscope.outputsimportOutputKeysfrommodelscope.pipelinesimportpipelinefrommodelscope.utils.constantimportTasks aecpipeline(Tasks.acoustic_echo_cancellation,modeliic/speech_jaec_aec_16k,devicecpu,trust_native_codeTrue,)resultaec({nearend_mic:nearend_mic.wav,farend_speech:farend_speech.wav},output_pathoutput.wav,)pcm16_bytesresult[OutputKeys.OUTPUT_PCM]第一轮别只听一遍就下结论。分离要检查串音、异响和声音丢失AEC 要检查单讲、双讲、延迟变化和扬声器失真。只有这些边界都过关后面的 ASR 或语音 Agent 才真的能吃到红利。语音前端最容易被当成一个「声音变好听」的附属模块。但在会议、通话和语音数据生产里它其实是输入关。先问清楚是人声重叠、背景噪声还是回放回声再选分离、降噪或 AEC比盲目更换后端大模型更有可能解决问题。资料入口FLASepformer ModelScope 模型页JAEC ModelScope 模型页FLASepformer 论文ISCA 论文归档