简介面向音频安全与数字取证的音频伪造检测项目整合声学信号处理、深度学习模型与数字取证手段适用于科研人员、安全工程师及机器学习初学者快速复现篡改音频识别流程。压缩包共31个文件约3.49MB以Python脚本为主涵盖特征提取、Transformer与LSTM模型训练、预测推理等核心环节同时包含HTML交互页面、样式文件、依赖安装包whl、环境说明文档及多张特征展示图片结构清晰便于按需查阅。已有24人学习下载对于希望了解音频伪造检测完整技术链路的开发者而言这是一套轻量但覆盖较全的参考实现。通过阅读源码可掌握基频、共振峰等特征参数在真伪鉴别中的作用借助预训练或自建数据运行trainTransformer.py、trainLstm.py等脚本可直观对比不同模型在伪造音频分类上的表现为法庭证据审查、媒体真实性核查等场景下的工程落地提供基础支撑。1. AudioForgeryDetection 压缩包到手先判断这是数据包、基线还是完整工程拿到BuHuiNieLanKing_AudioForgeryDetection_1020568_1771572376112.zip这样的包先别急着双击解压。AudioForgeryDetection 是音频伪造检测要解决的是「一段语音到底是真人当场录的还是 TTS 合成、语音转换或拼接伪造出来的」这个取证问题。文件名后半截那串数字多半是上传时间戳项目代号反而不必深究。这类压缩包落到你手里通常是三种形态带标注的数据集、可复现的基线工程、或者只给权重和推理脚本的模型包。接下来要做的事都一样——先把数据口径摸清把基线复现出来再看它能扛住多短的语音、多新的伪造方式。这篇就按这条链路把特征、模型、评测指标和 zip 本身会遇到的坑逐一过掉。2. 先统一数据口径LFCC、CQCC、fbank 的特征选择与可复现预处理2.1 压缩包里通常装着什么结构识别与运行入口确认解压之后第一件事不是找train.py而是找README和metadata。音频伪造检测项目的数据组织方式高度相似我一般会在打开代码前先确认这张表里的四类东西目录或文件通常内容我要确认的点README / 说明文档数据集来源、伪造手段列表、训练命令它声称的基线 EER 是多少用的什么特征metadata.txt/.csv每条音频的 utt_id、speaker_id、attack_type、labellabel 是bonafide/spoof还是0/1别把语义看反wav/真实语音与伪造语音采样率是否统一声道是否单声道特征/模型脚本特征提取、训练、评测入口特征参数写死在哪个文件里能不能复跑metadata 里最容易踩的坑是 label 字段命名不统一。有的数据集把真实语音标成0、伪造标成1有的反过来有的直接写bonafide和spoof。文字标签通常不会混淆数字标签一定要先去 README 确认一遍「1」到底代表什么否则训练出来的模型 AUC 再高也是自欺欺人。采样率和声道也是这个阶段要敲定的硬指标。绝大多数伪造检测基线把音频统一到 16kHz 单声道因为 ASVspoof 这类公开评测任务就是以 16kHz 为基准做的。包里如果混着 44.1kHz 和 8kHz 的 wav后面所有特征分布都会漂移这种问题在下游极难排查。2.2 特征三选一LFCC、CQCC、fbank 到底在提取什么音频伪造检测的特征选择跟说话人识别不完全一样。语音合成和语音转换出来的伪影主要集中在频谱细节和相位信息上所以特征必须保留足够的频域分辨率不能把高频细节压得太狠。LFCC线性频率倒谱系数是这条赛道最常见的基线特征。它和 MFCC 的唯一区别是把滤波器组从 Mel 刻度换成线性刻度。Mel 刻度对高频做了强压缩而神经网络合成语音的伪影往往就藏在 4-8kHz 这段换成线性频率后高频细节被保留下来分类器更容易抓到合成痕迹。ASVspoof 2019 的官方基线里 LFCC 就是主力特征之一。CQCC常数 Q 倒谱系数走的是另一条路用常数 Q 变换替代短时傅里叶变换低频频率分辨率高、高频时间分辨率高。它对重放攻击这类「通过录音设备二次采集」的伪造方式特别敏感因为重放语音会引入设备滤波和房间混响这些痕迹在 CQCC 的时频表示里更明显。如果你手里的包主打 ASVspoof 的 Physical Access 场景CQCC 值得优先试。fbanklog-mel 滤波器组则是给 CNN 直接用的。它不做 DCT保留相邻频带之间的相关性配合卷积核能学到局部频谱模式。它的缺点是高频压缩太狠所以在伪造检测里通常会配合 LFCC 或 CQCC 做多特征融合而不是单独当主力。三者的定位可以这样记特征提取方式擅长场景常见维度LFCCSTFT 线性三角滤波 log DCT合成语音、语音转换13-20 维CQCC常数 Q 变换 log DCT重放攻击、远场录音13-20 维fbankSTFT Mel 滤波 logCNN 直接输入、融合特征40-80 维选型原则不复杂先看压缩包面向哪个评测任务再决定第一版特征。面向逻辑攻击纯算法伪造就 LFCC 起步面向物理攻击重放就 CQCC 起步想快速验证 CNN 流程就 fbank。2.3 可复现的特征提取脚本重采样、分帧与 LFCC/CQCC 落地下面这段代码是特征提取阶段最常用的骨架用torchaudio提 LFCC用librosa提 CQCC。两者都统一到 16kHz 单声道。# extract_feats.py import torchaudio import torch import librosa import numpy as np from scipy.fftpack import dct TARGET_SR 16000 def load_audio(path): wave, sr torchaudio.load(path, normalizeTrue) if sr ! TARGET_SR: wave torchaudio.functional.resample(wave, sr, TARGET_SR) if wave.shape[0] 1: wave torch.mean(wave, dim0, keepdimTrue) return wave def extract_lfcc(wave, n_lfcc20, n_filter20, n_fft512, win_length400, hop_length160): transform torchaudio.transforms.LFCC( sample_rateTARGET_SR, n_filtern_filter, n_lfccn_lfcc, dct_type2, normortho, log_lfTrue, speckwargs{ n_fft: n_fft, win_length: win_length, hop_length: hop_length, }, ) feats transform(wave) # shape: [1, n_lfcc, T] return feats.squeeze(0).T.numpy() # shape: [T, n_lfcc] def extract_cqcc(path, n_bins96, n_ceps13, hop_length160): y, sr librosa.load(path, srTARGET_SR, monoTrue) cqt_spec np.abs(librosa.cqt( y, srsr, hop_lengthhop_length, n_binsn_bins, bins_per_octave12 )) log_spec np.log(cqt_spec 1e-8) cqcc dct(log_spec, type2, axis1, normortho) return cqcc[:n_ceps, :].T # shape: [T, n_ceps] if __name__ __main__: wave load_audio(audio/spoof.wav) lfcc extract_lfcc(wave) print(LFCC:, lfcc.shape) cqcc extract_cqcc(audio/spoof.wav) print(CQCC:, cqcc.shape)这段代码的逻辑分三层第一步统一采样率和声道第二步定义特征变换第三步把特征转成[帧数, 特征维度]的矩阵方便后续直接喂给 PyTorch 的 DataLoader。resample必须做在特征提取之前否则滤波器组频率刻度跟音频采样率对不上出来的特征直接是错的。几个关键参数的含义要弄清。win_length400对应 16kHz 下 25ms 窗hop_length160对应 10ms 帧移这是一套沿用多年的经典配置尽量别乱改。n_fft512是 FFT 点数它决定频谱的频域分辨率512 点对应 31.25Hz 的bin宽对语音伪造检测足够。n_lfcc20借鉴自 ASVspoof 2019 基线比 13 维保留更多倒谱细节。lfcc 的log_lfTrue意味着在取 DCT 前对线性滤波器组能量取对数这一步不能省。2.4 三个必调参数采样率、窗长帧移、倒谱阶数特征提取阶段的参数不是越多越好真正值得反复调的只有三个。第一个是采样率。16kHz 是绝大多数评测任务的标准但如果你的应用场景是电话信道真实业务语音只有 8kHz这时硬用 16kHz 特征会导致训练和推理分布不一致。我的做法是先看包的 README 声明再用sox -i或librosa.get_samplerate批量扫一遍所有 wav 的实际采样率凡是跟目标不一致的统一用torchaudio.functional.resample转换转换后抽查频谱看有没有丢高频。第二个是窗长和帧移。25ms/10ms 适合大多数语音任务但对伪造检测有个特例某些 TTS 系统产生的伪影持续时间极短比如 1-3ms 的相位跳变25ms 的窗会把它们抹平。遇到这种数据可以试 20ms 窗 5ms 帧移帧移减半后特征帧数翻倍训练时间也翻倍但有时能把 EER 压下去 0.2-0.5 个点。这个收益要结合具体伪造手段判断不是无脑调小。第三个是倒谱阶数和 delta。n_lfcc13是向 MFCC 看齐的习惯值20是伪造检测基线的常见值项目脚本里两种都出现过。我一般先跑 13 阶不带 delta 的版本记录 dev EER再叠加一阶 delta对比两个数字。一阶 delta 在大多数数据集上有稳定收益二阶 delta 在数据量少于几千条时反而容易过拟合不建议默认加。提示无论特征参数怎么调先跑同一个固定随机种子下的基线把 dev 上的 EER 记录下来。后面所有优化都要跟这个数字比否则调参就是无底洞。3. 训练与评测闭环LCNN 基线、EER 手算与按说话人划分3.1 为什么是 LCNN 而不是 VGG特征矩阵的形状通常是[帧数, 特征维度]可以当成单通道图像来处理。很多人第一反应是套 ResNet 或 VGG但在音频伪造检测这个任务上LCNNLight Convolutional Neural Network是更常见也更稳的起点。LCNN 的核心差异在两个地方。一是参数量小它的卷积核通道数通常控制在 32-64 之间VGG 动辄 256 起步。伪造检测数据集的规模一般在几万条音频数据量远小于 ImageNet大模型很容易过拟合小模型反而泛化更好。二是激活函数用了 Max Feature Map即对卷积输出的多个特征通道做跨通道取最大值操作只保留响应最强烈的信号这等效于一种稀疏激活对噪声和信道差异更鲁棒。重放攻击和远场录音里混入的设备噪声在 MFF 激活下会被部分抑制。那什么时候该放弃 LCNN 换 ResNet当你有几十万条训练数据或者要做多特征融合提分时ResNet 的残差结构能更稳定地训练深层网络。RawNet2 那种端到端方案则直接把波形作为输入省掉特征提取环节但它对训练数据量和 GPU 显存的要求都更高。首次复现基线我推荐 LCNN 起步跑通整个闭环后再考虑换模型。3.2 最小可跑的训练脚本LFCC 进 2D CNN下面给出一段可以直接落地的 PyTorch 训练骨架。它读取上一节提取好的 LFCC 特征矩阵经过一个两层卷积的分类器输出每段音频为伪造的概率。# train_lcnn.py import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader import numpy as np class LCNDataset(Dataset): 从 .npy 文件读取 [T, D] 特征矩阵和标签 def __init__(self, feat_paths, labels): self.feat_paths feat_paths self.labels labels def __len__(self): return len(self.feat_paths) def __getitem__(self, idx): # [T, D] - [1, 1, T, D]补到固定长度 400 帧 feat np.load(self.feat_paths[idx]) feat feat[:400, :] if feat.shape[0] 400 else \ np.pad(feat, ((0, 400 - feat.shape[0]), (0, 0))) x torch.from_numpy(feat).unsqueeze(0).float() # [1, T, D] y torch.tensor(self.labels[idx], dtypetorch.float32) return x, y class MFF(nn.Module): Max Feature Map: 跨通道取最大值激活 def forward(self, x): return torch.max(x, dim1, keepdimTrue).values class LCNN(nn.Module): def __init__(self, in_dim20): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, kernel_size(3, 3), padding1), nn.BatchNorm2d(32), MFF(), nn.Conv2d(32, 64, kernel_size(3, 3), padding1), nn.BatchNorm2d(64), MFF(), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(64, 1), ) def forward(self, x): return self.classifier(self.features(x)).squeeze(1) def train_one_epoch(model, loader, opt, loss_fn): model.train() total_loss 0.0 for x, y in loader: opt.zero_grad() logits model(x) loss loss_fn(logits, y) loss.backward() opt.step() total_loss loss.item() * x.size(0) return total_loss / len(loader.dataset) if __name__ __main__: model LCNN(in_dim20) loader DataLoader(LCNDataset(feat_paths, labels), batch_size64, shuffleTrue) opt torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.BCEWithLogitsLoss() for epoch in range(10): avg_loss train_one_epoch(model, loader, opt, loss_fn) print(fepoch {epoch} loss {avg_loss:.4f}) torch.save(model.state_dict(), lcnn_lfcc.pt)这段代码里MFF是关键差异点它把卷积输出的 32/64 个通道压成单通道只保留每个位置的最大响应。AdaptiveAvgPool2d((1, 1))把时间和频率两个维度都池化成一个点整段音频无论长短最后都变成 64 维向量进分类器。这里刻意没写验证集逻辑是为了突出训练主循环评测必须在独立的测试集上做不能拿训练集 loss 判断模型好坏。参数上注意几点。batch_size64在几千条音频的数据集上是安全值显存不够就降到 32。lr1e-3配合 Adam 是起步配置loss 不降时改为 1e-4 重启训练。特征长度统一到 400 帧4 秒音频是经验值音频短于 4 秒就补零长于 4 秒就截断截断位置随机或取中间都行但必须保证训练和推理一致。3.3 评测不看 ACCEER 手算与 min tDCF 的简化实现音频伪造检测的评测指标跟普通分类任务不一样ACC 在这个任务里几乎没有参考价值。原因很简单真实和伪造音频的比例随时会变模型把全部音频判成真实也可能有 90% ACC。业内看的是 EER等错误率和 min tDCF最小串联检测代价函数。EER 是假拒绝率等于假接受率时的错误率min tDCF 则是把伪造检测器接到一个声纹识别系统后面时整体代价最小的取值。EER 不需要复杂的库直接用sklearn的 ROC 曲线就能手算# eval_metrics.py import numpy as np from sklearn.metrics import roc_curve from scipy.optimize import brentq from scipy.interpolate import interp1d def compute_eer(y_true, y_score): # y_score 越大表示越像伪造y_true 中 1 表示伪造 fpr, tpr, _ roc_curve(y_true, y_score) fnr 1 - tpr # EER 是 FPR 与 FNR 相等时的错误率 eer brentq(lambda x: interp1d(fpr, fnr)(x) - x, 0.0, 1.0) return eer def compute_min_tdcf(y_true, y_score, p_fa_asv0.01, p_miss_asv0.05): # 简化版 min tDCFASV 操作点固定为 (0.01, 0.05) fpr, tpr, _ roc_curve(y_true, y_score) fnr 1 - tpr tdcf 0.5 0.5 * (p_miss_asv * fpr - p_fa_asv * fnr) return np.min(tdcf)compute_eer的原理是找一条 45 度对角线跟 DET 曲线的交点。brentq在 0 到 1 之间搜索让fpr - fnr 0的阈值这个阈值对应的错误率就是 EER。compute_min_tdcf里的p_fa_asv0.01, p_miss_asv0.05是 ASVspoof 2019 评测协议里常用的 ASV 系统操作点表示声纹识别系统本身的错误率。如果你的压缩包评测脚本用的是完整 tDCF 定义会额外引入先验概率和对数似然比建议以包内脚本为准但手算简化版用于调试基线已经够用。实操中我会把这两个函数写进单独的eval_metrics.py再配合一个保存推理结果的脚本把每段音频的标签和模型输出概率存成 npy评测一次、反复复用。这样换特征、换模型时不需要重跑评测也能避免多次推理带来的随机性。3.4 数据划分的红线按说话人分组数据划分是伪造检测项目里最隐蔽的坑。很多压缩包自带 train/dev/eval 划分但这个划分未必按说话人去重。如果把同一个人的真实语音放进训练集、伪造语音放进测试集模型学到的可能是声纹特征而非伪造痕迹测试时遇到训练集见过的说话人EER 会虚低一大截部署到新说话人身上立刻翻车。正确做法是按 speaker_id 分组划分保证任何说话人的音频只会出现在训练或测试中的一侧# split_by_speaker.py from sklearn.model_selection import GroupShuffleSplit # metadata: 每行 [utt_id, speaker_id, label]path 和 label 提前读好 speaker_ids metadata[speaker_id].values utt_paths metadata[path].values labels metadata[label].values gss GroupShuffleSplit(n_splits1, test_size0.2, random_state42) train_idx, test_idx next(gss.split(utt_paths, labels, groupsspeaker_ids)) print(训练集说话人数:, len(set(speaker_ids[train_idx]))) print(测试集说话人数:, len(set(speaker_ids[test_idx]))) # 应输出两组完全不相交的说话人集合GroupShuffleSplit的groups参数决定分组粒度test_size0.2是 20% 的说话人被划进测试集。划分后必须验证两件事训练集和测试集的 speaker_id 集合交集为空以及两边的伪造手段分布大致一致。后者往往被忽略如果某种 TTS 系统的输出只出现在测试集EER 会被系统性拉高这不代表模型差而是评测协议对「未见伪造手段」的挑战性设计。4. 复现避坑zip 伪加密、路径逃逸、数据泄漏与采样率漂移4.1 zip 伪加密要密码但文件根本没加密现象从网上下回来的项目压缩包用 Windows 右键「压缩为 zip 文件夹」的同类工具解压时弹窗要求输入密码但你明明记得发布者没给密码用unzip在 Linux 下解压同样提示需要密码。原因zip 格式的加密标志位是通用位标记general purpose bit的第 0 位伪加密就是有人手工改了这个标志位让压缩包看起来加密了实际数据根本没加密。这类情况常见于发布者打包工具异常或修改过 zip 结构不代表文件真的安全。判断方法很简单zipinfo -v package.zip | grep -i encryption # 或 7z l package.zip如果zipinfo显示文件有加密标记但用空密码或任意密码都能解开部分内容基本可以判定是伪加密。Python 侧可以用zipfile读文件头# check_pseudo_encryption.py import zipfile with zipfile.ZipFile(package.zip) as zf: for info in zf.infolist(): if info.flag_bits 0x1: print(f{info.filename} 标记为加密尝试清除标志位) info.flag_bits ~0x1 # 清除第0位加密标记 with zf.open(info) as f: data f.read() # 若数据实际未加密这里能读到内容解决确认是伪加密后在内存中修改ZipInfo.flag_bits再读取即可不需要破解任何东西。但要注意如果文件是真加密清除标志位后open读出来的是密文流CRC 校验会失败这种情况就不要硬来找发布者要密码或换渠道下载。4.2 zip 路径逃逸extractall 前先过滤 ../ 路径现象用zipfile.extractall()或unzip package.zip解压后发现压缩包里的文件名带着../文件被写到了解压目录之外的路径把原来的代码或数据覆盖了。原因zip 文件里的文件名是可以任意写的恶意构造或打包工具异常时可能产生../../xxx.py这类路径。Python 早期版本的extractall()不会校验路径直接拼接输出路径造成越界写入。Linux 下的unzip部分版本会拦截这种条目但行为不一致。解决解压前先遍历所有条目检查目标路径是否在解压目录之内发现越界直接报错# safe_extract.py import os import zipfile def safe_extract(zip_path, out_dir): out_dir os.path.abspath(out_dir) os.makedirs(out_dir, exist_okTrue) with zipfile.ZipFile(zip_path) as zf: for info in zf.infolist(): # 统一分隔符防止 Windows 反斜杠路径绕过 clean_name info.filename.replace(\\, /) target os.path.abspath(os.path.join(out_dir, clean_name)) if not target.startswith(out_dir os.sep) and target ! out_dir: raise RuntimeError(f路径越界: {info.filename}) zf.extractall(out_dir) print(f已安全解压到 {out_dir})这段代码先把文件名里的反斜杠统一成斜杠再用abspath展开所有..最后校验展开后的路径是否以输出目录为前缀。项目解压是复现基线的第一道关口路径逃逸这类问题最好自动化拦截不要依赖肉眼检查文件名。4.3 同一人的真实与伪造样本同时进 train/testEER 虚低现象模型在 dev 集上 EER 只有 1% 左右非常漂亮换到新的说话人录音或换一个伪造工具EER 直接跳到 10% 甚至更高。原因这是数据划分泄露导致的典型症状。前面 3.4 说过按说话人分组但还有一个更隐蔽的变体——同一个伪造工具生成的样本被同时分进训练集和测试集。比如训练集里有多条来自某个 TTS 系统的语音测试集里也有同系统的语音模型直接学「这个系统的频谱长这样」就能拿到低 EER跟伪造检测的核心目标「判断真实还是伪造」没关系。解决划分数据时额外加一个攻击类型attack_type维度。目标是让测试集的伪造手段完全不出现在训练集这模拟的是「见过新攻击」的真实部署场景。如果包内的伪造手段根本不够划分就降低预期把结果描述成「在已知攻击类型上的性能」而不是「泛化到未知攻击的性能」。这条血泪经验我踩过不止一次数据集划分的严谨程度决定模型评估的可信度。4.4 采样率口径不一致特征分布整体漂移现象训练时用 16kHz 提取 LFCCdev 表现正常把同一个模型搬到另一批数据上提取特征时shape 都对但 EER 全线变差怎么调参都无济于事。原因另一批数据的实际采样率不是 16kHz。如果原文件是 44.1kHz按 16kHz 的窗长参数做 STFTwin_length400实际对应的物理时长从 25ms 变成约 9ms特征分布完全改变。更隐蔽的是读取音频时有些库会自动重采样有些不会导致训练和推理两个阶段的特征系统性地不一致。解决在特征提取入口强制打印每批数据的实际采样率而不是相信文件名或目录名import librosa sr librosa.get_samplerate(path) assert sr 16000, f{path} 采样率是 {sr}不是 16000再配合torchaudio.functional.resample统一重采样。注意 resample 的滤波器质量也有影响librosa默认的soxr_hq比简单线性插值更稳重采样后建议对比一段频谱确认高频段没有被明显衰减。5. 进阶验证短语音鲁棒性检查与跨特征分数融合基线复现跑通后不要急着换大模型。先用两个便宜又有效的验证手段判断这个方案值不值得继续投入。第一个手段是多特征分数融合。LFCC 和 CQCC 从不同角度刻画伪造痕迹它们的模型输出相关性往往不高把两个模型的 logit 直接平均通常能比最优单特征再降 0.3-1.0 个点的 EER# score_fusion.py import numpy as np lfcc_score np.load(pred_lfcc.npy) # 模型输出越大越像伪造 cqcc_score np.load(pred_cqcc.npy) fused (lfcc_score cqcc_score) / 2.0 from eval_metrics import compute_eer eer compute_eer(y_true, fused)融合前先确认两个分数在各自模型上是校准过的 logit而不是概率值。logit 直接平均通常比概率平均更稳因为 Softmax 会压缩输出分布让融合变成简单的加权平均。第二个手段是短语音鲁棒性测试。伪造检测在真实场景里经常面对的不是整段语音而是几秒的片段。把测试音频按 2 秒窗口切成多段分别推理再取平均分数观察 EER 相比整段推理的劣化幅度。如果 2 秒窗口的 EER 劣化超过 2 个点说明模型依赖的是长程上下文信息部署时需要强制限制最短音频长度。我现在的习惯是任何 AudioForgeryDetection 项目到手先固定随机种子、记录 dev 集的 EER 和 min tDCF再把特征参数、模型结构、数据划分方式写进一个实验表格最后才谈优化。这套流程让我避免了很多次「指标好看、上线就废」的返工希望帮到你。本文还有配套的精品资源点击获取