简介这份资源是面向高校学生与深度学习入门者的无人机检测分类系统完整项目包适用于毕业设计、课程设计及期末大作业场景。项目将射频信号处理与YOLO目标检测算法结合通过接收无人机发射的无线电信号弥补可见光特征不足实现全天候的实时检测与分类涵盖数据预处理、模型训练、推理部署与参数配置等模块。压缩包共32个文件约49KB以26个Python脚本为主体承担训练、推理、模型摘要生成与配置等核心逻辑另有5个Markdown文档分别说明系统架构、数据集使用、快速入门与版本变更并附requirements.txt依赖清单。目录按data、models、scripts、demo、examples等分层组织结构清晰便于按模块阅读与二次开发。目前已有55人学习下载适合希望理解RF信号与视觉融合思路、快速搭建检测流程并完成论文或答辩展示的读者参考。1. 从射频指纹到视觉框无人机检测分类系统到底在做什么电磁频谱里突然冒出一个 2.4G 频段的跳频信号摄像头画面里同时出现一个缓慢移动的小黑点——这两条线索单独看都不足以定性但合在一起基本可以判断头顶有台无人机。这就是「基于 RF 信号与 YOLO 的无人机检测分类系统」要解决的核心问题把射频侧的信号特征和视觉侧的目标检测结果做融合输出「有没有无人机、是哪一类」的判断。这套方案适合谁做低空安防、机场净空、大型活动安保的工程团队手里已经有软件无线电接收设备或者摄像头想用 YOLO 做视觉检测、用 RF 做信号确认但不确定两条链路怎么对齐、怎么融合、阈值怎么设。下面按「RF 特征怎么提 → YOLO 怎么训 → 两路怎么融合 → 坑在哪」的顺序拆开讲每一步都给可复现的命令和参数。2. RF 信号链路从 IQ 采样到可分类的特征向量2.1 为什么不能直接把 IQ 数据丢给分类器无人机的射频信号通常是跳频或 OFDM 调制直接拿原始 IQ 采样做分类维度太高、信噪比太低模型根本学不到稳定特征。常见做法是先做时频变换把信号转成频谱图或者提取统计特征再送进分类网络。我一般会走两条路一条是 STFT 转时频谱图当成图像送 CNN另一条是提取手工特征频谱峰值、带宽、跳频周期、功率谱密度矩送轻量分类器。前者适合数据量大的场景后者适合边缘设备算力受限的情况。import numpy as np from scipy import signal def iq_to_spectrogram(iq_data, fs20e6, nperseg1024, noverlap512): 将复数 IQ 采样转为时频谱图 iq_data: 复数数组shape(N,) fs: 采样率默认 20MHz覆盖 2.4G 无人机图传常见带宽 nperseg: 每段 FFT 点数1024 在 20MHz 下频率分辨率约 19.5kHz noverlap: 段间重叠取 nperseg 的一半保证时间连续性 返回: 2D 幅度谱shape(freq_bins, time_frames) f, t, Sxx signal.spectrogram( iq_data, fsfs, npersegnperseg, noverlapnoverlap, return_onesidedFalse # IQ 是复数需要双边谱 ) Sxx np.fft.fftshift(Sxx, axes0) # 零频移到中心 Sxx_db 10 * np.log10(np.abs(Sxx) 1e-12) # 转 dB加小量防 log0 return Sxx_db # 使用示例 iq np.fromfile(drone_capture.bin, dtypenp.complex64) spec iq_to_spectrogram(iq) print(f时频谱尺寸: {spec.shape}) # 例如 (1024, 3907)这段代码的关键参数有三个nperseg决定频率分辨率1024 点在 20MHz 采样率下约 19.5kHz 一个 bin足够分辨无人机图传的载波间隔noverlap取一半是为了不让时间帧之间出现断裂return_onesidedFalse必须设因为 IQ 是复数信号只取单边会丢掉负频率信息。2.2 特征工程哪些统计量真正有区分度时频谱图直接送 CNN 可以但如果要做 RF 侧的快速预判比如先筛一遍再决定要不要启动 YOLO手工特征更划算。我实测下来以下几类特征对无人机信号区分度最高特征名计算方式区分能力备注频谱带宽功率谱 3dB 带宽高图传信号通常 10-20MHz跳频周期自相关峰值间隔高跳频无人机特有功率谱熵归一化谱的 Shannon 熵中区分定频干扰峰均比时域 PAPR中OFDM 信号 PAPR 较高频谱平坦度几何均值/算术均值中区分噪声和信号def extract_rf_features(iq_data, fs20e6): 提取 RF 统计特征向量 # 功率谱 f, Pxx signal.welch(iq_data, fsfs, nperseg2048, return_onesidedFalse) Pxx np.fft.fftshift(Pxx) Pxx_norm Pxx / (Pxx.sum() 1e-12) # 3dB 带宽 peak_idx np.argmax(Pxx) peak_power Pxx[peak_idx] above_half np.where(Pxx peak_power / 2)[0] bw_3db (above_half[-1] - above_half[0]) * (fs / len(Pxx)) if len(above_half) 1 else 0 # 功率谱熵 psd_entropy -np.sum(Pxx_norm * np.log2(Pxx_norm 1e-12)) # 峰均比 papr 10 * np.log10(np.max(np.abs(iq_data)**2) / (np.mean(np.abs(iq_data)**2) 1e-12)) # 频谱平坦度 geo_mean np.exp(np.mean(np.log(Pxx 1e-12))) ari_mean np.mean(Pxx) flatness geo_mean / (ari_mean 1e-12) return { bw_3db: bw_3db, psd_entropy: psd_entropy, papr_db: papr, flatness: flatness }这些特征提取完之后用一个简单的随机森林或者 SVM 就能做初筛准确率在信噪比 10dB 以上时通常能到 90% 以上。注意nperseg在 welch 里设 2048 是为了让频率分辨率比 STFT 更细代价是时间分辨率降低——初筛阶段不需要精确时间定位所以可以接受。2.3 RF 分类器的训练与阈值设定RF 侧的分类器不需要太复杂我一般用随机森林原因是训练快、可解释、对特征尺度不敏感。训练数据要覆盖三类无人机信号、其他 2.4G 设备WiFi、蓝牙、纯噪声。每类至少 500 个样本信噪比从 5dB 到 30dB 均匀分布。from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split import joblib # X: 特征矩阵 (n_samples, 4), y: 标签 (0噪声, 1其他设备, 2无人机) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, stratifyy) clf RandomForestClassifier( n_estimators200, # 200 棵树再往上收益递减 max_depth12, # 限制深度防过拟合 min_samples_leaf5, # 叶子最少 5 样本噪声大的数据集需要调大 class_weightbalanced # 三类样本不均衡时自动加权 ) clf.fit(X_train, y_train) print(f测试集准确率: {clf.score(X_test, y_test):.4f}) # 保存模型和特征顺序 joblib.dump(clf, rf_classifier.pkl)阈值设定上predict_proba输出的无人机类概率超过 0.7 才触发视觉链路低于 0.3 直接排除中间区间标记为「疑似」交给融合模块处理。这个 0.7/0.3 的双阈值是我踩过坑之后定的——单阈值 0.5 会导致大量 WiFi 信号被误判为无人机因为两者在频谱熵上很接近。3. YOLO 视觉链路数据集、训练与边缘部署3.1 无人机检测数据集怎么准备YOLO 训练最耗时的不是调参是标数据。无人机检测的数据集有几个特点目标小、背景复杂天空、建筑、树木、正负样本极度不均衡。我一般会从三个来源凑数据公开数据集如 Roboflow 上的 drone detection 数据集、自己用摄像头拍的视频抽帧、以及合成数据把无人机贴到不同背景上。标注格式用 YOLO 的 txt 格式每行class_id x_center y_center width height坐标归一化到 0-1。如果原始标注是 VOC 的 XML需要转换import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_path, output_dir, class_map): 将 VOC XML 转为 YOLO txt 格式 tree ET.parse(xml_path) root tree.getroot() size root.find(size) w int(size.find(width).text) h int(size.find(height).text) lines [] for obj in root.findall(object): cls_name obj.find(name).text if cls_name not in class_map: continue cls_id class_map[cls_name] bbox obj.find(bndbox) x1 float(bbox.find(xmin).text) y1 float(bbox.find(ymin).text) x2 float(bbox.find(xmax).text) y2 float(bbox.find(ymax).text) # 归一化并转为中心点宽高 xc (x1 x2) / 2 / w yc (y1 y2) / 2 / h bw (x2 - x1) / w bh (y2 - y1) / h lines.append(f{cls_id} {xc:.6f} {yc:.6f} {bw:.6f} {bh:.6f}) out_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(output_dir, out_name), w) as f: f.write(\n.join(lines)) # class_map {drone: 0, bird: 1, aircraft: 2}转换时最容易翻车的地方是坐标越界——有些标注的 xmax 超过了图像宽度归一化后大于 1YOLO 训练时会直接报错或者静默丢弃。建议转换后加一步校验把所有坐标 clamp 到 [0, 1]。3.2 YOLO 训练参数怎么设以 YOLOv8 为例无人机检测的训练配置和通用目标检测有几个区别输入分辨率要高小目标需要更多像素、anchor 要调小无人机在画面里通常只占几十个像素、数据增强要慎用旋转无人机在空中姿态变化有限。# 数据配置文件 drone_dataset.yaml # path: ./datasets/drone # train: images/train # val: images/val # names: # 0: drone # 1: bird # 2: aircraft yolo detect train \ datadrone_dataset.yaml \ modelyolov8s.pt \ imgsz1280 \ epochs150 \ batch8 \ lr00.001 \ lrf0.01 \ patience30 \ augmentTrue \ mosaic0.5 \ scale0.3 \ degrees5.0 \ device0参数逐个说imgsz1280是因为无人机目标小640 分辨率下很多样本的标注框只有 10×10 像素特征太弱batch8是在单卡显存有限时的折中如果显存够可以上 16lr00.001比默认的 0.01 小一个量级因为无人机数据集通常不大学习率太大会震荡mosaic0.5降低了默认的 1.0因为 mosaic 增强会把四张图拼在一起小目标更容易被裁掉degrees5.0限制旋转角度无人机不会倒着飞。训练过程中重点看两个指标mAP50 和 mAP50-95。如果 mAP50 上去了但 mAP50-95 很低说明框的位置不够准需要检查标注质量如果两者都上不去先看损失函数曲线分类损失不降通常是类别不平衡框回归损失不降通常是 anchor 不匹配。3.3 边缘设备部署RK3588 和树莓派的实测差异视觉链路的最终落地大概率在边缘设备上。RK3588 自带 NPU跑 YOLOv8s 在 640 分辨率下能到 30fps 以上树莓派 4B 只有 CPU同样模型只能到 2-3fps基本不可用。如果非要用树莓派得换 YOLOv8n 并且降到 320 分辨率但小目标检测效果会明显下降。# RK3588 上使用 rknn 推理的简化流程 from rknnlite.api import RKNNLite rknn RKNNLite() rknn.load_rknn(yolov8s_drone.rknn) rknn.init_runtime(core_maskRKNNLite.NPU_CORE_0_1_2) # 三核全开 # 预处理letterbox 到 640x640归一化到 0-1 # 推理后处理解码输出NMS部署时最常见的坑是预处理不一致——训练时用的是 letterbox 填充部署时如果直接 resize 会导致长宽比失真检测框偏移。另一个坑是量化RKNN 默认做 int8 量化如果校准集里无人机样本太少量化后小目标的检测率会掉得很厉害。建议校准集至少 200 张且包含各种背景和光照条件。4. 两路融合RF 触发 视觉确认的工程实现4.1 融合架构松耦合还是紧耦合RF 和视觉的融合有两种做法。松耦合是 RF 先做初筛只有 RF 判定「疑似无人机」时才启动 YOLO优点是省算力缺点是 RF 漏检时视觉也不会启动。紧耦合是两路同时跑在决策层做融合优点是召回率高缺点是对算力要求高。我一般推荐松耦合加一个定时唤醒机制RF 持续低功耗监听每 5 秒做一次快速判断如果连续两次判定为「疑似」就唤醒视觉链路跑 10 秒。这样在无人机悬停或者慢速移动的场景下不会漏同时大部分时间视觉链路是休眠的。import time class DroneDetectionFusion: def __init__(self, rf_clf, yolo_model, rf_threshold0.7, vis_threshold0.5): self.rf_clf rf_clf self.yolo yolo_model self.rf_threshold rf_threshold self.vis_threshold vis_threshold self.rf_suspicious_count 0 def run(self, iq_buffer, frame_buffer): # RF 侧快速判断 features extract_rf_features(iq_buffer) rf_prob self.rf_clf.predict_proba([list(features.values())])[0][2] if rf_prob self.rf_threshold: self.rf_suspicious_count 1 else: self.rf_suspicious_count max(0, self.rf_suspicious_count - 1) # 连续两次疑似才启动视觉 if self.rf_suspicious_count 2: detections self.yolo(frame_buffer) drone_boxes [d for d in detections if d[class] 0 and d[conf] self.vis_threshold] if len(drone_boxes) 0: return {result: drone_confirmed, rf_prob: rf_prob, boxes: drone_boxes} return {result: no_drone, rf_prob: rf_prob}融合逻辑里rf_suspicious_count的加减机制是关键加一容易减一是为了不让偶发的 RF 误判持续累积。如果 RF 概率掉下去了计数慢慢减不会一直卡在触发状态。4.2 时间对齐RF 和视觉的延迟怎么处理RF 链路的处理延迟通常在几十毫秒STFT 分类视觉链路在边缘设备上可能到 100-200ms。如果两路数据不是同一时刻采集的融合时会出现「RF 说有、视觉说没有」的矛盾。解决办法是在采集端打时间戳融合时只取时间差在 200ms 以内的 RF 和视觉结果做关联。超过这个窗口的各自独立输出不做融合判断。这个 200ms 是根据无人机典型移动速度10-20m/s和检测距离100-500m估算的——再大就可能是两个不同的目标了。4.3 分类输出怎么区分无人机型号如果需求不只是「有没有无人机」还要区分型号比如大疆 Mini vs 御系列RF 侧的特征比视觉更可靠。原因是不同型号的图传协议、跳频图案、带宽不同这些在频谱上是有指纹的。视觉侧因为距离远、分辨率低很难区分外形相似的型号。做法是在 RF 分类器里把「无人机」这一类再细分用层次分类第一层分「噪声/其他/无人机」第二层对「无人机」再分型号。第二层需要每个型号至少 300 个样本且要覆盖不同的飞行模式悬停、前进、云台转动。5. 避坑与排查那些让系统半夜报警的细节5.1 坑一WiFi 路由器被持续误判为无人机现象系统在办公区部署后RF 侧频繁触发无人机告警但视觉侧什么都看不到。原因2.4G WiFi 的 OFDM 信号和无人机图传在频谱熵、PAPR 上很接近随机森林把 WiFi 分到了无人机类。尤其是 WiFi 在大量数据传输时频谱特征和无人机图传几乎重合。解决在特征里加入跳频检测——WiFi 是定频的无人机图传通常有跳频或信道切换。具体做法是计算频谱峰值频率在时间窗内的方差方差大于阈值的才可能是无人机。另外训练数据里必须加入足量的 WiFi 样本我一般会加 2000 个以上。5.2 坑二YOLO 把飞鸟检测成无人机现象视觉链路在傍晚时段误检率飙升大量飞鸟被框成无人机。原因飞鸟和无人机在远距离下都是一个小黑点YOLO 学到的特征主要是形状和运动模式。如果训练集里飞鸟样本不够模型会把任何天空中的小目标都判为无人机。解决训练集里必须加入飞鸟类而且飞鸟样本要覆盖不同种类和飞行姿态。另外可以在后处理里加运动特征过滤——无人机的运动通常是直线或悬停飞鸟的运动轨迹更随机。简单做法是跟踪连续 5 帧的检测框计算轨迹的平滑度。5.3 坑三RK3588 量化后小目标全丢现象PC 上测试 mAP50 有 0.85转到 RK3588 上跑 int8 量化后掉到 0.4小目标几乎全丢。原因int8 量化的校准集如果以中大型目标为主小目标的激活值范围没有被覆盖量化后小目标的特征被截断。解决校准集要专门包含小目标样本至少 100 张只有小目标的图。另外可以尝试混合量化——对检测头的前几层保持 fp16只对 backbone 做 int8。RKNN 工具链支持分层量化配置具体在rknn.config()里设quantized_dtype和quantized_algorithm。5.4 坑四多线程下 RF 和视觉抢 CPU现象两路同时跑的时候RF 侧的处理延迟从 30ms 涨到 200ms导致时间对齐失效。原因Python 的 GIL 导致 CPU 密集型任务无法真正并行RF 的 STFT 和 YOLO 的预处理互相抢资源。解决RF 侧用 C 扩展或者 numba 加速 STFT视觉侧用 NPU 或者 GPU 推理把 CPU 留给数据搬运和融合逻辑。如果必须用 Python把 RF 处理放到独立进程multiprocessing而不是线程。5.5 坑五训练时 BN 层崩溃导致 loss 变 NaN现象YOLO 训练到第 30 个 epoch 左右loss 突然变成 NaN之后再也降不下来。原因无人机数据集里有些标注框宽高为 0标注错误计算 loss 时出现除零。另外 batch size 太小时 BN 层的方差估计不稳定。解决训练前加一步数据校验过滤掉宽高小于 2 像素的标注框。batch size 至少 8如果显存不够就降分辨率而不是降 batch。另外可以在训练配置里加梯度裁剪clip_grad10.0防止梯度爆炸。6. 进阶技巧用 RF 引导视觉做 ROI 裁剪前面讲的融合都是在决策层做的还有一个更细粒度的做法用 RF 侧的到达角估计AoA引导视觉链路做 ROI 裁剪。如果 RF 能估出无人机的方位角就可以只对图像中对应区域做高分辨率检测既省算力又提精度。具体做法是用双天线或者天线阵列做相位差测向得到方位角后映射到图像坐标。映射关系需要事先标定在已知距离和角度放置信号源记录 RF 角度和图像像素坐标的对应关系拟合一个仿射变换矩阵。import numpy as np def rf_angle_to_roi(azimuth_deg, elevation_deg, calib_matrix, img_shape): 将 RF 测向角度映射到图像 ROI calib_matrix: 3x3 仿射矩阵由标定得到 pt np.array([azimuth_deg, elevation_deg, 1.0]) pixel calib_matrix pt px, py pixel[0] / pixel[2], pixel[1] / pixel[2] # 以映射点为中心裁 320x320 的 ROI h, w img_shape[:2] x1 max(0, int(px - 160)) y1 max(0, int(py - 160)) x2 min(w, int(px 160)) y2 min(h, int(py 160)) return x1, y1, x2, y2这个方案的前提是 RF 测向精度足够——相位差测向在信噪比 15dB 以上时角度误差可以做到 5 度以内对应到 500 米距离大约是 40 米的定位误差。如果摄像头视场角是 60 度、分辨率 192040 米对应大约 128 像素所以 ROI 不能裁太小320×320 是下限。标定矩阵的获取需要在部署现场做一次用信号源在至少 6 个不同角度发射记录每个角度下信号源在图像中的像素位置用最小二乘法拟合。注意标定时的距离要和实际检测距离接近否则透视误差会导致映射偏移。我自己踩过的一个坑是标定时用的是 2.4G 信号源但实际无人机图传在 5.8G两个频段的天线相位响应不同导致映射矩阵偏差了十几度。后来改成用同频段的信号源标定才解决。这个细节在实验室里很容易忽略到了现场就是血泪教训。如果你正在评估这个方向我的建议是先把 RF 侧的初筛做稳再上视觉。RF 链路成本低、覆盖广即使视觉还没调好RF 单独也能提供可用的告警。等 RF 的误报率压到可接受范围再逐步接入 YOLO 做确认和分类。希望帮到你。本文还有配套的精品资源点击获取