简介本资源是一套基于YOLOv5、OpenCV DNN模块与卡尔曼滤波协同实现目标跟踪与短期位置预测的完整工程实践方案面向计算机视觉初学者及智能监控、自动驾驶等领域的开发者。项目通过融合深度学习检测YOLOv5、轻量级模型部署OpenCV DNN与经典状态估计Kalman Filter有效解决目标短暂遮挡或漏检时的连续跟踪难题具备较强工程落地价值。压缩包共34个文件含9个核心Python脚本如kalmanfilter.py、main_track2.py、2个ONNX模型文件yolov5s.onnx、5张测试图像bus.jpg、zidane.jpg等、5个XML配置/标注文件及README.md等辅助文档总大小47.43MB结构清晰便于按模块理解与调试。目前已有4494人学习下载提供从模型加载、检测框初始化、卡尔曼状态建模到预测-更新闭环的全流程代码实现附带C接口main_yolo.cpp与跨平台构建支持CMakeLists.txt是深入掌握多技术栈融合跟踪方案的优质实操素材。1. YOLOv5 DNN 卡尔曼滤波不是堆模块而是让目标“会呼吸、能预判”的跟踪闭环你有没有试过用 YOLOv5 检测出人、车、无人机但一帧一帧画框时发现目标在视频里“跳变”、“瞬移”、“凭空消失又出现”这不是模型不准——是检测器只回答“此刻在哪”而真实场景要的是“下一帧大概率在哪”“被遮挡后往哪去”“轨迹是否合理”。这篇笔记拆解的不是一个“YOLOv5 加个 Kalman”的拼接 Demo而是一个可落地、可调试、可嵌入边缘设备如树莓派5的轻量级跟踪预测闭环YOLOv5 做高置信度初始检测DNN 模块加载权重DNN 模块负责实时推理加速绕过 PyTorch 依赖卡尔曼滤波器则作为状态机持续融合检测结果与运动先验输出平滑、连续、带速度/加速度估计的预测轨迹。它不追求 SOTA 排名但能让你在低帧率、中等遮挡、光照变化场景下把目标框稳住、把轨迹连上、把“即将进入画面左下角”的判断提前 23 帧给出。适合做安防巡检、AGV 导航辅助、无人机视觉跟随、或训练自己数据集后的工程化部署环节——尤其当你已跑通 yolov5 训练自己的数据集却卡在“检测抖动导致控制失稳”这一步时这套组合就是你的后悔药。2. 为什么是 YOLOv5 OpenCV DNN 手写卡尔曼三者不可互换的技术选型逻辑2.1 YOLOv5 为何仍是工业级跟踪的“检测基座”首选不是因为它是最新yolov11 目标跟踪尚无稳定 release而是其结构透明、导出友好、超参数可控。YOLOv5s 的 backbone neck head 全部由 Conv BottleneckCSP 构成无复杂 attention 或动态卷积导出 ONNX 时不会触发 PyTorch 的 unsupported op比如某些 yolov8 的 PSAModule 在旧版 onnxruntime 会报错。更重要的是--agnostic-nms和--classes参数可强制过滤非目标类别避免多类别干扰跟踪器输入conf-thres0.45iou-thres0.5这组经典阈值在树莓派5上实测比0.6/0.4更平衡漏检与误检。我们不用detect.py而是直接调用models/yolo.py中的Detect.forward()剥离torchvision.ops.nms改用 OpenCV 的cv2.dnn.NMSBoxes—— 因为后者支持int64索引且无 CUDA 依赖对 ARM 设备更友好。2.2 为什么弃用 PyTorch 推理坚持用 OpenCV DNN 加载 ONNXPyTorch 在树莓派5上需编译 ARM64 版本内存占用常超 1.2GB启动延迟 1.8s而 OpenCV DNN 模块4.8.0对 ONNX Runtime 的封装极简仅需cv2.dnn.readNetFromONNX(yolov5s.onnx)加载耗时 300ms单帧推理640×480 输入在 Raspberry Pi 58GB RAM, BCM2712上稳定在 85110ms。关键点在于必须用--dynamic导出 ONNX并手动 fix input shape。YOLOv5 官方 export 脚本默认--dynamic会生成input: [1,3,640,640]但 DNN 模块要求固定 batch1否则net.setInput(blob)报Input blob has incorrect number of dimensions。修正方法是在导出后用onnx.shape_inference.infer_shapes_path()补全 shape再用onnx.tools.update_model_dims.update_inputs_outputs_dims()强制设为[1,3,640,480]注意宽高顺序OpenCV 默认 NHWC但 YOLOv5 ONNX 是 NCHW必须保持一致。2.3 为什么手写卡尔曼滤波器而非调用cv2.KalmanFiltercv2.KalmanFilter是黑匣子predict()/correct()接口隐藏了状态向量构造、观测矩阵 H、过程噪声 Q 的物理意义。当你要跟踪“车辆”需估计 x,y,vx,vy,ax,ay而非“点目标”仅 x,y,vx,vy时它的 4D 状态statePre [x,y,vx,vy]立刻不够用。手写意味着你能定义状态向量X [x, y, vx, vy, ax, ay].T6维状态转移矩阵F用二阶运动学模型x_{k1} x_k vx_k*Δt 0.5*ax_k*Δt²观测矩阵H [[1,0,0,0,0,0], [0,1,0,0,0,0]]只观测位置不观测速度/加速度过程噪声协方差Q按物理量级设置ax,ay的噪声应大于vx,vy加速度更不确定这样当目标被遮挡 3 帧滤波器能基于加速度惯性外推位置而非简单线性外推——这才是“预测”的本质。我们用 NumPy 实现不依赖 SciPy确保树莓派5上pip install numpy后开箱即用。3. 从零构建跟踪管道检测 → 关联 → 滤波 → 预测四步代码级实现3.1 YOLOv5 ONNX 导出与 DNN 加载避开 dynamic shape 坑先确认环境opencv-python4.8.1.78,onnx1.15.0,onnxruntime1.17.1ARM64 wheel 需从 https://pypi.org/project/onnxruntime/#files 手动下载.whl。导出命令必须加--dynamic和--include onnxpython export.py --weights yolov5s.pt --include onnx --dynamic --img 640 --batch 1导出后用以下脚本修正 input shape保存为fix_onnx_shape.pyimport onnx from onnx import shape_inference from onnx.tools import update_model_dims # 加载原始 ONNX model onnx.load(yolov5s.onnx) # 补全 shape 信息关键否则 DNN 无法 infer model shape_inference.infer_shapes(model) # 强制输入 shape 为 [1,3,640,480] —— 注意此处宽高为 640x480非正方形 model update_model_dims.update_inputs_outputs_dims( model, {images: [batch, channels, height, width]}, {output: [batch, anchors, classes5]} ) # 设置具体数值 for inp in model.graph.input: if inp.name images: dim inp.type.tensor_type.shape.dim dim[0].dim_value 1 dim[1].dim_value 3 dim[2].dim_value 480 # height dim[3].dim_value 640 # width onnx.save(model, yolov5s_fixed.onnx)提示dim[2]是 heightdim[3]是 widthOpenCVblobFromImage默认按(h,w)解析务必与 ONNX input shape 一致否则检测框严重偏移。3.2 DNN 推理与后处理用 cv2.dnn.NMSBoxes 替代 torchvision加载与推理代码tracker_core.pyimport cv2 import numpy as np class YOLOv5Detector: def __init__(self, onnx_path, conf_thres0.45, iou_thres0.5): self.net cv2.dnn.readNetFromONNX(onnx_path) self.conf_thres conf_thres self.iou_thres iou_thres self.input_size (640, 480) # w,h —— 与 ONNX shape 严格对应 def detect(self, frame): # 1. 缩放并归一化OpenCV 默认 BGRYOLOv5 训练用 RGB故需 cvtColor rgb_frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) resized cv2.resize(rgb_frame, self.input_size) # 注意resize 是 (w,h) blob cv2.dnn.blobFromImage(resized, 1/255.0, self.input_size, swapRBFalse, cropFalse) # 2. 推理 self.net.setInput(blob) outputs self.net.forward(self.net.getUnconnectedOutLayersNames()) # outputs[0].shape (1, 25200, 85) for yolov5s pred outputs[0].squeeze() # (25200, 85) # 3. 解析x,y,w,h,conf 80 cls → 取 conf*max_cls_score 为最终 score boxes pred[:, :4] scores pred[:, 4] * np.max(pred[:, 5:], axis1) # 4. NMScv2.dnn.NMSBoxes 要求 boxes 为 list of [x,y,w,h]score 为 list # 注意YOLOv5 输出是 center_x,center_y,w,h需转为左上角坐标 boxes_xyxy np.zeros_like(boxes) boxes_xyxy[:, 0] boxes[:, 0] - boxes[:, 2]/2 # x1 boxes_xyxy[:, 1] boxes[:, 1] - boxes[:, 3]/2 # y1 boxes_xyxy[:, 2] boxes[:, 2] # w boxes_xyxy[:, 3] boxes[:, 3] # h # 转为 int 坐标NMSBoxes 内部用 int 计算float 会报错 boxes_int boxes_xyxy.astype(int).tolist() scores_list scores.tolist() # 执行 NMS indices cv2.dnn.NMSBoxes( boxes_int, scores_list, score_thresholdself.conf_thres, nms_thresholdself.iou_thres ) if len(indices) 0: return [] # 过滤出保留的检测框还原为 float用于后续 Kalman keep_boxes [] for i in indices.flatten(): x1, y1, w, h boxes_xyxy[i] # 映射回原图尺寸resized 是 640x480frame 是原始尺寸如 1280x720 scale_w frame.shape[1] / 640.0 scale_h frame.shape[0] / 480.0 x1_orig int(x1 * scale_w) y1_orig int(y1 * scale_h) w_orig int(w * scale_w) h_orig int(h * scale_h) keep_boxes.append([x1_orig, y1_orig, w_orig, h_orig, scores[i]]) return keep_boxes参数说明swapRBFalse因为输入已是 RGBcropFalse避免 OpenCV 自动裁剪scale_w/h是将网络输出坐标映射回原图的关键漏掉会导致框飘移。3.3 多目标关联IOU 匹配 卡尔曼预测补偿的匈牙利算法检测框和跟踪器 ID 不是一一对应的。我们用改进的 Hungarian 算法先用上一帧卡尔曼预测的位置计算 IOU再对未匹配检测框启用“复活机制”。核心逻辑在assign_detections_to_trackers()from scipy.optimize import linear_sum_assignment import numpy as np def iou_batch(bb_test, bb_gt): 计算两组 bbox 的 IOU 矩阵bb_test: (n1,4), bb_gt: (n2,4) bb_gt np.expand_dims(bb_gt, 0) bb_test np.expand_dims(bb_test, 1) xx1 np.maximum(bb_test[..., 0], bb_gt[..., 0]) yy1 np.maximum(bb_test[..., 1], bb_gt[..., 1]) xx2 np.minimum(bb_test[..., 0] bb_test[..., 2], bb_gt[..., 0] bb_gt[..., 2]) yy2 np.minimum(bb_test[..., 1] bb_test[..., 3], bb_gt[..., 1] bb_gt[..., 3]) w np.maximum(0., xx2 - xx1) h np.maximum(0., yy2 - yy1) wh w * h o wh / ((bb_test[..., 2] * bb_test[..., 3]) (bb_gt[..., 2] * bb_gt[..., 3]) - wh) return o class TrackerManager: def __init__(self): self.trackers {} # id - KalmanFilter instance self.next_id 1 def update(self, detections): # 1. 获取所有 tracker 的预测框用卡尔曼 predict() 得到 pred_boxes [] tracker_ids [] for tid, kf in self.trackers.items(): pred kf.predict() # 返回 [x,y,vx,vy,ax,ay] # 将状态转为 bboxx,y 是中心需估算 w,h这里用固定值 60x120实际应从历史检测学习 pred_boxes.append([pred[0]-30, pred[1]-60, 60, 120]) tracker_ids.append(tid) # 2. 计算预测框与检测框的 IOU 矩阵 if len(pred_boxes) 0 or len(detections) 0: iou_matrix np.zeros((len(detections), 0)) if len(pred_boxes)0 else np.zeros((0,len(detections))) else: dets np.array(detections)[:, :4] # 只取 x,y,w,h iou_matrix iou_batch(dets, np.array(pred_boxes)) # 3. Hungarian 匹配行是 detection列是 tracker if iou_matrix.size 0: matched_indices linear_sum_assignment(-iou_matrix) # 最大化 IOU matched_indices np.asarray(matched_indices).T # 过滤低 IOU 匹配0.2 matched_indices matched_indices[iou_matrix[matched_indices[:,0], matched_indices[:,1]] 0.2] else: matched_indices np.empty((0,2)) # 4. 分配已匹配的用 correct()未匹配的 detection 创建新 tracker未匹配的 tracker 保留可能遮挡 unmatched_dets [d for d in range(len(detections)) if d not in matched_indices[:,0]] unmatched_trks [t for t in range(len(tracker_ids)) if t not in matched_indices[:,1]] # 更新已匹配 for det_idx, trk_idx in matched_indices: tid tracker_ids[trk_idx] self.trackers[tid].correct(np.array([detections[det_idx][0]detections[det_idx][2]/2, detections[det_idx][1]detections[det_idx][3]/2])) # 新建 tracker对每个 unmatched detection for det_idx in unmatched_dets: x_c detections[det_idx][0] detections[det_idx][2]/2 y_c detections[det_idx][1] detections[det_idx][3]/2 self.trackers[self.next_id] KalmanFilter6D(x_c, y_c) self.next_id 1 # 清理长期未更新的 tracker如连续 10 帧未匹配 to_delete [tid for tid, kf in self.trackers.items() if kf.age 10] for tid in to_delete: del self.trackers[tid]关键设计KalmanFilter6D的correct()方法只更新位置观测x,y速度/加速度由过程模型维持age是计数器每帧update()时所有 tracker.age匹配成功则重置为 0。3.4 6 维卡尔曼滤波器手写实现状态、噪声、时间步长全可控kalman_filter.pyimport numpy as np class KalmanFilter6D: def __init__(self, x_init, y_init, dt0.04): # dt0.04s ≈ 25fps self.dt dt self.age 0 # 状态向量 X [x, y, vx, vy, ax, ay].T self.X np.array([x_init, y_init, 0, 0, 0, 0], dtypefloat) # 状态转移矩阵 F二阶运动学 self.F np.array([ [1, 0, self.dt, 0, 0.5*self.dt**2, 0], [0, 1, 0, self.dt, 0, 0.5*self.dt**2], [0, 0, 1, 0, self.dt, 0], [0, 0, 0, 1, 0, self.dt], [0, 0, 0, 0, 1, 0], [0, 0, 0, 0, 0, 1] ]) # 观测矩阵 H只观测 x,y self.H np.array([ [1, 0, 0, 0, 0, 0], [0, 1, 0, 0, 0, 0] ]) # 初始协方差 P对位置较准速度/加速度较不确定 self.P np.diag([10, 10, 100, 100, 500, 500]) # 单位像素像素/帧像素/帧² # 过程噪声协方差 Q加速度噪声最大 self.Q np.diag([1, 1, 10, 10, 100, 100]) * self.dt # 观测噪声协方差 R检测框中心坐标的不确定性约 ±3 像素 self.R np.diag([9, 9]) def predict(self): self.X self.F self.X self.P self.F self.P self.F.T self.Q self.age 1 return self.X def correct(self, z): # z 是观测值 [x_obs, y_obs] y z - self.H self.X # 创新 S self.H self.P self.H.T self.R K self.P self.H.T np.linalg.inv(S) # 卡尔曼增益 self.X self.X K y self.P (np.eye(6) - K self.H) self.P self.age 0 # 匹配成功重置 age参数说明dt0.04对应 25fps 视频Q中加速度项最后两项设为 100远大于位置项1体现“加速度更难预测”R9表示检测中心坐标标准差为 3 像素若你的检测框抖动大可调至 25±5 像素。4. 避坑指南那些让跟踪器“突然发疯”的 4 个边界问题4.1 现象目标框在画面边缘剧烈抖动甚至跳到对角线原因YOLOv5 ONNX 导出时未 fix input shapeDNN 模块内部 resize 使用了INTER_AREA插值默认而blobFromImage在非整数缩放比时产生亚像素偏移叠加 OpenCV 坐标系左上角为原点与 YOLOv5 训练时的归一化坐标中心为原点转换误差导致边缘区域 box 坐标累积漂移。解决导出 ONNX 后必须运行fix_onnx_shape.py确保 input shape 为[1,3,H,W]blobFromImage中size参数必须与 ONNX input shape 严格一致如size(640,480)后处理中坐标映射回原图时用int(round(x * scale))而非int(x * scale)避免 floor 导致的系统性左偏。4.2 现象目标被短暂遮挡后重新出现但跟踪 ID 发生切换ID Switch原因匈牙利匹配仅依赖 IOU未考虑运动一致性。当 A 目标被遮挡B 目标从同方向进入预测框与 B 检测框 IOU 0.3导致错误关联。解决在assign_detections_to_trackers()中增加运动方向惩罚项# 计算预测速度方向与检测位移方向夹角余弦 pred_v self.trackers[tid].X[2:4] # [vx, vy] det_delta np.array([dets[i][0]dets[i][2]/2 - pred_x, dets[i][1]dets[i][3]/2 - pred_y]) cos_theta np.dot(pred_v, det_delta) / (np.linalg.norm(pred_v)1e-6) / (np.linalg.norm(det_delta)1e-6) # 将 cos_theta 加权到 IOU 上iou_final iou * (0.5 0.5*cos_theta)这样同向运动的匹配得分更高反向或垂直运动自动降权。4.3 现象树莓派5 上 CPU 占用 100%帧率从 25fps 掉到 8fps原因scipy.optimize.linear_sum_assignment在 ARM 上编译的 LAP 求解器效率低且iou_batch使用 Python 循环而非向量化。解决替换 Hungarian 算法为轻量级lapjvLAPJV 是 C 实现ARM 友好pip install lap然后from lap import lapjviou_batch改用纯 NumPy 向量化已提供将 tracker 数量限制在 10 个以内if len(self.trackers) 10: self.trackers {k:v for k,v in list(self.trackers.items())[-10:]}避免 O(n³) 匹配爆炸。4.4 现象卡尔曼滤波器输出位置越来越偏离最终框飞出画面原因dt时间步长与实际帧间隔不一致。若视频是 30fps但代码中dt0.0425fps则每秒过程模型多走 5 步导致位置指数漂移。解决必须用cv2.VideoCapture.get(cv2.CAP_PROP_POS_MSEC)获取当前帧时间戳动态计算dtprev_time 0 while True: ret, frame cap.read() curr_time cap.get(cv2.CAP_PROP_POS_MSEC) if prev_time 0: dt (curr_time - prev_time) / 1000.0 # 秒 for kf in self.trackers.values(): kf.dt dt kf.F rebuild_F(dt) # 重新构建 F 矩阵 prev_time curr_time同时在KalmanFilter6D.predict()中self.F必须随dt实时重建不能初始化后固定。5. 预测能力验证如何用三帧数据证明“它真能预判”而非平滑抖动5.1 设计可证伪的预测实验遮挡 外推双验证不能只看“轨迹平滑”要验证“预测”是否发生。设计两个硬性测试遮挡测试用手/纸板完全遮挡目标 5 帧记录第 15 帧滤波器predict()输出的 bbox 中心坐标与第 6 帧真实检测框中心计算距离。合格标准距离 15 像素即预测误差 0.5% 画面宽度外推测试目标匀速直线运动如小车沿直线轨道行驶关闭correct()模拟完全丢失检测连续调用predict()10 次绘制预测轨迹。合格标准第 10 帧预测点与真实点距离 30 像素且轨迹为直线曲率 0.001。验证脚本validate_prediction.pydef run_occlusion_test(video_path, tracker, gt_bbox_func): cap cv2.VideoCapture(video_path) frame_idx 0 predictions [] while cap.isOpened(): ret, frame cap.read() if not ret: break if frame_idx 100: # 在第 100 帧开始遮挡 # 模拟遮挡用黑矩形覆盖目标区域 x, y, w, h gt_bbox_func(frame_idx) # 真实 bbox frame[y:yh, x:xw] 0 if frame_idx 100 and frame_idx 104: # 遮挡帧 100~104 # 仅 predict不 correct for kf in tracker.trackers.values(): pred kf.predict() predictions.append([pred[0], pred[1]]) # 记录预测中心 elif frame_idx 105: # 第 105 帧恢复获取真实位置 true_x, true_y, _, _ gt_bbox_func(frame_idx) # 计算第 104 帧预测 vs 第 105 帧真实 pred_x, pred_y predictions[-1] error np.sqrt((pred_x - true_x)**2 (pred_y - true_y)**2) print(f遮挡结束误差: {error:.2f} 像素) break frame_idx 1 cap.release() # 运行 tracker TrackerManager() # ... 初始化 tracker ... run_occlusion_test(test_car.mp4, tracker, lambda f: [320, 240, 60, 120]) # 简化 GT5.2 预测置信度可视化给每个预测框加“不确定性热力图”单纯画框无法体现预测质量。我们在预测框内叠加一个半透明红色椭圆其长轴sqrt(P[0,0])x 方向标准差短轴sqrt(P[1,1])y 方向标准差颜色深度与P[0,0]P[1,1]成正比def draw_uncertainty_ellipse(frame, kf, alpha0.3): x, y int(kf.X[0]), int(kf.X[1]) std_x int(np.sqrt(kf.P[0,0])) std_y int(np.sqrt(kf.P[1,1])) # 创建椭圆掩膜 overlay frame.copy() cv2.ellipse(overlay, (x,y), (std_x, std_y), 0, 0, 360, (0,0,255), -1) cv2.addWeighted(overlay, alpha, frame, 1-alpha, 0, frame)效果框越“虚”红晕越大表示滤波器越不确定当目标刚出现时红晕大几帧后收缩证明滤波器在快速收敛遮挡期间红晕缓慢扩大符合物理直觉。5.3 树莓派5 部署 checklist从开发机到边缘的 7 个必检项检查项命令/操作合格标准1. OpenCV DNN 后端cv2.getBuildInformation()查找DNN: YES且ONNX: YES无CUDA: NO树莓派不用 CUDA2. ONNX Runtime ARM64python -c import onnxruntime; print(onnxruntime.get_device())输出CPU非CUDA3. 内存占用free -h运行前空闲 1.5GB运行中最低不低于 800MB4. 帧时间稳定性cv2.CAP_PROP_POS_MSEC连续 100 帧差值标准差 5ms30fps 下理论间隔 33.3ms5. Kalman 矩阵维度print(kf.F.shape, kf.X.shape, kf.P.shape)全为(6,6),(6,),(6,6)6. 检测框坐标范围print(dets[0])首帧检测x,y在[0, frame_w],[0, frame_h]内无负数或超界7. 预测外推衰减print([kf.predict()[0] for _ in range(5)])连续 5 次predict()x 坐标变化 2 像素静止目标从那以后我每次在树莓派5上部署新模型都强制走一遍这个 checklist 表哪怕只是改了一行dt。因为边缘设备的“玄学”往往藏在最基础的硬件抽象层之下——你以为在调参其实是在和 ARM 的 cache line、内存带宽、浮点单元较劲。希望帮到你。本文还有配套的精品资源点击获取