简介这份源码面向计算机视觉与深度学习方向的研究人员和开发者围绕UCF101数据集提供3D CNN与CNNRNN两条技术路线的视频动作识别实现适合具备一定Python与深度学习基础、希望快速上手视频分类实验的读者。压缩包共82个文件、约19.35MB包含12个py脚本与12个ipynb笔记本用于模型定义、训练与测试16个npy和14个pkl文件保存训练损失、评分曲线与预测结果另有11张png图表、1个gif演示动画及readme说明文档。目录按Conv3D、CRNN、ResNetCRNN三个模块组织各自配有独立的检查预测脚本与输出结果便于横向对比不同架构的表现。目前已有360人学习。读者可据此复现从数据加载、时空特征提取到长序列建模的完整流程并借助损失曲线与错误预测样本分析模型改进方向。1. 从一段“跑不动”的 UCF101 训练说起这套源码到底能帮你省掉什么如果你做过视频动作识别大概率经历过这个场景数据集下好了UCF101 的 101 个类别、13320 段视频躺在硬盘里但真要把它们喂进网络光是抽帧、对齐、切分训练集就够折腾一整天。更别提 3D CNN 的输入张量是(batch, frames, H, W, C)这种五维结构和图像分类完全不是一个套路很多人卡在数据管道上就放弃了。这套基于 3D CNN 和 CNNRNN 的 UCF101 视频分类源码解决的正是从“原始 avi 文件”到“可训练模型”再到“推理输出类别”的完整链路。它适合两类人一是想快速跑通视频分类 baseline 的学生和转行者二是需要拿一个能改、能对比双模型结构的从业者。源码把两条技术路线放在同一个工程里3D CNN 直接对时空立方体做卷积CNNRNN 则用 CNN 抽帧特征再交给 RNN 建模时序两条路各有取舍后面会拆开讲。你不需要从零写 Dataset也不用纠结 UCF101 的官方 split 怎么读这些在源码里都有对应实现。2. 两条技术路线怎么选3D CNN 与 CNNRNN 的结构差异和输入约定2.1 3D CNN 的时空卷积到底卷了什么3D CNN 的核心思路是把视频当成一个三维体数据卷积核在时间、高度、宽度三个维度上同时滑动。以常见的 C3D 结构为例输入是(batch, 16, 112, 112, 3)表示一次取 16 帧、每帧缩放到 112×112、3 通道。卷积核尺寸是(3, 3, 3)也就是在时间轴上一次看 3 帧空间上 3×3。这样第一层就能捕捉到短时运动比如挥手、跳跃这类动作在连续几帧里的变化。源码里 3D CNN 分支通常堆叠 4 到 5 个卷积块每个块后接池化时间维度逐步压缩最后用全局平均池化或全连接输出 101 维分类向量。为什么选 3D CNN因为它对短时动作的建模是“原生”的不需要额外设计时序模块。但代价也很直接参数量大、显存吃紧。16 帧 112×112 的输入单样本就是 16×112×112×3≈60 万个体素值batch size 稍微大一点就爆显存。所以源码里一般会把帧数控制在 16 或 32分辨率压到 112 或 128这是工程上的折中。2.2 CNNRNN 的“抽帧 时序”组合逻辑CNNRNN 走的是另一条路先用一个 2D CNN比如 ResNet 或自己搭的卷积网络对每一帧单独抽特征得到一串特征向量序列再送进 LSTM 或 GRU 做时序建模。输入形状变成(batch, T, H, W, C)其中 T 是帧数CNN 对每个时间步独立处理输出(batch, T, feature_dim)RNN 再在这个序列上跑。这种结构的好处是 CNN 部分可以复用图像分类的预训练权重收敛更快显存占用也比 3D CNN 低——因为同一时刻只处理一帧或少量帧。但它的短板在于CNN 抽的是单帧空间特征帧与帧之间的运动信息完全靠 RNN 去“猜”对于需要精细时空建模的动作比如区分“打开盒子”和“关上盒子”效果可能不如 3D CNN。2.3 两条路线的参数对比与选型建议对比项3D CNNCNNRNN输入张量(B, 16, 112, 112, 3)(B, T, 224, 224, 3)时序建模方式3D 卷积核直接建模RNN 在特征序列上建模显存占用高batch 通常 8~16中batch 可到 32预训练权重较少常从头训可复用 2D CNN 权重适合动作类型短时、局部运动长时、依赖帧间关系我一般会建议如果你手头显存有限、又想快速看到准确率上升先跑 CNNRNN如果你追求更高的时空建模上限、且能接受更长的训练时间再上 3D CNN。源码把两条路放在一起正好方便你做 A/B 对比。3. 把 UCF101 喂进网络数据管道、抽帧脚本与训练入口3.1 数据目录结构与官方 split 的读取UCF101 官方提供三个 split每个 split 里训练集和测试集按类别分文件夹存放。源码通常要求你把数据整理成这样的结构UCF101/ ├── train/ │ ├── ApplyEyeMakeup/ │ │ ├── v_ApplyEyeMakeup_g01_c01.avi │ │ └── ... │ └── ... └── test/ ├── ApplyEyeMakeup/ │ └── ... └── ...读取时用torchvision.datasets.DatasetFolder或自定义 Dataset 都可以。关键是类别到索引的映射要固定否则训练和推理的标签会对不上。源码里一般会保存一个class_to_idx.json训练完顺手存下来推理时直接加载。3.2 抽帧与预处理从 avi 到张量视频不能直接送进网络必须先抽帧。常见做法是用 OpenCV 按固定间隔取帧比如每段视频取 16 帧或 32 帧。下面是一个可抄的抽帧函数import cv2 import numpy as np def extract_frames(video_path, num_frames16, size(112, 112)): cap cv2.VideoCapture(video_path) total int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) # 均匀采样避免开头结尾冗余帧 indices np.linspace(0, total - 1, num_frames, dtypeint) frames [] for i in range(total): ret, frame cap.read() if not ret: break if i in indices: frame cv2.resize(frame, size) frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) frames.append(frame) cap.release() # 不足帧数时循环补齐 while len(frames) num_frames: frames.append(frames[-1]) return np.stack(frames) # (num_frames, H, W, 3)逻辑说明np.linspace保证在整段视频上均匀取帧而不是只取前 16 帧。cv2.cvtColor把 BGR 转成 RGB因为 PyTorch 预训练模型期望 RGB。不足帧数时用最后一帧补齐避免张量形状不一致。参数num_frames和size要和模型输入对齐3D CNN 一般用 16 帧 112×112CNNRNN 可以用 32 帧 224×224。3.3 训练入口与关键超参源码的训练脚本通常长这样python train.py \ --model 3dcnn \ --data_root ./UCF101 \ --split 1 \ --frames 16 \ --batch_size 8 \ --lr 1e-3 \ --epochs 50 \ --gpu 0参数说明--model切换 3dcnn 或 cnn_rnn--split选官方三个 split 之一--frames是抽帧数--batch_size在 3D CNN 下建议 8 或 16CNNRNN 可以开到 32--lr初始学习率3D CNN 常用 1e-3 配合 StepLRCNNRNN 可以更小。训练过程中重点看验证集准确率UCF101 上 3D CNN 从头训一般能到 50%~60%CNNRNN 用预训练 CNN 能到 70% 以上具体取决于帧数和分辨率。4. 避坑与排查UCF101 训练里最容易翻车的五个地方4.1 显存爆炸现象是 CUDA out of memory现象刚启动训练就报RuntimeError: CUDA out of memory或者跑几个 batch 后崩掉。原因通常是 3D CNN 的输入张量太大或者 batch size 设高了。解决先把 batch size 降到 4 或 8再把帧数从 32 降到 16分辨率从 224 降到 112。如果还不够用torch.cuda.amp做混合精度训练显存能省 30% 左右。4.2 准确率不涨现象是 loss 震荡或卡在随机水平现象训练 loss 一直在 4.6 附近101 类的随机水平是 ln(101)≈4.6准确率 1% 左右。原因可能是学习率太大、数据标签没对齐、或者抽帧函数返回的帧顺序乱了。解决先用一个极小数据集比如 2 个类别各 5 段视频过拟合如果能降到接近 0 loss说明模型和管道没问题再排查全量数据。另外检查class_to_idx是否在训练和验证时一致。4.3 抽帧不均匀现象是模型对某些类别特别差现象训练集准确率还行但测试集上“太极”“跳绳”这类长时动作准确率明显低。原因是均匀抽帧可能漏掉关键动作阶段。解决改成按动作周期抽帧或者增加帧数到 32让时间覆盖更密。源码里如果有--frames参数直接调大即可但要注意显存。4.4 数据加载成为瓶颈现象是 GPU 利用率低现象nvidia-smi显示 GPU 利用率只有 20%~30%训练一个 epoch 要很久。原因是 DataLoader 的num_workers设成了 0或者抽帧在训练时实时做CPU 扛不住。解决把num_workers设成 4 或 8并考虑预先把抽好的帧存成 npy 文件训练时直接读用空间换时间。4.5 类别不平衡现象是某些类别召回率为 0现象UCF101 虽然大致均衡但某些类别视频长度差异大抽帧后有效样本数可能偏少。解决在 Dataset 里做重采样或者用WeightedRandomSampler给样本少的类别更高权重。源码里如果没带这个可以自己加几行。5. 进阶技巧用双模型集成和帧级预测把 UCF101 准确率再抬一截跑通单模型之后真正能拉开差距的是后处理。我一般会做两件事一是把 3D CNN 和 CNNRNN 的预测概率做加权平均二是对长视频做多段抽帧预测再投票。先看集成。假设你已经训好了两个模型保存了各自的state_dict推理时可以这样写import torch import torch.nn.functional as F def ensemble_predict(model_3d, model_rnn, video_tensor, alpha0.6): model_3d.eval() model_rnn.eval() with torch.no_grad(): # 3D CNN 输入 (1, 16, 112, 112, 3) logit_3d model_3d(video_tensor) prob_3d F.softmax(logit_3d, dim1) # CNNRNN 输入 (1, 32, 224, 224, 3) logit_rnn model_rnn(video_tensor_rnn) prob_rnn F.softmax(logit_rnn, dim1) # alpha 控制 3D CNN 权重0.6 是我在 UCF101 上试出来的经验值 prob alpha * prob_3d (1 - alpha) * prob_rnn return prob.argmax(dim1)逻辑说明两个模型输出的 logits 先过 softmax 变成概率再按权重相加。alpha需要根据验证集调我一般从 0.5 开始每次加 0.1 看准确率变化。注意两个模型的输入张量形状不同要分别准备。再来看多段抽帧投票。一段视频只抽 16 帧可能漏掉关键动作可以把它切成 3 段每段抽 16 帧分别预测后取多数票。这样对长视频更稳代价是推理时间变成 3 倍。如果对延迟不敏感这个技巧通常能再涨 2~3 个百分点。还有一个容易被忽略的点测试时增强TTA。对同一段视频做水平翻转、轻微裁剪各预测一次再平均也能小幅提升。源码里如果没带 TTA自己加十几行就能实现。最后说个血泪经验每次改完抽帧逻辑或模型结构一定先用 2 个类别的小数据集跑一遍过拟合确认 loss 能降到接近 0再上全量数据。我早期有次直接在全量 UCF101 上训了 8 小时结果发现标签映射错了准确率一直 1%那种后悔药没地方买。从那以后我每次动数据管道都强制走一遍小数据过拟合验证。希望帮到你。本文还有配套的精品资源点击获取