前阵子朋友发来一个需求说家里多了只领养回来的狸花猫想搞一套能自动识别猫是不是生气了的监控系统。我第一反应是这需求听起来很玄学但细一想宠物情绪识别在智能家居、宠物医疗、猫舍管理这些场景里确实有真实落地价值。于是就有了这套猫情绪检测数据集3200张YOLO标注样本覆盖6类常见情绪状态训练出一个能够在单张图像里同时完成定位猫和判断情绪的检测模型。这篇文章就把整个项目从需求拆解、数据标注、模型训练到踩坑记录完整梳理一遍给正准备做宠物行为相关视觉项目的朋友一个可以直接参考的案例。1. 项目拆解猫情绪检测到底要解决什么问题1.1 情绪不是玄学是可观测的行为信号很多人觉得情绪是人主观定义的模糊概念猫的情绪更是难以量化。但实际落到视觉任务里必须把抽象情绪映射成可标注的具体外观特征。猫的情绪主要通过耳朵朝向、尾巴姿态、瞳孔大小、身体重心、毛发状态这几组信号体现。举例来说耳朵竖直朝前、尾巴自然下垂、身体放松是典型的平静状态耳朵后压贴头、瞳孔放大、身体压低弓背则是恐惧或防御尾巴快速摆动、耳朵前倾、身体前扑大概率是攻击前兆或者进入狩猎兴奋状态。真正的难点在于类别定义。如果设的类别过于细致比如轻度烦躁和中度焦虑或者警惕和紧张不管标注员还是模型都很难把握边界。这次项目最终定位为6类平静、警觉、紧张害怕、攻击防御、玩耍兴奋、亲昵放松。每一类都配有明确的特征描述和边界裁定规则后面详细说。1.2 为什么选YOLO检测而不是图像分类刚开始我也想过要不要直接用分类网络比如拿ResNet训练一个这张图里猫是什么情绪听起来更简单。但在真实场景里跑一轮就发现问题监控摄像头拍摄的画面里猫不会总在画面中央正脸对人它可能窝在沙发角落、在柜子后面露出半张脸、背对着镜头或者被猫抓板挡住一半身体。分类网络要求输入是裁剪好的主体图遇到这种场景就要先做目标检测否则分类效果立竿见影地崩。选择YOLO做检测的核心逻辑是定位分类一次完成。模型输出每个目标的边界框和类别既解决了猫在哪里的问题也解决了猫处于什么情绪状态的问题。而且YOLO系列的推理速度非常适合实时监控YOLOv8的nano和small版本在普通显卡上能做到几十毫秒一帧放到家用摄像头场景里完全跑得动。另外还有一层考虑是部署。宠物情绪检测这类项目最终大概率要跑在用户的边缘设备上比如家里的小主机、树莓派、或带NPU的摄像头。YOLO在ONNX、TensorRT、OpenVINO这些推理引擎上的支持非常成熟从训练到部署的迁移成本低这一点对项目落地来说很重要。2. 数据集构建全流程从原始图到3200张标注样本2.1 图片来源与筛选标准3200张听起来不多但实际从原始素材到最终数据集筛选和淘汰的比例比我预想的高不少。我这边素材来源主要有三个渠道一是我自己拍的和朋友提供的日常养猫照片大约占四成二是一些开放许可的宠物图片站抓取占三成三是视频抽帧从猫舍的监控视频和日常记录视频中按一定间隔抽帧占三成。筛选标准我卡得很严。第一是清晰度模糊到人眼都难以辨认情绪状态的照片直接弃用这些图喂给模型只会制造噪声。第二是主体比例猫的身体在画面里占比太小比如一张大场景里猫只有几十个像素这种图检测都困难更别说判断情绪直接淘汰。第三是遮挡程度猫被完全遮挡、只剩一根尾巴或者耳朵尖的样本不保留但轻度遮挡比如被桌腿挡住半边身体这种会保留因为真实场景大量存在。第四点容易被忽略重复度控制。视频抽帧很容易抽到高度相似的相邻帧如果这些相似帧同时进训练集和验证集结果就是严重的指标虚高。我在抽帧时设置间隔策略——每2秒抽一帧并且按视频片段分组同一个片段不能同时出现在训练集和验证集里。这一点在后面评估阶段帮了大忙不然训练完看mAP很高换一段新视频立刻打回原形。最终保留3200张训练集/验证集/测试集大致按8:1:1划分。原始收集的图片超过5000张筛掉将近四成留下来都是画面里能明确看到猫且人眼能判断出情绪状态的有效样本。2.2 标签体系设计6类情绪怎么定边界标签体系是整个项目里最难啃的骨头比标注本身费时得多。先出一版类别定义给到标注的同学标了100张之后发现分歧极大于是重新开会统一标准。最终定下的规则是这样类别核心特征标注要点平静耳朵自然竖直或微转、瞳孔正常、尾巴自然下垂或轻摆、身体放松最常见作为多数类存在警觉耳朵朝前竖起、瞳孔略放大、身体微低、尾巴僵直或轻微缓慢摆动通常伴随注视某个方向紧张害怕耳朵后压贴头、瞳孔放大、身体压低弓背、尾巴夹紧贴身或炸毛尽量保留全身框但露头露尾也可标注攻击防御耳朵前压或平展、嘴张开露牙、身体前扑或侧立、尾巴快速甩动这类样本少但价值高漏标损失大玩耍兴奋耳朵前倾、瞳孔中等偏大、身体活跃扑咬、尾巴高高竖起或快速摆动出现动态模糊也保留真实场景常见亲昵放松耳朵自然、眼睛半眯或眯缝、身体侧躺或翻肚、尾巴缓慢大幅度摆动与平静的区别在姿态更软、表情更放松最棘手的是平静和亲昵放松的界线以及警觉和紧张害怕的界线。我们最终定的裁定原则是这样如果猫的身体姿态放松但只耳朵稍微转动判平静如果伴随身体压低、尾巴僵直、瞳孔放大中的至少两项判警觉如果耳朵明显压平且身体重心大幅降低判紧张害怕。允许为了定位质量放弃部分类别纯度——比如猫整只蜷在窝里睡觉耳朵看不见、眼睛看不见但身体姿态明显放松这种宁可标成平静而不是亲昵放松。核心思路是宁可用模型分得清的信号也不要硬凑一个理论上正确但视觉上无信号的标签。2.3 标注规则与质量控制标注工具用的是x-anylabeling支持YOLO格式导出类别下拉选择比手输快很多兼容性也好。输出是每张图对应一个txt文件格式是类别id 中心x 中心y 宽度 高度全部归一化到0~1之间。这里有个关键的规则要落地目标框到底是框整只猫还是只框头部。我一开始没有统一结果同一个人标注的时候框的习惯也在变有的框全身有的只框头模型训练出来检测框一会儿大一会儿小。后来统一为能看见完整身体就框全身身体大部分被遮挡就框可见主体通常包含头部只露出一颗头的情况就框头部。理由很简单情绪信号本来就分散在耳朵、尾巴、姿态这些位置框到越完整的身体模型越容易学到上下文特征但如果身体只有一小条露出来强行框全身会把大量背景带进来反而干扰分类。质量控制分三关。第一关先用20张样本试标让标注者和我对同一批图各自标注逐张比对差异统一认知。第二关是正式标注阶段每满300张随机抽检30张我自己复标一遍统计框的交并比是否大于0.7、类别是否一致达不到就退回该批次重标。第三关是全部标完后做一次整体复查全部3200张再过一遍重点检查稀有类别的标注质量。这一套流程走下来实际标注时间大约是纯标注时间的两倍但换来的是训练时干扰大幅度减少。2.4 数据增强3200张怎么撑起训练3000多张样本对YOLO来说不算多尤其攻击防御这类稀有情绪可能只有两三百张不增强直接训练模型分分钟过拟合。增强策略我分成了两套离线增强和在线增强。在线增强用YOLOv8自带的训练增强开启Mosaic、随机水平翻转、随机缩放、平移、HSV色彩扰动。这里特别提一个经验水平翻转可以放心开猫左右对称翻转后语义不变垂直翻转不要开现实中倒立的猫几乎没有硬翻转只会让模型学些奇怪的分布。HSV扰动我调得比较温和饱和度和亮度各±25%因为情绪判断跟毛色环境色有关色彩扰动太猛会破坏真实感。离线增强专门针对稀有类别。攻击防御和紧张害怕样本少我对这两类额外做了复制粘贴增强——把从原图里裁出来的目标物体按8到12的比例混合进一些背景图上生成新样本。这个方法一开始担心会引入伪影但实际操作下来只要混合目标做一点随机缩放和旋转并控制背景复杂度效果还是很不错的。增强后参与训练的样本量大约是原始数据的2.5倍各类别的比例均匀度明显改善。3. 训练配置与调参实录3.1 模型版本选型YOLO系列我用过YOLOv5、YOLOv8、YOLOv9这个项目最终验证下来选的是YOLOv8。选择依据有三点训练生态成熟文档和示例多新手照着跑不至于卡死在环境配置上从v8到v10的演进里v8的C2f模块在小数据集上的表现稳定不像v10需要额外调一些结构参数切换部署框架的兼容性最省心。具体用哪个尺寸的版本我用nano、small、medium各训了20个epoch做了快速对比。结论是small最平衡nano在检测小目标时漏检明显尤其远处猫头和半遮挡场景medium在训练后期验证集mAP有小幅提升但推理速度慢了不少考虑到真实监控场景对延迟敏感最终选择small。我用的是YOLOv8s输入尺寸640batch size 16单卡RTX 4060上训练全程大约2到3小时。有一点要提醒对于3000多张的数据量千万不用一上来就追求大模型。大模型参数多小数据上特别容易过拟合训练集loss低到尘埃里验证集mAP却上不去。3200张的小样本场景先认准s或者n把数据质量做扎实比盲目堆模型容量有用得多。3.2 关键超参数与训练策略超参数配置我最终落在了这样一组值上可以直接复制去跑参数取值说明输入尺寸640兼顾速度和细节再大会明显拖慢训练预训练权重YOLOv8s-COCO迁移学习的起点比完全从零训练强太多epochs150小数据集上150轮足够收敛多了容易过拟合batch size16显存和BN统计的平衡点初始学习率0.01配合warmup太高容易一开始就跑飞学习率调度cosine后段平滑下降收敛更稳weight decay0.0005常规正则防止小数据过拟合类别权重稀有类别x2缓解样本不平衡后面细说冻结骨干epochs10先让head部分学起来再全量微调训练策略上有一个点值得展开冻结骨干。项目里加载COCO预训练权重后我先冻结backbone和neck部分只训练检测头10个epoch。这个做法的道理很简单COCO预训练模型已经学会通用的物体特征主干网络提取的特征对猫哪里的轮廓纹理这些低层信息已经够用前期如果全量训练学习率稍大一点就会把预训练学好的底层特征破坏掉。10个epoch之后解冻全部层学习率降到0.0001级别做全量微调这样既保留通用特征又能针对性适应猫情绪识别的细粒度差异。损失函数方面YOLOv8默认的组合是分类用BCE、框回归用CIoU实测下来在小数据集上表现稳定没有额外改造成自定义损失函数的必要。如果项目里出现某些情绪类别AP明显落后大类提升空间有限再考虑引入focal loss做难样本挖掘否则默认配置够用。3.3 评估指标与结果解读训练完不能只看一个综合mAP。这个项目练的是稀有类别攻击防御、紧张害怕综合mAP会被占据多数的平静和警觉拉上去掩盖稀有类别表现差的问题。最终验证集指标参考如下mAP0.5整体在0.86左右mAP0.5:0.95大约0.62。逐类别来看平静和玩耍兴奋的AP相对较高其中平静的AP0.5能到0.9以上但攻击防御只有0.71左右紧张害怕稍微好一点约0.75。这个分布符合预期也说明如果只看整体mAP很容易忽视模型实际偏科的事实。混淆矩阵是排查类别混淆的重要工具。这个项目主要问题集中在两个地方一是警觉和紧张害怕互相串二是玩耍兴奋被误判为攻击防御。前者是因为有些图片中猫的耳朵竖立但身体低伏本身在人的标注里都有争议模型难以稳定区分后者则是运动模糊导致的特征混淆动态场景下尾巴快速摆动和攻击状态的视觉特征确实相近。针对这两组混淆我又单独标注了对应场景的补充样本小批量finetune了一轮最终提升了大约4个点的稀有类别AP。这个经验供参考稀有小类的AP才是决定项目上限的关键值得特意花精力去补强。4. 踩坑记录数据、标注与训练中的典型问题4.1 样本不平衡导致偏科做这个数据集最典型的坑就是情绪类别天然不平衡。猫的日常状态下平静和亲昵放松占了绝大多数攻击防御和紧张害怕是少数原始采集比例大概接近10比1。标完第一版训练验证集结果一出来攻击防御这类AP连0.5都不到而平静的AP却有0.9典型的偏好样本多的类。处理分两步走。第一步是从数据层面补重新筛选素材库里少数类的图片宁可其他类少用也要把少数类提到每条至少500张左右配合离线复制粘贴增强。第二步是算法层面给少数类在损失函数里加权重类别权重设在2到3倍之间相当于让模型更重视这些样本的损失。两步走完之后少数类AP提升了约8个点。需要提示的是类别权重不宜加得过高权重超过5倍以后容易导致loss震荡和训练不稳。4.2 边界标签不一致标注质量翻车前面说了平静和亲昵放松边界容易纠缠实际训练中的反馈也很明显——验证集上这两个类互相误判率高混淆矩阵里就是密密麻麻的一团。我复盘排查发现根源在标注阶段同一张图不同标注者最终判的类别不一致。猫咪趴着打盹有人觉得是平静有人觉得是亲昵放松。解决办法是重定规则把亲昵放松限定为必须有明显舒展姿态比如翻肚皮、四脚朝天、眼睛眯成缝其余一律归平静。规则定了之后我把原有标注里疑似有分歧的样本全部抽查出来重新标注和修改。这个过程很痛苦但修完后模型的这两类AP各自涨了3个点。教训很直接情绪类的标签边界必须在项目启动前反复推敲不要指望标注人员凭直觉自由发挥。4.3 小目标漏检与误检实际测试阶段把训练好的模型放到一段客厅监控视频里跑发现猫在3米开外、画面里占比很小的时候经常漏检偶尔会把猫抓板上的玩具误检成猫玩具形状和毛色接近猫的轮廓。这种场景下小目标漏检的本质是640输入尺寸下小目标可能只占几十个像素特征信息严重不足加上训练集里远距离小目标样本本身就不多。我用了两个办法改善。第一是训练时设置多尺度训练让模型适应各种目标大小避免只在640一种尺度上见到目标。第二是推理阶段对长边超过1600的大图做切图推理把大图切成多块重贴回原图再用NMS合并检测结果。后者对视频监控这种场景效果显著代价是推理时间变长但监控场景对实时性的要求没有自动驾驶那么苛刻可以接受。误检玩具的问题我专门收集了一批没有猫但包含猫玩具的场景图作为负样本训练时加入背景类别减少模型乱报框。4.4 训练不稳与不收敛训练过程中有几次明显的翻车迹象。一次是初始学习率设到0.05跑了十几个epoch loss就开始震荡后来降低到0.01加warmup才平稳。还有一次是在解冻骨干之后没有同步降低学习率模型loss曲线在finetune阶段疯狂跳动验证集mAP不升反降。解冻骨干阶段一定要把学习率压到主训练阶段的十分之一甚至二十分之一这个策略在多次项目里都验证有效。另一次诡异的问题是loss突然变成NaN。查了一圈发现原因是有几张图片标签没有归一化某个坐标写成负数导致CIoU计算在训练时越界。排查办法是训练前写脚本检查txt里的坐标是否都在0到1区间越界的直接剔除或修正。这个教训的价值在于数据清洗的重要性往往被严重低估类似这种标注文件格式问题根本走不到调参那一步。5. 后续扩展方向与实用建议这套数据集当前完成的目标是单帧图像上的猫情绪检测但它天然可以向几个方向延伸。第一个方向是接入视频时序信息单帧判断在某些状态下容易误判比如警觉到攻击的过渡阶段静态特征和紧张害怕很像但视频流中能看到身体逐渐压低、尾巴摆动频率变化这些动态信息对情绪判断帮助很大。YOLO系列后面的版本里有支持视频流时序建模的设计可以在检测基础上叠加一个时序分类头或者直接用帧间特征。第二个方向是部署端。训练好的YOLOv8s导出ONNX再用TensorRT做FP16推理在消费级显卡上可以达到一毫秒级推理速度在树莓派上则可以通过OpenVINO优化每秒处理十几帧不成问题。如果想直接部署到家用摄像头这种嵌入式设备还可以用蒸馏方案把small模型压缩到nano级别精度损失通常可以控制在两个点以内。第三个方向是多模态。猫情绪识别不只靠视觉声音是重要的信息源。哈气、低吼、高频叫都直接关联情绪状态。把音频信号和视觉检测结果做一个简单的融合决策层——比如视觉上判断为警觉同时检测到哈气声那最终输出大概率应该修正为紧张害怕或攻击防御。这个思路看起来复杂实际上用一个几秒窗口的音频分类器加一个决策规则就能实现适合作为后续的进阶功能。最后再分享一个个人体会。做这类偏垂直场景的检测项目模型结构真的不是瓶颈数据质量和标签标准才是决定模型上限的地方。3200张图片看起来不多但每一张都经过筛选、统一裁定、复查流程最后的训练指标实际够用。如果手头有类似需求建议先把注意力放在整理一套清晰明确的标签裁定规则再开始标注后续的训练和调参会顺利得多。