养猫的朋友应该都有过这种体验猫主子前一秒还在你腿上打呼噜后一秒听见窗外异响就飞机耳、瞳孔紧缩一副随时要干架的样子。人的情绪好歹写在脸上猫的情绪只能靠猜——耳朵角度、尾巴摆动频率、瞳孔大小、身体姿态全是信号。可人不可能24小时盯着猫看更不可能把每一帧行为都记录下来做分析。这时候计算机视觉就能派上用场了。这个项目做的就是一件很具体的事用YOLO目标检测框架构建一个猫情绪检测数据集包含3200张标注过的宠物行为图像能够识别猫在不同情境下的情绪状态和行为表现。简单说就是让模型学会“看猫的脸色”——当然猫的脸色不在脸上在耳朵、尾巴和身体姿态上。我写这篇博文是想把这套东西从零到一的完整链路讲清楚数据从哪来、怎么标、标完怎么训练、训练完怎么评估、踩了哪些坑。无论你是想自己做宠物行为分析还是单纯对YOLO训练自定义数据集感兴趣这篇都能给你一个可以直接抄作业的参考。项目本身跑在YOLOv8上但思路对所有YOLO版本都通用。1. 猫情绪检测的整体设计与核心思路1.1 为什么选YOLO来做猫情绪识别先回答一个最基础的问题为什么是YOLO而不是图像分类模型也不是姿态估计模型如果你只想判断“这只猫是开心还是生气”用图像分类比如ResNet、ViT就够了——给它一张图它输出一个类别标签。但现实中的猫不会摆好了姿势等你拍它可能在一个画面里同时出现多只猫也可能猫只占了画面的一小块。分类模型处理不了这种场景你总得先把猫从画面里“抠”出来才能判断它的情绪对吧姿态估计模型比如OpenPose那种倒是能给出猫的关键点——耳朵尖、尾巴根、四肢关节但它对标注质量要求极高一张图要标几十个关键点数据成本直接劝退。YOLO的定位正好卡在中间它做的是目标检测也就是“框出猫在哪”然后在这个框的基础上判断类别。对于猫情绪检测这个场景YOLO有两个不可替代的优势。第一边界框天然适配行为识别。猫的情绪主要体现在整体姿态上而不是某个像素点上的细节。一个包含猫全身的边界框已经足够让模型捕捉到耳朵角度、尾巴位置、身体蜷缩程度这些关键信息。第二YOLO的训练和部署生态太成熟了。从YOLOv5到YOLOv8再到YOLOv9GitHub上的star数、预训练权重、社区教程都是目标检测领域最丰富的。你不需要从零写网络结构也不需要费劲调一个冷门框架的配置YOLOv8一条命令就能开始训练。第三实时性。如果你后续想做个“猫咪情绪实时监测”的家用摄像头应用YOLO的推理速度是分类模型和姿态估计模型没法比的——在Jetson Nano这种边缘设备上也能跑到每秒30帧以上。1.2 情绪类别怎么定义少而精不贪多设计数据集的第一步不是急着找图而是先定义“猫有哪几种情绪”。我去翻了动物行为学的资料又观察了自己家两只猫的实际状态最终确定了5个类别类别标签行为特征典型场景relaxed放松身体舒展、尾巴慢摆、眼睛半闭、呼噜晒太阳、被抚摸alert警觉耳朵直立前倾、瞳孔收缩、身体紧绷、尾巴僵直听到陌生声响、看到窗外飞鸟fearful恐惧飞机耳、瞳孔放大、身体压低、尾巴夹紧吸尘器启动、陌生人来访aggressive攻击炸毛、弓背、耳朵后压、尾巴快速甩动、哈气领地冲突、被打扰进食playful玩耍身体前倾、尾巴高高竖起、瞳孔正常偏大、扑咬动作逗猫棒互动、追逐玩具这里有一个关键经验情绪类别宁少勿多。我一开始想过要不要加“好奇”“饥饿”“困倦”之类的细分状态后来发现这些状态之间的视觉差异太模糊了——一只好奇的猫和一只警觉的猫耳朵角度就差那么几度标注员自己都容易分错模型学起来更是灾难。5个类别已经能覆盖90%以上的日常场景每个类别的视觉特征都有明显区分度模型学起来不会“左右为难”。1.3 3200张数据怎么分配数量不是重点平衡才是3200张图听起来不少但如果你全部塞给模型训练效果反而不一定好。我的分配方案是这样的训练集2400张验证集400张测试集400张比例大概是75% / 12.5% / 12.5%。这里要特别强调一个容易翻车的点每个情绪类别的数量必须大致均衡。如果relaxed放松的猫图片特别好找一下搞了1200张而aggressive攻击只有200张那模型学出来会严重偏向多数类——它对攻击状态的检测会非常迟钝。我的做法是每一类控制在600到700张之间差距不超过100张。数据不够的类别比如aggressive就多花点时间去搜“cat hissing”“cat angry”这类关键词或者自己拿玩具模拟挑衅场景拍。实在凑不齐怎么办后面数据增强那节会讲可以先靠增强撑过去。2. 数据集构建的完整流程与标注细节2.1 数据来源网上下载自己拍摄两条腿走路构建数据集第一步是解决“图从哪来”的问题。我用了三个渠道。第一个渠道是公开数据集。网上有不少宠物检测相关的数据集比如Oxford Pets、COCO里也带猫的类别但这些数据集的标注是“猫”这个整体类别没有情绪维度。没关系我可以拿它们做预训练——让模型先学会“猫长什么样”然后再用自己的情绪标注数据做微调。第二个渠道是图片搜索引擎。用Bing和Google Images按照情绪类别关键词去搜——搜“relaxed cat lying”、搜“cat hissing”、搜“cat scared”等等。这里有个技巧搜索时加英文关键词图库量大得多而且猫的行为姿态更典型。第三个渠道是自己拍。我家里两只猫一个布偶一个橘猫用手机在不同光线、不同时间段拍拿逗猫棒逗它拍playful拿吸尘器吓它拍fearful趁它晒太阳拍relaxed。自己的拍摄数据有一个巨大的优势场景真实且多样不像网图那样全是“摆拍感”模型在真实环境里的泛化能力会更强。这三个渠道凑下来原始图片收到了大概5000张。经过筛选去掉模糊的、猫占比过小的、光线太暗看不清姿态的最终保留了3200张作为正式数据集。2.2 标注规范边界框怎么打模型才学得好标注是数据集构建里最枯燥也最影响模型效果的一环。我用的是LabelImg工具导出YOLO格式的txt标注文件。YOLO格式每条标注是类别ID 中心点x 中心点y 宽度 高度所有坐标都归一化到0到1之间。注意坐标归一化很容易搞错。YOLO格式的x和y是边界框中心点的坐标不是左上角坐标。我第一次标注时就用错了训练出来所有框的位置都偏了排查了半天才发现是标注格式的问题。标注规范我给自己定了三条硬规矩第一条框必须框住猫的全身包括尾巴。尾巴是猫情绪的重要信号——放松时尾巴慢摆攻击时尾巴快速甩动恐惧时尾巴夹紧。如果你只框了头和躯干等于把最有判别力的特征丢掉了。但注意如果尾巴完全被身体挡住比如猫蜷成球睡觉那就不强求。第二条一只猫一个框多只猫就标多个框。如果画面里有两只猫且两只有互动比如嬉闹这是好事因为这正是模型需要学习的复杂场景。但如果两只猫挤在一起根本分不清谁是谁这张图就直接弃用。第三条框要贴边不要留太大空隙。留白太多会让模型学到一堆背景信息降低定位精度。一般框的边距控制在猫身体边缘的1%到2%左右。还有一个很实用的经验每标完50张图就回头检查一下前50张的标注质量。人标久了会疲劳手一抖就把框拉偏了及时发现能省下后面大量返工时间。2.3 数据标注的质检与格式转换标注完成之后不能直接拿去训练得先做一次系统性检查。我的检查方法是写个小脚本把标注框画回原图生成带框预览图然后用肉眼快速过一遍。脚本逻辑不难用OpenCV读取图片和txt标注画矩形框输出到预览文件夹。这个方法比直接看txt数字直观一百倍框偏没偏、类别错没错一眼就能看出来。检查中发现的问题主要有三类一是上面说的框没包全尾巴二是类别标错特别是alert警觉和fearful恐惧容易混淆——猫本来就都是紧绷状态细节差异太细微三是一些低质量标框比如框到了两只猫中间的空隙上。发现错误之后怎么办别一张张去改那效率太低。我直接把这些有问题的图片文件名记下来统一重新标注一遍然后再次生成预览图复查。查完没问题了再合并成最终数据集。做完这一步你的数据集目录应该长这样cat_emotion_dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/每个子目录里的文件一一对应cat_001.jpg对应cat_001.txt文件名必须完全一致这是YOLO训练的硬性要求。2.4 数据增强3200张怎么当8000张用只靠3200张原图训练模型很容易过拟合——训练集上表现神勇一到真实场景就拉胯。数据增强就是解决办法相当于让模型在“看不见的更多数据”上学习。YOLOv8内置的数据增强策略已经很强了我在ultralytics的配置里主要调了几个参数hsv_h色调增强设为0.015让模型适应不同颜色的猫fliplr左右翻转设为0.5这是最有效的增强手段——猫往左炸毛还是往右炸毛情绪含义完全一样但模型需要学到这种不变性mosaic马赛克增强设为1.0把4张图拼成1张训练。这个增强特别适合小目标检测scale随机缩放设为0.5让模型见过不同大小的猫但有一点我要特别提醒不要对fearful和aggressive这类姿态敏感的类别做过强的旋转增强。旋转角度太大猫的“飞机耳”可能变成“竖耳朵”模型会学到错误的信息。YOLOv8默认的rotate参数是0我保持了默认值只靠水平翻转就足够了。数据增强是在训练过程中实时进行的模型每看一遍数据增强的方式都会随机变化所以不需要在硬盘上额外存一份增强后的图片。这也解释了为什么3200张数据在YOLO里并不算少——实际训练时模型见过的“虚拟样本”是这个数量的好几倍。3. YOLO模型训练实操与参数调优3.1 训练环境搭建与预训练权重选择训练用的机器配置是i7-12700K RTX 4060 Ti 16G显存这个配置算是中端水平训练3200张图、150个epoch大约耗时40分钟到1小时。CPU训练理论上也行但速度慢得让人崩溃不推荐。如果你的机器配置一般可以用Google Colab的免费GPU或者租云服务器几十块钱就能跑完整个训练。模型框架我选了YOLOv8理由是它的文档清晰、API友好训练命令简单到一行代码。用ultralytics这个Python包首先安装依赖pip install ultralytics然后准备数据集配置文件一个YAML文件搞定。配置文件的内容如下# cat_emotion.yaml train: ./cat_emotion_dataset/images/train val: ./cat_emotion_dataset/images/val test: ./cat_emotion_dataset/images/test nc: 5 names: [relaxed, alert, fearful, aggressive, playful]这里train、val、test的路径是指向图片目录的YOLO会自动去对应的labels目录里找同名的txt标注文件不需要你额外指定标签路径。预训练权重的选择也很关键。我建议直接使用yolov8s.pt——s代表small版本速度和精度的平衡点最好。yolov8n.ptnano虽然更快但检测小目标的能力弱一些yolov8m.ptmedium精度更高但训练时间几乎翻倍对3200张的小数据集来说有点浪费。从s版本开始等模型收敛了再考虑是否有必要升级到m版本。3.2 训练参数设置每个参数背后的逻辑启动训练的命令很简单但参数怎么设背后是有讲究的yolo train modelyolov8s.pt datacat_emotion.yaml epochs150 imgsz640 batch16 patience30 workers8逐项解释一下我为什么这么选imgsz640YOLOv8默认是640×640输入。这个尺寸能保证猫的耳朵、尾巴这些细小特征不被压缩得太厉害。如果你把imgsz降到416训练速度能提上去但检测精度会肉眼可见地下降。batch16这个参数受限于显卡显存。RTX 4060 Ti 16G显存跑batch16是稳的再往上加到32也能跑但训练速度提升有限反而有爆显存的风险。显存不够的同学batch8也能接受最多梯度更新次数多一些模型照样能收敛。epochs1503200张数据集不算大150个epoch足够让模型充分收敛。但我加了patience30——这是早停机制如果30个epoch内验证集损失都没有下降训练会自动停止防止过拟合。实际训练下来模型大约在第80个epoch就停了说明150只是上限早停帮我省了一半时间。workers8数据加载的线程数提高这个值可以让GPU不等CPU喂数据。这个参数根据你CPU核心数来定8核就设816核可以设到16。3.3 训练过程的监控与关键指标解读训练开始后每个epoch结束时终端会打印一行指标重点看这几个数值box_loss边界框回归损失。反映模型预测的框和真实框的重合程度这个值应该随训练持续下降。cls_loss分类损失。反映模型判断“这框里是什么情绪”的准确程度同样应该下降。mAP50IoU阈值为0.5时的平均精度均值。YOLO的官方评测指标值越高越好一般来说超过0.85就算非常理想了。我这次训练完的结果是mAP50达到了0.92mAP50-95更严格的评估指标要求预测框和真实框高度重合为0.78。对5个情绪类别来说这个成绩算是相当能打了。这里顺便说一个很多人容易误解的概念mAP不是“准确率”。准确率是“预测对了多少张图”mAP衡量的是“预测框和真实框的重合程度以及类别判断的综合能力”。在目标检测里mAP是行业通用标准因为检测任务既要定位框得准又要分类分得对mAP能同时反映这两者。3.4 模型推理与部署把模型用到真实场景训练完成后模型权重保存在runs/detect/train/weights/best.pt。用这个权重做推理非常简单from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict(test_cat.jpg, conf0.5, saveTrue) for result in results: boxes result.boxes for box in boxes: cls int(box.cls[0]) conf float(box.conf[0]) name model.names[cls] print(f情绪类别: {name}, 置信度: {conf:.2f})我给conf设置的阈值是0.5——低于这个置信度的预测会被过滤掉。如果你想追求检出率而不是精确率可以把阈值降到0.3如果你对误报零容忍就提到0.7。这个阈值不是固定的需要根据实际应用场景来权衡。部署到摄像头实时检测也是可行的。YOLOv8支持导出为ONNX格式然后接OpenCV的VideoCapture就能做一个简单的实时猫情绪监测器。整个流程的代码量不大核心就是把model.predict放进视频帧循环里。我用这个方法在自己家试过720P的视频流下推理速度能到45FPS相当流畅。4. 训练中的常见问题与排查技巧4.1 类别不平衡导致误检严重第一次训练时我遇到的最典型问题是模型对relaxed放松的检测效果很好对aggressive攻击几乎不敏感。原因前面说过——数据量差距大。relaxed的图好找网上随便一搜一大把aggressive的图得专门花心思去搜去拍。排查方法很直观看训练集每个类别的样本数量分布画出柱状图。一旦发现某一类超出平均水平30%以上就要做处理了。我当时的解决方案不是删掉多出来的relaxed数据而是针对aggressive做额外的数据增强——比如在标注时多截取一些局部特征明显的图片以及用copy_paste增强方法把攻击状态的猫贴到更多背景图里。提示处理类别不平衡时优先补数据其次才是调loss权重。YOLOv8支持通过cls参数调整分类损失的权重但这个手段的效果远不如直接增加样本有效。4.2 混淆矩阵揭示的类别混淆问题训练完看混淆矩阵是个好习惯。YOLO训练完成后会在runs/detect/train/目录下生成confusion_matrix.png这是个非常直观的诊断工具。我的混淆矩阵显示alert警觉和fearful恐惧之间存在明显的互相误判——大约有15%的fearful被分成了alert10%的alert被分成了fearful。仔细想想也合理猫在警觉和恐惧时的身体姿态确实有重叠都是身体紧绷、瞳孔变化。这个问题怎么破我的做法是回到数据标注环节重新审查这两类的标注图片把那些“模棱两可”的样本删掉——比如耳朵角度在40度到50度之间的、状态很难说清是警觉还是恐惧的图。模型被这种“模糊样本”反复折腾反而学不到清晰的边界。删掉之后重训这两类的混淆率降到了5%以下。这是一个很反直觉的经验数据不是越多越好模糊的数据宁可不要。我曾经担心删图会导致数据不够但事实证明干净的数据边界比一味堆数据量更重要。4.3 训练过程中loss值不下降或剧烈震荡有的同学可能会遇到这种情况训练跑了好几个epochcls_loss一直不降或者上下剧烈波动。造成这个问题的原因通常不是模型问题而是数据问题。我排查时的顺序是这样的先看标注文件——用脚本随机抽20张图打印出txt内容和类别ID确认类别ID没有超出范围。再看图片尺寸——YOLO训练时会对图片做letterbox处理也就是填充黑边保持宽高比如果你的图片尺寸很不规则比如极端长宽比模型学起来会困难得多。最后查的是标签文件是否为空。如果某张图的txt文件是0字节说明它没有对应的标注我不知道这是怎么回事但YOLO遇到这种情况会默默跳过这张图导致实际参与训练的图片数比你想象中少。我把整个数据集的标签文件检查了一遍发现确实有几张零标注的直接删除了事。4.4 预测框偏移标注格式归一化的坑这类问题通常藏在最容易忽视的地方。有一次训练出来的模型预测框总是偏向猫的右下方猫的头部被框切掉一截但尾巴倒是全包进去了。第一反应是模型没收敛后来仔细检查了标注文件才发现——有一部分标注坐标是以左上角为原点的坐标格式另一部分用的是YOLO要求的中心点格式混在一起了。这个问题排查起来特别费劲因为从训练日志上看loss是正常的。最后是把所有txt文件随机抽出来人工检查坐标值范围才发现的YOLO格式的坐标值应该在0到1之间出现大于1的数值就是格式错了。注意自己写脚本转换格式时一定要验证归一化结果。我后来在转换脚本里加了一行检查代码如果任何坐标值超出[0,1]范围就报警提示从此再没出现过这种低级错误。5. 项目扩展方向与实际应用心得数据集和模型做出来之后能延伸的方向还挺多的。我在完成基础版之后做了几个小扩展效果都不错这里分享给大家参考。5.1 从“单猫检测”到“多猫社交分析”单猫的情绪检测只是第一步。如果你家里养了两只以上的猫你可能会关心更高级的问题——两只猫是在友好互动还是在打架前兆。我在这个数据集的基础上把检测结果接了一个简单的逻辑目标检测框出多只猫后计算两框之间的IoU交并比如果重叠区域迅速增大且其中一只猫的类别是aggressive就推断可能发生冲突。这个逻辑简陋了点但实测在真实场景中能提前1到2秒预警用来给猫打架拉架够用了。5.2 结合音频呼噜声与哈气声的融合视觉信号有盲区——猫背对着你时眼睛耳朵看不清但它的呼噜声和哈气声照样能传达情绪。我用pyaudio采集音频用一个简单的CNN识别呼噜声和哈气声再跟YOLO的视觉结果做多模态融合当视觉检测到relaxed且音频识别到呼噜声时置信度会大幅提升。这个方向的完整实现工作量不小但作为概念验证已经足够说明问题——多模态方案在“宠物情绪理解”这类场景里潜力很大。5.3 模型轻量化部署到树莓派YOLOv8s在PC上跑得很流畅但如果你想做一个真正的“智能猫窝”或者“猫咪情绪监测摄像头”部署在树莓派或者Jetson Nano上才有意义。我试过把模型导出为TensorRT格式配合NVIDIA Jetson Nano推理速度能达到25FPS基本满足实时监测的需求。导出命令很简单yolo export modelbest.pt formatengine device0但导出过程中有几个坑比如TensorRT的版本必须和ultralytics的版本对得上否则会导出失败。建议在导出前先查看ultralytics的官方文档确认版本兼容矩阵。5.4 个人体会数据项目的成败全在“脏活”上最后说点实在的。这个项目做完我最大的体会是在目标检测项目里模型训练本身只占20%的工作量剩下的80%全花在数据获取、标注、质检这些“脏活”上。很多人都想跳过数据环节直接调模型但实际跑一遍你就知道模型调参能帮你的非常有限数据质量才是决定精度的天花板。3200张数据的标注量听起来不大标注一个框大概10秒全部标完也只要八九个小时——但真正耗时的是反复的检查和修正。每次预览图刷出来总能发现几个框画歪了几个类别分错了改完再看又发现新的问题。这个过程没有捷径体力活而已。但反过来正是这些“体力活”把模型精度从0.7推到了0.92。跑完150个epoch看测试集结果的那一刻看到模型能准确区分家里那只橘猫的“放学回家饿疯了”和“想出门遛弯而喵喵叫”你会觉得之前标数据标到眼花的时光是值得的。