简介本资源是一套基于Python与深度学习技术实现的舌苔图像智能检测系统面向计算机、人工智能、生物医学工程等专业的高校学生及初学者可用于毕业设计、课程设计或科研入门实践。项目包含完整可运行源码、UI交互界面、训练模型.pth文件、数据预处理与推理脚本.py为主、实验日志TensorBoard events文件及设计文档.docx/.md共109个文件总大小105.04MB其中Python脚本26个支撑核心逻辑JPG/PNG图像用于样本展示与测试UI文件实现可视化操作JSON配置与TTK字体保障界面兼容性。目前已有67人学习下载资源经严格测试支持一键运行与基础环境适配附带清晰目录结构与模块注释便于理解图像预处理、CNN特征提取、分类模型训练及GUI集成全流程亦可作为深度学习项目二次开发的优质基线代码。1. 舌苔图像识别不是“拍张照就出结果”一个能跑通的Python机器学习系统含训练、推理、UI全流程闭环你可能试过用OpenCV随便写个阈值分割去抠舌苔——结果光照一变、舌头角度一偏、背景稍杂模型直接把牙龈当舌苔、把阴影当厚腻苔。这不是算法不行是没走对路真实舌诊场景下舌体定位不准、苔色与舌质混叠、镜面反光干扰、手机拍摄畸变……这些才是卡住90%初学者的硬骨头。这个基于Python的舌苔检测系统不是调个sklearn.LogisticRegression完事而是从数据采集规范、YOLOv5s轻量级目标检测ResNet18分类双阶段设计、PyQt5可交互UI、到TensorRT加速部署全链路落地。它包含完整论文含中医舌诊标准映射逻辑、可复现训练脚本、带摄像头实时推理的GUI界面、以及所有tfevents日志文件——注意那些events.out.tfevents.xxx文件不是冗余垃圾而是训练过程的原始证据链能帮你快速定位loss震荡、梯度消失、学习率崩塌等黑匣子问题。适合计算机/人工智能/中医学交叉方向的学生做毕设也适合想把传统中医视觉化落地的工程师补全CV pipeline认知。别被“UI界面”四个字骗了——它真能扛住20fps视频流不是点开就卡死的demo。2. 为什么选YOLOv5sResNet18组合轻量、可解释、适配舌诊小样本特性舌苔检测本质是两个任务叠加先准确定位舌体区域目标检测再在该区域内判别苔质类型分类。若强行用单模型端到端解决会陷入“定位不准导致分类错、分类反馈又无法修正定位”的死循环。本项目采用分阶段策略既符合临床诊断逻辑先看舌形再辨苔色又规避了小样本下多任务联合训练的不稳定性。2.1 舌体检测层YOLOv5s为何比YOLOv8n更稳项目使用YOLOv5s而非更新的YOLOv8或YOLOv10核心原因有三显存友好性YOLOv5s在GTX10606GB上单batch4可稳定训练而YOLOv8n同等配置下易OOM预训练权重成熟度YOLOv5官方提供COCO预训练权重yolov5s.pt其backbone对边缘纹理敏感对舌体轮廓提取鲁棒性强Anchor匹配机制更适配舌形舌体在图像中长宽比集中于1:1.2~1:1.8YOLOv5默认anchor[10,13, 16,30, 33,23]等经k-means聚类重生成后召回率比YOLOv8默认anchor高7.3%见论文附录Table 3。提示项目中data/tongue.yaml已内置重聚类后的anchor无需手动运行kmeans.py。若你更换数据集务必重新聚类——我曾因沿用COCO anchor导致舌尖漏检率达21%。2.2 舌苔分类层ResNet18不是凑数是为小样本留出梯度空间舌苔类别仅4类薄白苔、黄腻苔、灰黑苔、剥落苔每类有效标注图像不足300张。此时用ResNet50或ViT会引发严重过拟合深层网络参数爆炸而小样本无法提供足够梯度更新方向。ResNet18的11M参数量恰是平衡点——其残差结构保留低层纹理特征苔质颗粒感避免浅层CNN如VGG11丢失关键细节torchvision.models.resnet18(pretrainedTrue)加载ImageNet权重后仅微调最后两层fc冻结前10层卷积使top-1准确率从随机初始化的52.1%跃升至86.7%关键设计在avgpool后插入SEBlockSqueeze-and-Excitation让模型自动关注“苔色饱和度”与“苔质疏密度”两个中医判读维度论文中消融实验证明该模块提升F1-score 4.2个百分点。2.3 数据增强策略不是加高斯噪声就叫增强舌像增强绝非简单旋转翻转。本项目采用三级增强链物理仿真层用imgaug模拟手机镜头畸变iaa.PerspectiveTransform(scale(0.01, 0.05))、白平衡偏移iaa.AddToHueAndSaturation((-20,20), per_channelTrue)中医语义层针对“黄腻苔易被误认为食物残渣”加入iaa.Cutout(nb_iterations2, size0.05, squaredFalse)随机遮挡模拟饭粒粘连光照鲁棒层用cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8))局部对比度增强解决室内灯光下苔色发灰问题。训练时三者按概率组合物理70% 中医语义20% 光照10%验证集禁用所有增强——这是防止模型学到增强伪影的关键纪律。3. 从源码到可执行PyQt5 UI如何承载模型推理而不卡顿UI卡顿是这类项目的高频翻车点。很多同学把model.predict()直接塞进QPushButton.clicked.connect()结果点击一次界面冻结3秒——这并非PyQt5不行而是没理解GUI线程与计算线程的隔离原则。3.1 多线程架构QThread Signal才是正解项目UI采用QThread派生工作线程而非QTimer轮询或threading.Thread裸奔。核心代码如下# ui_main.py class InferenceWorker(QThread): result_signal pyqtSignal(dict) # 发送{tongue_bbox: [...], tongue_type: 黄腻苔} def __init__(self, model_path, devicecpu): super().__init__() self.model_path model_path self.device device def run(self): # 在子线程加载模型避免阻塞GUI self.model torch.load(self.model_path, map_locationself.device) self.model.eval() # 每次推理前清空CUDA缓存关键 if self.device ! cpu: torch.cuda.empty_cache() # 执行推理此处省略预处理/后处理细节 result self._infer_frame(self.frame) self.result_signal.emit(result) # 主窗口中启动线程 def start_inference(self): self.worker InferenceWorker(weights/best.pt, deviceself.device) self.worker.result_signal.connect(self.update_ui_result) self.worker.start()注意torch.cuda.empty_cache()必须放在每次推理前否则连续多次推理会累积显存导致第3次开始卡顿。这是血泪经验——我曾因漏掉这行调试了两天以为是PyQt信号延迟。3.2 视频流处理用QTimer控制帧率而非while TrueUI中摄像头捕获不用cv2.VideoCapture().read()死循环而是用QTimer.timeout.connect(self.capture_frame)并设置timer.setInterval(33)即30fps。关键在于capture_frame()函数内做帧缓冲def capture_frame(self): ret, frame self.cap.read() if not ret: return # 只处理每3帧降低CPU负载 self.frame_count 1 if self.frame_count % 3 ! 0: return # 缩放至640x480保持比例避免拉伸变形 h, w frame.shape[:2] scale min(640/w, 480/h) new_w, new_h int(w*scale), int(h*scale) frame_resized cv2.resize(frame, (new_w, new_h)) # 填充黑边至640x480YOLO输入要求固定尺寸 pad_w (640 - new_w) // 2 pad_h (480 - new_h) // 2 frame_padded cv2.copyMakeBorder( frame_resized, pad_h, pad_h, pad_w, pad_w, cv2.BORDER_CONSTANT, value(0,0,0) ) self.current_frame frame_padded # 供worker线程读取3.3 实时结果显示用QGraphicsView替代QLabelQLabel.setPixmap()在频繁更新时会产生大量临时QPixmap对象引发内存泄漏。项目改用QGraphicsViewQGraphicsScene# 初始化 self.scene QGraphicsScene() self.graphicsView.setScene(self.scene) self.pixmap_item QGraphicsPixmapItem() self.scene.addItem(self.pixmap_item) # 更新图像复用同一pixmap对象 def update_display(self, frame_bgr): rgb cv2.cvtColor(frame_bgr, cv2.COLOR_BGR2RGB) h, w, ch rgb.shape bytes_per_line ch * w qt_img QImage(rgb.data, w, h, bytes_per_line, QImage.Format_RGB888) self.pixmap_item.setPixmap(QPixmap.fromImage(qt_img))此方案将UI刷新耗时从120ms降至23msi5-8250U实测且无内存增长。4. 避坑训练/部署/UI三大环节的5个致命错误这些坑我都亲手踩过文档里不会写但不避开就等于白干。4.1 现象训练loss在第10 epoch突然飙升至nan原因data/tongue.yaml中nc: 4写成nc: 5但label文件里只有0-3四类索引导致cross-entropy loss计算时log(0)触发nan。解决检查labels/目录下所有txt文件确认最大类别ID为3用grep -r 5 labels/全局搜索非法标签。4.2 现象UI启动后报错ModuleNotFoundError: No module named PyQt5.sip原因PyQt5 5.15版本移除了sip模块但项目依赖的qtpy库仍尝试导入。解决降级PyQt5至5.14.2pip install PyQt55.14.2并确保qtpy版本≤2.0.1pip install qtpy2.0.1。4.3 现象摄像头画面正常但检测框始终在左上角不动原因inference.py中坐标归一化未逆变换。YOLO输出bbox为归一化坐标0~1但cv2.rectangle()需像素坐标。解决在draw_bbox()函数中添加x1 int(bbox[0] * frame.shape[1]) # width y1 int(bbox[1] * frame.shape[0]) # height x2 int(bbox[2] * frame.shape[1]) y2 int(bbox[3] * frame.shape[0])4.4 现象导出onnx模型后推理结果全为0原因torch.onnx.export()未设置dynamic_axes导致输入tensor shape被固化为训练时batch16而推理时batch1触发shape mismatch。解决导出时显式声明动态轴torch.onnx.export( model, dummy_input, tongue.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}} )4.5 现象打包成exe后UI文字乱码方块□□□原因PyInstaller未自动打包字体文件Windows系统默认缺少中文支持。解决在打包命令中加入字体路径pyinstaller --add-data C:/Windows/Fonts/msyh.ttc;. --onefile ui_main.py并在ui_main.py开头添加import os from PyQt5.QtGui import QFontDatabase font_path os.path.join(os.path.dirname(__file__), msyh.ttc) QFontDatabase.addApplicationFont(font_path)5. 模型精度不够用Grad-CAM可视化定位“模型到底在看哪”当分类准确率卡在85%不上升时别急着换模型——先搞清模型是否真的在学舌苔特征还是偷偷记住了背景纹理。Grad-CAMGradient-weighted Class Activation Mapping是验证模型注意力区域的黄金标准本项目已集成该功能只需三步启用5.1 修改分类模型输出层暴露feature mapResNet18最后一层fc需替换为自定义模块保留layer4输出# models/resnet18_tongue.py class TongueClassifier(nn.Module): def __init__(self, num_classes4): super().__init__() self.backbone models.resnet18(pretrainedTrue) # 冻结前10层 for i, (name, param) in enumerate(self.backbone.named_parameters()): if i 60: # ResNet18共62层参数 param.requires_grad False self.backbone.fc nn.Sequential( nn.Dropout(0.5), nn.Linear(512, 128), nn.ReLU(), nn.Linear(128, num_classes) ) def forward(self, x): x self.backbone.conv1(x) x self.backbone.bn1(x) x self.backbone.relu(x) x self.backbone.maxpool(x) x self.backbone.layer1(x) x self.backbone.layer2(x) x self.backbone.layer3(x) x self.backbone.layer4(x) # ← 关键保留layer4输出 feat_map x # [B, 512, H, W] x self.backbone.avgpool(x) x torch.flatten(x, 1) x self.backbone.fc(x) return x, feat_map5.2 Grad-CAM热力图生成函数可直接复用def generate_gradcam(model, img_tensor, target_class, devicecpu): img_tensor: [1, 3, 224, 224] 归一化后tensor target_class: int, 如0代表薄白苔 model.eval() img_tensor img_tensor.to(device) # 前向传播获取特征图和logits logits, feat_map model(img_tensor) # feat_map: [1, 512, 7, 7] # 获取目标类别的梯度 model.zero_grad() logits[0, target_class].backward() # 提取layer4的梯度注意ResNet18中layer4是最后一个conv block gradients model.backbone.layer4[1].bn2.weight.grad # 或用register_hook更通用 # 全局平均池化梯度得到权重 pooled_gradients torch.mean(gradients, dim[0, 2, 3]) # 加权特征图 for i in range(512): feat_map[:, i, :, :] * pooled_gradients[i] # 求和并ReLU heatmap torch.mean(feat_map, dim1).squeeze() heatmap F.relu(heatmap) # 归一化到0-1 heatmap heatmap / torch.max(heatmap) return heatmap.cpu().numpy() # 使用示例 img_pil Image.open(test/tongue_001.jpg).resize((224,224)) transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img_tensor transform(img_pil).unsqueeze(0) heatmap generate_gradcam(model, img_tensor, target_class1) # 黄腻苔 plt.imshow(heatmap, cmapjet, alpha0.5) plt.axis(off) plt.savefig(gradcam_yellow.png, bbox_inchestight, dpi300)5.3 解读热力图三个中医判读校验点生成热力图后对照中医舌诊标准核验热力图异常模式中医意义应对措施热力集中在舌根部非舌苔区模型误学舌根淋巴组织纹理增加舌根区域mask数据增强或在loss中加入区域权重舌体ROI权重×1.5热力覆盖整个舌面但强度均匀模型未聚焦苔质细节仅用整体亮度判断引入L1 loss约束feature map稀疏性或改用Vision Transformer的attention map监督热力呈条状沿舌中线分布模型学习了拍摄时的光线反射条纹在数据增强中强制添加iaa.Sometimes(0.3, iaa.MotionBlur(k5))模拟运动模糊我曾发现模型对“剥落苔”的热力图集中在舌面边缘而中医认为剥落苔主症在舌中——这说明数据集中剥落苔样本多为边缘拍摄立即补充了200张舌中特写样本准确率提升11.2%。从此我养成了每次迭代必跑Grad-CAM的习惯模型不解释就不敢上线。从那以后我每次提交模型前都强制走一遍Grad-CAM流程——不是为了炫技是怕自己写的代码连舌苔在哪都认不准。希望帮到你。本文还有配套的精品资源点击获取