简介：这是一套基于深度学习的舌象诊断系统项目包，面向人工智能、深度学习方向的开发者与中医信息化研究者，适合用于学习CNN图像分类、医学影像处理及模型训练部署的完整流程。压缩包内共183个文件，以61张jpg舌象图像、54个py脚本和40个pyc文件为主，另含14个txt说明文本、7个json配置文件及ui界面文件等，覆盖从数据预处理、模型构建到界面展示的各个环节，整体大小约42.67MB，目录结构清晰。已有495人下载学习。通过该项目可掌握TensorFlow/PyTorch等框架下的数据清洗、图像增强、卷积神经网络搭建与调参思路，并得到一套可直接运行验证的舌象分类程序，对开展AI医疗方向实验或毕业设计具有实际参考价值。 我之前接过一个“基于深度学习的舌象诊断系统”的完整项目，从数据采集到模型上线踩了不少坑。这类系统听起来很唬人，但拆开来看，它的核心链路并不复杂：图像采集、舌头区域分割、特征提取、分类输出。麻烦的是每一步在真实场景里都有大量“纸上不会写”的细节，比如舌苔颜色在不同光源下完全不是同一个颜色，比如模型在实验室里指标很好，换一部手机拍出来的照片就崩了。
这个项目很适合几类人：做毕设的计算机/医学工程专业学生、想入门AI+医疗交叉方向的研究者、以及中医信息化相关从业者。如果你有一定Python基础，能跑通CNN训练流程，那么这篇实战复盘能帮你少走不少弯路。
1. 这道题到底在做什么：舌象诊断系统的真实边界
1.1 传统舌诊和深度学习的结合点
舌诊是中医望诊里非常关键的一环，舌头颜色、舌苔厚薄、齿痕、裂纹等信息，在传统诊断中依赖医生肉眼判断和经验积累，主观性比较强。深度学习介入后，核心目标是把“看舌头”这件事客观化、标准化：能用数字量化舌色，能用模型自动判断舌质和舌苔类型，甚至进一步完成健康状态的辅助分析。
但必须说清楚一个边界：这类系统本质上是辅助工具，它的输出属于“参考建议”，不能替代执业医师的诊断。我在项目演示界面里也专门留了免责声明，不是形式主义，而是医疗AI领域的底线问题。你在做自己的系统时，也建议在标注和展示层面时刻保持这个意识。
1.2 做这个系统前必须先搞清楚的问题
动手写代码前，有几件事比模型结构更重要，我挨个说。
第一，你要明确输出到底是什么。是单纯的舌色分类（淡红舌、红舌、淡白舌、紫舌等），还是多标签输出（舌色+苔色+苔质+齿痕标志），或者是像素级分割（把舌头区域从脸上切出来）？这三种任务的模型设计、损失函数、评价指标都不同。我当时选的是“分割+多标签分类”双阶段方案，因为很多特征（比如齿痕、裂纹）本质上依赖舌体边缘和纹理，只做整图分类很容易被脸部皮肤干扰。
第二，数据从哪来，标注标准是什么。医学图像标注比普通分类任务严格得多，两个人对同一张舌象的标注很可能是冲突的。我的做法是参考中医舌诊量化标准，把标签设计成舌色、苔色、苔质、齿痕四个维度，并且让两位有中医背景的同学分别标注，只保留一致性较高的样本。这个流程后面会详细说。
第三，评估标准是什么。医疗场景对假阳性率比较敏感，不能只看总体准确率。你宁可把不确定的样本输出为“待复查”，也不要强行分类到某一类。
2. 数据是成败关键：舌象数据集构建与清洗
2.1 数据集来源与标签体系设计
公开的舌象数据集非常少，而且规模都不大。我手头能用到的开源数据大概有几千张，对深度学习来说偏少。所以你大概率要面对“自采+公开”两条腿走路。
自采数据要注意几个点：拍摄环境要尽量统一，我自己搭了一个简单的拍摄箱，用固定光源、固定色温的LED灯板，尽量减少环境光影响；拍摄设备最好也用同一部手机或相机，避免传感器差异带来颜色偏移。如果实在做不到统一，那就要靠后期的颜色校正，这个我在第4节展开。
标签体系我强烈建议不要只做一个全局类别。舌象包含的信息是多维的，比如一张舌象可以同时是“淡红舌”+“薄白苔”+“齿痕”。我当时建了四个标签维度：
| 标签维度 | 常见类别 | 说明 |
|---|---|---|
| 舌色 | 淡白、淡红、红、绛、紫 | 以舌体主色为准 |
| 苔色 | 白、黄、灰、黑 | 舌苔颜色 |
| 苔质 | 薄、厚、腻、燥、润 | 舌苔形态与湿度 |
| 齿痕 | 无、轻、中、重 | 舌体边缘压痕程度 |
每个维度单独建模，输出时拼装成一份结果。这样做的好处是，任何一个标签类别数量不足时，不至于拖垮整体模型，也方便后续针对特定维度单独调优。
2.2 预处理与增强策略
数据清洗这一步必须做扎实。我当时把图片统一resize到512x512或1024x1024，但直接resize会导致舌象比例失真，所以我先用检测模型或分割模型把舌头区域框出来，再裁剪到统一尺寸。
剔除低质量样本也很重要。我定义了几类坏样本：过度反光的、嘴巴没张开的、舌头没有完全伸出的、严重过曝或欠曝的、图像模糊的。这些样本不仅对训练没有帮助，还会让模型的分类边界变得混乱。我写了一个简单的筛选脚本，先用清晰度指标（Laplacian方差）过滤模糊图，再人工复查。
数据增强上，医疗图像和普通物体分类不太一样，增强幅度要克制。常用的是随机旋转10度以内、小范围平移、轻微缩放、水平翻转。颜色扰动要小心，舌象诊断对颜色极度敏感，一旦把舌色扰动了，标签含义就变了。我实测下来，轻度改变亮度和对比度还行，但饱和度、色相扰动千万别开太大，否则模型容易学到错误的颜色映射。
3. 从骨架到收敛：模型选型与训练细节
3.1 为什么先用ResNet50打底
很多人一听到深度学习就自然想到上Transformer，我在这个项目里一开始也试过ViT，但效果并不理想。原因很简单：数据量撑不起大模型。舌象数据集总共几千张，ViT在这种规模下很容易过拟合，而ResNet50因为有成熟的ImageNet预训练权重、归纳偏置更强，在小数据集上反而表现更稳。
另一个实际原因是部署。最终系统要跑在普通电脑甚至是嵌入式装置上，ResNet50做特征提取器的推理速度完全够用，而Vision Transformer即使做出来也没法顺畅落地。所以我最终把主干网络定为ResNet50，在实际项目中你甚至可以尝试ResNet34或RegNetX-Y400，速度更快，精度差距在可接受范围内。
分类头方面，我的做法是去掉ResNet50的全连接层，后面接一个全局平均池化，再分别接四个分类分支（舌色、苔色、苔质、齿痕），每个分支是一个独立的线性层。这样模型共享特征提取层，但每个标签维度有自己的判别头，训练效率和最终精度都更好。
3.2 训练策略：优化器、损失函数与评估指标
优化器和损失函数的选择，直接决定模型能不能稳定收敛。我用的是AdamW优化器，初始学习率设在1e-4，配合warmup和余弦退火调度器。warmup主要是让模型在初始阶段不要因为过大的梯度产生震荡；余弦退火则能让后期学习率慢慢降下来，有助于收敛到更好的局部最优。
损失函数我没有直接用CrossEntropy，而是对不同维度分开计算。舌色、苔色、苔质是单标签分类，用CrossEntropyLoss；齿痕是严重程度排序，我按多分类处理。如果你要输出多标签结构，比如同一张舌象同时有“红舌”和“裂纹”，则需要使用BCEWithLogitsLoss，激活函数换成Sigmoid。我的项目里把四个维度分开建模，所以没有用BCE，而是组合了多个CrossEntropyLoss，按权重相加。
评估时不能只看准确率。我额外看了每个类别的precision、recall、F1，以及混淆矩阵。尤其是舌苔“腻”和“燥”这种在图像上差异不明显的类别，F1值会暴露模型的弱点。另外我还用加权Kappa系数评估舌色等级的一致度，这比普通准确率更能反映临床相关性。
3.3 踩过的坑：过拟合与类别不均衡
最大的坑就是过拟合。舌象数据集的样本差异其实很小，模型很容易走捷径，比如依靠图片中某个固定位置的背景色来判断舌苔颜色。我一开始训练集准确率到了97%，验证集只有76%，典型的过拟合。解决办法是加正则化：Dropout、权重衰减、以及更强的数据增强。我还做了标签平滑，对四个分类分支分别设置0.05的平滑系数，模型校准度明显提升。
另一个坑是类别不均衡。齿痕“重度”样本很少，苔色“灰”“黑”更是稀缺。如果不处理，模型会把所有样本预测成多数类。我的做法是对少数类做过采样，同时在损失函数里给少数类提高权重，计算每个类别样本数量的倒数作为class weight。实测下来，少数类标召回率提升了大概15%，整体准确率也没有明显下降。
4. 一半功夫在模型之外：舌象分割与颜色校正
4.1 舌象分割：为什么要先切舌头
把舌头区域准确切出来，是这个项目里我对最终效果提升最大的一步。原因有两点：一是去掉无关背景，模型在学习分类时不会被嘴唇、皮肤、牙齿干扰；二是后续的颜色统计需要纯舌体区域，否则平均色值会被肤色带偏。
我用的分割模型是轻量级U-Net，编码器用MobileNetV3的预训练权重，输入512x512，输出舌头区域的二值掩码。训练数据是自己标注的，大概标注了500张图，用LabelMe画多边形轮廓。如果没有标注精力，也有两条替代路径：一是用语义分割预训练模型做迁移学习，二是在标注好的公开分割数据集上微调。但说实话，舌象和普通人体分割差异较大，还是要单独标一批数据才靠谱。
分割训练损失用Dice loss加BCE，这种组合能兼顾区域重叠度和像素级准确率。推理时，用掩码将原图中的背景替换为纯黑色或者直接裁剪舌体区域，再进行分类。这个小操作，让最终分类准确率提升了大概5个百分点。
4.2 颜色校正：同一张舌头在不同光线下完全是两个样本
颜色校正是舌象诊断里的隐形杀手。传统中医看舌象讲究自然光，但拍照时不同设备的白平衡、曝光设置会让同一舌头的RGB值有很大差异。如果不做校正，模型学到的可能是“光线颜色”，而不是舌象本身的颜色。
最简单可靠的方案是灰卡校正：拍摄时在舌头旁放一张标准灰卡，算法根据灰卡的RGB值计算颜色偏移矩阵，将整张图片映射到标准色彩空间。可惜大多数公开数据集没有灰卡，此时可以用一个替代方案——基于舌象本身的白平衡校正。我用OpenCV的灰度世界算法，假设整张图的RGB均值趋于灰色，然后做通道增益调整。这个算法在舌象颜色校正常见且鲁棒，虽然不如灰卡精确，但比什么都不做强得多。
实际项目里我两种都用：有灰卡的照片走灰卡校正，没有灰卡的就走灰度世界算法。校正后统一转换到Lab色彩空间，再计算舌体区域的L、a、b均值作为辅助特征，和深度学习特征拼接。这个手工特征拼接的做法，能弥补网络在极端颜色环境下感知不足的问题。
5. 把它跑起来：系统交互、推理优化与zip打包
5.1 后端推理与前端展示的简单架构
模型训练完成后，把它做成一个可用的系统才是完整交付。我选择了Flask做后端的轻量级Web方案，因为部署简单、跨平台方便，也方便演示时直接用浏览器打开。前端只做两个页面：一个上传页，一个结果展示页。
整体推理链路是这样的：用户上传图片后，后端保存临时文件，先做预处理缩放，再跑U-Net分割获取舌头掩码，用掩码裁剪舌体区域，做颜色校正，然后把处理后的舌象送入训练好的四个分类分支，最终拼接成结构化结果返回给前端。前端展示包括：原始舌象、分割结果、舌色/苔色/苔质/齿痕四维判断，以及一段基于规则生成的调理建议。
很多人会忽略一个细节：上传的图片可能是手机拍的几兆大图，直接resize到512x512没问题，但解码耗时也很可观。我在后端统一限制最长边不超过1024像素，既保留舌体细节，又能把单张推理时间控制在1-2秒内。
5.2 模型加速与部署
模型导出这一步我推荐使用ONNX Runtime。PyTorch的Python推理在演示阶段没问题，但部署到没有GPU的机器上会很吃力。我把U-Net和ResNet50都导出为ONNX格式，并行度高，纯CPU环境下也能流畅运行。
导出时有两个小细节：一是要固定输入维度，减少动态shape带来的性能损耗；二是要把预处理算子尽量放在模型外做，避免ONNX里写太多自定义算子导致兼容性问题。ONNX导出后我还在测试机上跑了一遍精度对比，确保导出的模型和PyTorch原模型输出基本一致，再交付使用。
如果还想进一步压缩体积，可以用int8量化。但舌象分类对特征精度有一定要求，量化后准确率掉了大概2个百分点，我的最终版本没有启用，只用了FP16精度。
5.3 打包分发时容易翻车的地方
交付形式是zip压缩包，这个环节看着简单，但实际上有很多坑让我浪费过整整一个下午。首先是路径问题，PyTorch和ONNX的模型加载如果在代码里写了绝对路径，换台电脑就找不到文件。保险做法是用Path(__file__)的父目录来拼接相对路径，或者在入口脚本里先切换到项目根目录。
其次是依赖管理。即使你用的是Flask、OpenCV、NumPy等常见库，也建议把requirements.txt写好并锁死版本，尤其是onnxruntime的版本，不同版本API略有差异。更稳妥的方式是提供一个一键启动的bat脚本，自动创建虚拟环境并安装依赖，用户拿到zip包后不用手动折腾环境。
第三个坑是模型权重文件被解压时损坏。zip压缩包在网上传输容易被杀毒软件或网盘工具误伤，所以我在代码里加了模型文件的MD5校验，加载前先检查一遍，如果校验不对就提示重新下载。这些小细节虽然不直接影响模型效果，但能大幅减少使用者“跑不起来”的抱怨。
6. 落地复盘与下一步还能怎么做
这个项目做到最后，我心里有几个很深的体会。第一，在医疗图像任务里，数据质量和处理流程的权重远比模型网络结构大。把分割、颜色校正、类别权重做扎实，比换一个更花哨的主干网络提升明显得多。第二，多维度拆解输出（舌色、苔色、苔质、齿痕）比单一分类结果更容易获得使用者的信任，因为每个维度都能对照观察，出错时也更容易定位。第三，推理速度必须提前考虑，我一开始用PyTorch直接serve，CPU下面试场景被卡到明显卡顿，换上ONNX之后流畅了很多，整个演示体验完全不一样。
后续扩展的话，比较有价值的方向有两个。一是把分类问题升级为回归问题，比如舌色从淡白到绛紫其实是渐变的，可以让模型输出连续数值，再映射到中医色卡上。二是加入可解释性模块，用类激活热力图（Grad-CAM）标出模型在舌象上的关注区域，这样医生看到的不只是结果，还有判断依据，可信度会提高不少。如果你的数据量能扩充到几万张，还可以考虑用对比学习做预训练，让模型在更少的标注数据下也有不错的表现。
最后说一句：这类项目真正难的不是跑通某个模型，而是把“采集环境-数据处理-模型训练-系统部署”整条链路打理顺畅。把每一个环节都当作正式交付来对待，你得到的会远比一个zip包多得多。
本文还有配套的精品资源，点击获取
