1. 项目缘起：一个“症状探测器”的诞生背景
最近在整理一些旧项目时，翻到了一个几年前做的“症状探测器”。当时，全球公共卫生领域正面临一个前所未有的挑战，如何快速、非接触式地进行大规模人群的初步健康筛查，成为了一个技术热点。这个项目，就是在这个背景下诞生的一个探索性尝试。它的核心目标很简单：利用计算机视觉和机器学习技术，通过分析摄像头捕捉到的人体姿态、动作和部分生理信号（如呼吸频率），来识别可能存在的、与特定呼吸道疾病相关的异常症状模式，比如频繁咳嗽、呼吸急促、精神萎靡等。
我把它命名为“Pseudo - covid19”，这里的“Pseudo”有两层含义。第一，它并非一个医学诊断工具，而是一个“伪”或“模拟”的筛查辅助系统，其输出结果绝不能替代专业医疗诊断。第二，它的算法模型是基于公开数据集和模拟数据训练的，旨在验证技术路线的可行性，而非部署于真实临床环境。这个项目更像是一个技术原型，探讨在资源受限或需要快速响应的场景下，技术如何为公共卫生监测提供一种新的、非侵入式的数据视角。
2. 核心架构与技术选型解析
这个“症状探测器”的系统架构并不复杂，但涉及多个技术模块的串联。整个流程可以概括为：视频流输入 -> 人体关键点检测 -> 时序行为分析 -> 症状特征提取 -> 异常模式识别 -> 结果输出与预警。
2.1 视觉感知基石：人体姿态估计
这是整个系统的眼睛。我们需要从视频帧中精确地定位出人体的关节点，如头部、肩膀、手肘、手腕、髋部、膝盖、脚踝等。当时我主要评估了两个主流方案：OpenPose和MediaPipe。
OpenPose功能强大，精度高，能提供全身、手部、面部的密集关键点，但其计算开销较大，对硬件要求高，实时性是一大挑战。MediaPipe则由Google推出，其最大优势在于轻量化和跨平台（尤其在移动端和边缘设备上表现优异），虽然关键点数量可能不如OpenPose密集，但对于检测咳嗽（胸腔、肩部运动）、呼吸（胸腔起伏）、精神状态（头部姿态）等宏观行为已经足够。
注意：在涉及人体数据的处理时，隐私和安全是首要原则。本项目所有处理均在本地或边缘设备完成，原始视频数据不进行网络传输或存储，仅提取并处理匿名的关键点坐标序列。这是技术伦理的底线。
最终，我选择了MediaPipe Pose作为核心姿态估计引擎。原因如下：首先，项目强调快速部署和潜在的低成本硬件适配能力，MediaPipe的轻量级特性更符合这一目标。其次，MediaPipe提供了Python和C++的API，集成方便，并且其输出的关键点坐标（x, y, z及可见性）稳定可靠。在普通CPU上也能达到接近实时的处理速度，这对于一个需要连续监测的原型系统至关重要。
2.2 从静态到动态：时序行为建模
提取出单帧的人体关键点后，我们得到的只是一组静态的坐标。咳嗽、呼吸急促这些症状，本质上是随时间变化的动态模式。因此，我们必须引入时序分析。
我采用的方法是构建一个滑动时间窗口。例如，设置一个长度为5秒（150帧，假设30fps）的窗口，持续将新帧的关键点数据加入窗口，并移除旧数据。这样，我们始终维护着一个最近5秒的人体运动“短片”。
接下来，需要从这些时序关键点数据中提取有意义的特征。这包括：
- 关节角度变化：计算肘关节、膝关节等角度随时间的变化率，剧烈、频繁的角度变化可能对应咳嗽或颤抖。
- 胸腔区域运动：通过连接肩部、髋部的关键点定义一个“胸腔框”，计算其面积或中心点的高度在时序上的周期性变化，以此估算呼吸频率和深度。呼吸急促会表现为频率显著加快、幅度可能变浅。
- 运动能量与稳定性：计算全身关键点平均移动速度的方差。一个精神萎靡、疲惫的人，其姿态的微小调整（如晃动）可能会减少，而大的、无目的的运动也可能是一种异常。
- 特定动作模式：例如，结合手部（如果使用MediaPipe Hands）和嘴部区域的关键点，可以尝试检测“用手捂嘴”这个常见于咳嗽的动作模式。
这些特征构成了一个多维度的时序特征向量，它比单张图片包含了更丰富的、与症状相关的信息。
2.3 模式识别引擎：症状分类器
有了特征向量，下一步就是判断它是否属于“异常症状模式”。这里我尝试了两种机器学习方法进行对比。
第一种是基于阈值的规则系统。这种方法简单直接。例如，设定规则：“如果过去5秒内，胸腔运动频率持续高于每分钟25次，且运动幅度低于阈值A，则标记为‘呼吸急促可疑’”。再比如，“如果检测到连续、快速的肘关节屈伸，并伴随手部向口部移动，则标记为‘咳嗽可疑’”。这种方法的优点是透明、可解释性强，调整起来直观。但缺点也很明显：症状表现因人而异，单一的固定阈值容易导致高误报或漏报。咳嗽的力度、呼吸的深浅模式非常复杂，规则难以覆盖所有情况。
第二种是时序分类模型。我将提取的时序特征向量（比如一个150帧 x 特征维度的序列）输入到一个分类模型中。我尝试了传统的机器学习模型如支持向量机（SVM）配合手工特征，但效果一般。后来转向了更适合序列数据的模型——一维卷积神经网络（1D CNN）和长短时记忆网络（LSTM）。1D CNN可以捕捉局部时序模式（如一次咳嗽的波形），LSTM则能记忆长期的依赖关系（如一段时间内疲惫感的累积）。
我使用了一个混合结构：先用几个1D CNN层提取局部特征，然后接入LSTM层理解时序上下文，最后通过全连接层输出分类概率（如“正常”、“咳嗽”、“呼吸异常”、“疲惫”）。模型的训练数据来自于公开的动作识别数据集（如某些包含“咳嗽”、“打喷嚏”动作的数据集），以及通过模拟生成的合成数据（例如，让志愿者在摄像头前模拟不同强度的呼吸和咳嗽，并标注数据）。
3. 实战开发：从数据到可运行的原型
理论架构清晰后，真正的挑战在于将其实现为一个稳定运行的原型。这个过程充满了细节上的“坑”。
3.1 数据准备与模拟数据的生成
获取真实、标注好的医疗症状视频数据极其困难，且涉及严格的伦理审查。因此，项目大量依赖模拟和公开数据。对于“咳嗽”动作，我从一些人类动作识别数据集中找到了类似“挥手”、“擦嘴”等包含上肢快速运动的数据，将其重新标注为“咳嗽类”动作。对于“呼吸”，我们无法直接获取胸腔的精确起伏视频，但我找到了一个取巧的方法。
我使用了Breathing Rate from Video的研究思路。在均匀光照下，人体皮肤会因为血液流动而有微弱的颜色变化（光电容积脉搏波，PPG），这种变化与呼吸节律相关。虽然MediaPipe不直接提供皮肤区域，但我们可以从面部关键点区域（如脸颊）提取平均RGB值，对其进行时序滤波（带通滤波，保留0.1-0.5Hz，即每分钟6-30次的呼吸频率范围），再通过傅里叶变换或峰值检测来估算呼吸频率。我用此方法生成了大量不同频率和幅度的“呼吸信号”序列，作为模型训练的一部分。
实操心得：模拟数据的质量决定了模型的上限。对于呼吸信号，加入不同强度的噪声（模拟光照变化、轻微头部运动）至关重要，这能极大地提升模型在真实杂乱环境下的鲁棒性。不要用“干净”的完美数据训练，否则模型一到现实场景就会崩溃。
3.2 模型训练与优化陷阱
在训练1D-CNN+LSTM混合模型时，我遇到了经典的过拟合问题。模型在训练集上准确率很快达到95%以上，但在验证集上却只有60%左右。这显然不行。
我的解决策略是一个组合拳：
- 数据增强：对时序特征序列进行随机缩放、轻微的时间扭曲（加快或放慢一小段）、加入高斯噪声。这相当于创造了更多的“虚拟”样本。
- 模型简化：最初的设计总想用更深的网络捕捉更多特征，后来发现对于这个任务，一个较小的网络（如2层CNN+1层LSTM）配合Dropout正则化，效果反而更好，泛化能力更强。
- 损失函数设计：由于“正常”样本远多于“异常”样本，我使用了加权的交叉熵损失函数，给“咳嗽”、“呼吸异常”这些少数类别更高的权重，防止模型一味地预测“正常”。
- 关键特征筛选：并非所有计算出的特征都有用。我使用了递归特征消除（RFE）方法，发现对于咳嗽检测，肘部和腕部的运动特征最重要；对于呼吸检测，胸腔区域的垂直运动特征贡献最大。聚焦于核心特征，减少了噪声输入，提升了模型效率。
3.3 系统集成与实时性调优
将MediaPipe、特征提取管道和训练好的模型集成到一个流畅的实时应用中，是另一个挑战。Python虽然开发快，但在纯CPU上进行实时视频处理+模型推理，帧率很难超过15fps。
为了提升性能，我做了以下优化：
- 推理引擎转换：将训练好的TensorFlow/Keras模型转换为TensorFlow Lite格式。TFLite针对移动和边缘设备进行了大量优化，推理速度显著提升。
- 流水线并行：将视频捕获、姿态估计、特征计算、模型推理设计成异步流水线。当模型在处理第N帧的特征时，姿态估计模块已经在处理第N+1帧，视频捕获模块在抓取第N+2帧。这充分利用了多核CPU。
- 降低分辨率与频率：并非每一帧都需要处理。我将输入视频分辨率降至640x480，并且每两帧处理一帧（15fps处理速率），这对于检测秒级变化的症状已经足够。特征计算的时间窗口也可以动态调整，非紧急状态下可以使用更长的窗口（如10秒）以获得更稳定的判断。
最终，在一台搭载英特尔i5处理器的普通笔记本上，系统能够以接近20fps的速度运行，并给出实时的症状概率提示。
4. 局限性、伦理思考与项目边界
这个“症状探测器”原型虽然能够运行并展示出一定的识别能力，但我必须清晰地指出它的局限性和设计边界，这比展示技术成功更为重要。
4.1 技术局限性：为什么它只是“Pseudo”
- 非特异性：系统检测的是“类似咳嗽的动作”和“异常的呼吸模式”，而非病原体本身。普通感冒、过敏、甚至喝水呛到都可能触发“咳嗽”警报。呼吸急促也可能是由运动、焦虑引起的。它无法区分病因。
- 环境敏感：光照剧烈变化、复杂背景、多人同框、被检测者身着厚重衣物，都会严重影响MediaPipe姿态估计的精度，进而导致特征提取错误。
- 个体差异：模型在训练数据覆盖的人群之外（如儿童、老年人、有特殊肢体动作习惯的人），性能可能会下降。
- 隐私与误报的权衡：为了提高检出率，系统阈值可能需要调低，但这必然导致误报率升高。每一次误报，都可能对当事人造成不必要的心理困扰。
4.2 伦理与部署边界
在设计之初，我就为这个项目设定了严格的边界：
- 辅助筛查，绝非诊断：所有输出结果必须明确标注“本系统仅为辅助筛查工具，不能用于医学诊断。如有不适，请咨询专业医疗机构”。任何试图将其包装成“诊断AI”的行为都是错误且危险的。
- 本地化处理：所有计算必须在终端设备（如边缘计算盒子、本地服务器）上完成，原始视频数据在处理后立即丢弃，只保存匿名的、聚合后的统计结果（如某个区域一段时间内疑似症状警报次数），用于宏观趋势分析，而非个人追踪。
- 知情与透明：如果应用于公共场所，必须有清晰的标识告知人们此处正在进行基于视觉的公共卫生监测，并说明数据如何处理。
- 持续评估与审计：模型的性能需要在不同人群、不同环境中进行持续评估，并对可能存在的偏见（如对特定肤色、体型人群的识别率差异）进行审计和修正。
这个项目最大的价值，或许不在于它当前识别的准确度，而在于它完整地走通了一条技术路径，并迫使开发者深入思考技术落地时必须面对的现实约束和伦理责任。它更像一个“概念验证”，证明了在严格限定场景和明确告知边界的前提下，非接触式技术可以作为传统流行病学调查的一个补充数据来源，例如用于监测养老院公共活动区的总体活力水平，或在人员密集场所进行初筛分流。但它永远只能是“辅助”，是“筛查”，是“预警”，而非“判决”。
