医疗智能体递归自我进化：临床对齐的MedRSI架构与工程实践

1. 医疗智能体的自我进化为什么值得认真对待

医疗AI这几年最明显的变化，不是模型参数越来越大，而是智能体（Agent）开始被要求“自己变强”。过去我们做一个医疗问答系统，流程通常是：收集数据、标注、训练、评估、上线，然后等下一批数据再来一轮。这个循环的瓶颈不在算力，而在高质量临床数据的稀缺和标注成本。一个三甲医院的主任医师，时薪折算下来可能上千元，让他去标注几千条“这个诊断推理是否合理”，既不现实也不划算。

MedRSI 这个项目标题里的三个词，恰好点出了破局方向：Recursive Self-Improvement（递归自我改进）、Medical Agents（医疗智能体）、Clinically Aligned Self-Evolution（临床对齐的自我进化）。翻译成大白话就是：让医疗智能体在没有人反复喂标注数据的情况下，通过一套与临床逻辑对齐的自我进化机制，一轮一轮地提升自己的诊断推理能力。

这件事为什么难？因为医疗领域的“自我改进”和写代码、做数学题完全不是一回事。代码跑不通就是跑不通，数学题答案唯一，但临床决策充满了灰色地带：同一个主诉，可能是三种疾病的早期表现；同一个检查结果，在不同年龄、性别、基础病背景下意义完全不同。如果智能体自己生成训练信号、自己判断对错，很容易陷入“自我感觉良好但临床上一塌糊涂”的陷阱。MedRSI 要解决的核心问题，就是如何让自我进化的方向始终锚定在临床合理性上，而不是模型自己的偏好上。

这篇文章适合谁看？如果你在做医疗NLP、临床决策支持系统、或者任何需要“模型持续进化但标注预算有限”的场景，MedRSI 的思路值得仔细拆。即使你不做医疗，递归自我改进的架构设计、奖励信号构造、防止退化这些工程问题，在金融、法律、工业质检等高风险领域同样适用。我会从整体设计、核心机制、实操落地、踩坑排查四个层面，把 MedRSI 这类方案讲透，并补充大量基于常见工程实践的细节推演。

2. MedRSI 整体架构与自我进化闭环拆解

2.1 为什么是“递归”而不是“迭代”

很多人第一次看到 Recursive Self-Improvement 会把它和普通的迭代训练混为一谈。普通迭代是：模型A产生数据，人工筛选后训练出模型B，模型B再产生数据，人工再筛选……每一轮都依赖外部人工介入。而递归的关键在于：模型自己产生数据、自己评估、自己筛选、自己训练，形成一个自闭环，人的角色从“每轮必到”变成“设定规则和边界”。

MedRSI 的递归闭环大致是这样的：基础医疗智能体对一批临床案例给出推理链和结论；系统用一套临床对齐的评估器对推理链打分；高分推理链被保留并增强，低分推理链被修正或丢弃；增强后的数据用于微调或提示优化，产生新一代智能体；新一代智能体再处理更难或更新的案例。这个循环不需要每轮都请医生标注，但需要医生在规则层面深度参与，比如定义什么算“临床合理”、什么算“危险推理”。

注意：递归自我改进最大的风险是误差累积。如果评估器本身有偏差，模型会朝着偏差方向越走越远，三轮之后可能完全偏离临床常识。所以 MedRSI 里“Clinically Aligned”这个限定词不是装饰，而是安全阀。

2.2 临床对齐评估器的构造逻辑

评估器是整个闭环的“裁判”。在医疗场景里，裁判不能只看最终答案对不对，因为很多临床问题没有唯一答案。MedRSI 的评估器通常从三个维度打分：

• 事实一致性：推理链中引用的医学事实（如药物相互作用、检验参考值）是否准确。这部分可以用结构化知识库校验，比如药品说明书、临床指南的条目匹配。
• 推理逻辑性：从主诉到鉴别诊断再到检查建议，每一步是否有临床依据。比如“患者胸痛+出汗+左臂放射痛”，直接跳到“胃食管反流”而不排除心梗，逻辑分就会很低。
• 安全边界：是否给出了可能延误治疗的结论，是否遗漏了必须紧急处理的危重情况。这一项通常是一票否决。

我实际搭过类似的评估流水线，经验是：事实一致性可以自动化到80%以上，逻辑性和安全边界必须引入规则引擎加少量医生审核的混合模式。纯靠另一个大模型来打分，在医疗场景下波动太大，同一个推理链换个提示词可能从8分变5分。

2.3 自我进化的数据飞轮怎么转起来

数据飞轮的核心不是“数据多”，而是“数据有梯度”。如果每轮产生的数据难度都差不多，模型很快会达到瓶颈。MedRSI 的做法通常包含一个难度调度器：初始阶段用常见病、典型表现；随着模型能力提升，逐步引入罕见病、非典型表现、多病共存、矛盾检查结果等复杂案例。

难度调度器怎么判断“当前模型能处理多难”？一个实用做法是维护一个通过率窗口：如果当前批次推理链的平均得分在0.7到0.85之间，说明难度合适；低于0.6说明太难，模型学不到有效信号；高于0.9说明太简单，需要加难度。这个窗口机制在工程上比精确的能力评估更鲁棒，因为它直接看的是学习效率。

3. 核心机制深度解析与关键参数设计

3.1 推理链的生成与筛选策略

医疗智能体的推理链不是越长越好。我见过一些实现，让模型生成上千token的推理，结果里面一半是废话，评估器也被带偏。MedRSI 在实践中通常采用分段生成+关键节点校验的方式：

1. 先让模型输出结构化的推理骨架，比如“主诉归纳 → 初步鉴别列表 → 关键鉴别依据 → 建议检查 → 初步处理原则”。
2. 对每个节点单独生成详细内容，而不是一口气写完整篇。
3. 评估器对每个节点打分，只有所有节点都过阈值，整条推理链才被保留。

这样做的好处是定位问题精准。如果一条推理链最终结论错了，你能很快看出是鉴别列表漏了关键疾病，还是检查建议不合理。筛选时也可以做节点级增强：保留高分节点，替换低分节点，而不是整条丢弃。这在数据稀缺的医疗场景下能显著提高数据利用率。

3.2 奖励信号的设计与防退化机制

奖励信号如果只来自模型自己的偏好，会迅速退化。MedRSI 的奖励通常由三部分组成：

防退化机制里，KL散度约束是常用手段：新一代模型在优化时，不能偏离上一代太远，否则容易崩溃。但医疗场景下KL约束要调得比通用领域更紧，因为临床共识变化很慢，模型不应该在几轮自我进化后就“发明”新的诊断标准。

另一个实用技巧是保留一个冻结的临床基准模型，每轮进化后都用它和当前模型在固定测试集上对比。如果当前模型在基准集上下降超过2%，就触发回滚或降低学习率。这个“锚模型”机制在工程上救过我很多次。

3.3 临床对齐的量化评估方法

“临床对齐”听起来很虚，但落地时必须变成可计算的指标。MedRSI 常用的量化方法包括：

• 指南符合率：推理链中的关键决策点，与最新临床指南的推荐一致的比例。比如社区获得性肺炎的经验性抗菌药物选择，是否符合当地指南。
• 危重识别召回率：在所有需要紧急处理的案例中，模型正确识别并优先处理的比例。这个指标在医疗场景下比准确率重要得多。
• 过度检查率：模型建议的检查项目中，与鉴别诊断无关的比例。这个指标反映的是临床经济性和患者负担。
• 矛盾推理率：推理链内部出现前后矛盾的比例，比如前面说“不支持感染”，后面又建议用抗生素。

这些指标不需要每轮都人工算，可以做成自动化看板。我的经验是，指南符合率和危重识别召回率必须每轮监控，其他指标可以按周或按版本监控。

4. 实操落地：从零搭建一个医疗自我进化流水线

4.1 环境准备与基础模型选型

如果你要复现 MedRSI 的思路，第一步不是写代码，而是确定基础模型和知识底座。基础模型建议选一个在医学语料上有持续预训练的版本，参数量在7B到13B之间比较合适：太小了推理能力不够，太大了自我进化的计算成本扛不住。知识底座至少包含：药品说明书结构化数据、常见临床指南摘要、检验参考值表、疾病-症状-检查关联图谱。

环境方面，单卡24G显存可以跑7B模型的推理和轻量微调，但如果要做多轮递归进化，建议至少两张卡，一张跑生成，一张跑评估，避免互相抢资源。存储上，每轮进化的推理链、评分、模型检查点都要保留，方便回溯。我一般会按“日期-轮次-模型版本”建目录，避免文件混乱。

4.2 第一轮自我进化的完整操作流程

第一轮的目标不是提升多少分，而是验证闭环能不能跑通。具体步骤：

1. 准备种子案例集：从公开医学考试题、脱敏病例报告中整理200到500条，覆盖常见科室。每条包含主诉、现病史、关键检查、最终诊断。
2. 生成推理链：用基础模型对每条案例生成结构化推理链，温度设0.3到0.5，保证有一定多样性但不太发散。
3. 评估打分：用知识库匹配+规则引擎+模型自评三路打分，记录每条推理链的各维度得分。
4. 筛选与增强：保留总分前30%的推理链，对中等分数的推理链做节点替换，低分丢弃。
5. 微调新一代模型：用筛选后的数据做LoRA微调，学习率设1e-5到2e-5，训练1到2个epoch即可，避免过拟合。
6. 基准测试：用冻结的锚模型和固定测试集对比，确认没有退化。

第一轮跑完，通常能看到指南符合率提升3到8个百分点。如果没提升甚至下降，优先检查评估器是不是太严或太松，而不是怀疑自我进化本身。

4.3 多轮进化的难度调度与数据管理

从第二轮开始，难度调度器介入。我的做法是维护一个案例难度分，初始由规则给出（比如涉及疾病数量、非典型表现比例、检查矛盾程度），后续根据模型通过率动态调整。每轮从案例池中按难度分层抽样，保证简单、中等、困难的比例大致为3:5:2。

数据管理上，每轮进化的数据不要混在一起训练。我试过把三轮数据合并微调，结果模型对早期简单案例过拟合，对后期复杂案例反而表现下降。正确做法是每轮只用当轮筛选后的数据，或者用时间衰减加权，让新数据权重更高。

提示：多轮进化后，模型可能会对评估器的某些模式“应试”。比如评估器偏好某种句式，模型就大量生成类似句式。对抗方法是定期用留出评估器（另一套独立构造的评估标准）做交叉验证，发现应试迹象就调整评估器权重。

4.4 评估看板与人工抽检的配比

完全自动化的自我进化在医疗场景下不可接受，但每轮都大量人工审核也不现实。我的经验配比是：自动化评估覆盖100%数据，人工抽检覆盖5%到10%，且抽检要分层：高分、中等分、低分各抽一部分。高分抽检是为了发现评估器漏掉的“看似合理但临床危险”的推理；低分抽检是为了发现评估器误杀的好推理。

人工抽检的结果要反馈到评估器规则里，而不是直接改数据。比如医生发现某类推理被误判，就去调整规则引擎的对应条目，这样下一轮自动评估会更准。这个反馈循环跑顺了，人工抽检比例可以逐步降到3%左右。

5. 常见问题与排查技巧实录

5.1 模型自我进化后反而变差怎么办

这是最常见的问题，通常有三个原因。第一，评估器偏差被放大。排查方法是拿进化后的模型输出和锚模型输出做盲评，看是不是评估器偏好的方向本身就不对。第二，学习率太高或训练轮次太多，导致灾难性遗忘。把LoRA秩调小、学习率降一半、epoch减到1，通常能缓解。第三，难度调度失效，模型一直在学太简单或太难的案例。检查通过率窗口，如果长期低于0.5或高于0.95，就要调整抽样策略。

5.2 推理链看起来合理但临床上是错的

这种“一本正经胡说八道”在医疗AI里非常危险。MedRSI 的防御手段是关键节点强制校验：对危重疾病识别、药物禁忌、剂量计算这几类节点，不允许模型自由生成，必须从结构化知识库中检索并填入。模型只负责组织语言和衔接逻辑，不负责“回忆”这些硬事实。我实测下来，这个改动能把危险推理率降低一个数量级。

5.3 评估器打分波动太大怎么稳定

评估器波动主要来自模型自评部分。稳定方法有：固定自评提示词模板，不要每轮换；对同一推理链多次采样取平均分；设置分数截断，比如自评分只能在规则分的±1.5分范围内浮动。如果还是波动大，就降低自评权重，提高知识库和规则引擎权重。医疗场景下，宁可评估器保守一点，也不要让它忽高忽低。

5.4 多轮进化后数据多样性下降

这是自我进化的通病：模型越来越倾向于生成自己擅长的推理模式，导致数据分布收窄。对抗方法包括：每轮保留一定比例的随机探索样本，即不经过筛选直接加入训练；在生成时提高温度或使用多样化解码；定期引入外部新案例，打破闭环内的模式固化。我一般每三轮就强制注入一批全新来源的案例，哪怕分数不高也保留一部分。

5.5 常见问题速查表

6. 我对医疗智能体自我进化的一些实际体会

踩过几轮坑之后，我最大的体会是：医疗领域的自我进化，慢就是快。通用领域的递归自我改进可以追求每轮大幅提升，但医疗场景下，一轮提升3到5个百分点、且不出现危险推理，比一轮提升15个百分点但埋下隐患要值得多。评估器的建设时间往往比模型训练时间还长，但这部分投入不能省，因为它是整个闭环的方向盘。

另外，不要迷信“完全自动”。MedRSI 里 Clinically Aligned 这个限定，本质上是在说：人的临床智慧必须嵌入到规则和评估器里，而不是嵌入到每轮标注里。这个思路转换过来之后，你会发现可扩展性好了很多，因为规则可以复用、可以审计、可以版本管理，而标注数据每轮都要重新来。

最后分享一个实用小技巧：每轮进化后，把模型输出中得分最高和最低的各20条拿出来，让医生快速扫一遍。高分里找“评估器可能漏掉的危险”，低分里找“评估器可能误杀的好推理”。这个动作每次只花十几分钟，但能发现很多自动化指标看不出来的问题。我靠这个习惯，在第三轮进化时及时拦住了一个“把罕见病当常见病处理”的退化趋势。