CRS-Triage 这个方向，最值得先关注的点不是又出了一个多强的预测模型，而是它主动回答了一个临床决策场景里经常被回避的问题：当临床证据不完整的时候，模型到底应该硬着头皮给结论，还是承认自己不够确定、把病例分诊出去让更可靠的环节接住。标题里的 Selective Triage 就是选择性分诊——不要求模型对所有病例都输出结论，而是先判断“这个病例我能不能负责任地给结论”，不能就给结论时转入工复核或补充检查。这套思路同时把 Confidence（置信度）和 Reliability（可靠性）放进决策框架，因此叫 Confidence- and Reliability-Aware Selective Triage。
下面按“它解决什么问题、两个核心概念为什么必须拆开、分诊规则怎么设计、不完整证据怎么处理、怎么评估、怎么落地”的顺序拆一遍。适合做临床决策支持、医疗 AI 落地和机器学习可靠性研究的人看，尤其是手里有电子病历、急救分诊、检验结果不全这类真实问题的团队。
1. 先看 CRS-Triage 想解决的核心矛盾
1.1 临床决策里的“证据不全”是常态，不是异常
在电子病历和急救分诊场景里，完美数据基本是理想情况。现实往往是：患者说不清既往史，上一家医院的外院检查单还没拿到，血培养结果要 48 小时后才出，凝血功能没来得及查，生命体征只测到入急诊那一刻。任何做过临床建模的人拿到这类数据都会发现，特征矩阵里到处是缺失值。
这不是数据质量问题，而是临床真实过程的一部分。医生本身也是在证据不完全的情况下做决策的，只是医生会通过“再问一句、再查一项、再观察一段时间”来降低不确定性。模型如果直接把缺失值填成均值，或者让模型自己硬猜，很容易把“缺失”当成“正常”，这是最常见的翻车起点。
1.2 不完整证据下，模型有两类风险
第一类风险是结论错误：模型在缺失关键特征时给出高概率输出，但真实结局和输出相反。第二类风险是错误地被信任：系统把模型显示的置信度当成可信度，自动化流程直接采纳结果，导致漏掉高危患者，或者对低危患者过度干预。
这两类风险在证据不完整时会同时放大。训练时见过完整特征分布的模型，到推理阶段遇到大量缺失时，实际上是在做外推。外推本身不是不能做，问题是系统不知道自己正在外推，这一点比外推本身更危险。
1.3 选择性分诊是“全量预测”和“全量转人工”之间的中间路线
过去常见的两种做法都有问题。全量自动预测在低风险场景还能接受，但在急重症、用药建议、鉴别诊断这类场景里，没人敢让模型对所有病例都直接给结论。反过来，全量转人工又会让医生护士被系统产生的提示淹没，模型的价值就没有了。
选择性分诊的思路是：让模型自己判断“这个病例我能不能负责任地给结论”。能，就直接输出预测；不能，就走回退流程，转给医生复核、补充检验或继续观察后重算。这样既保留自动化在稳定病例上的效率，又降低高风险病例被误自动处理的概率。
| 处理方式 | 什么时候能用 | 主要风险 | 典型场景 |
|---|---|---|---|
| 全量自动预测 | 证据完整、分布稳定、风险很低 | 错误病例没有兜底 | 低风险分诊、常规提醒 |
| 全量转人工 | 高风险、样本少、模型不成熟 | 人力过载、模型形同虚设 | 疑难病例会诊 |
| 选择性分诊 | 证据可能不完整、需要控制错误率 | 阈值设置不当、转诊路径不清晰 | 急诊分诊、入院风险评估 |
1.4 Triage 的“下一步”是什么，必须提前定义
标题里只说 selective triage，没说 triage 到哪里。落地时必须明确：分诊出去的病例是转给医生、护士、上级系统，还是先去补做某项检查。这个定义会影响整个规则的复杂度。
转给医生，要考虑排班、队列、响应时长；补检查，要考虑结果多久能回来、等待期间病情会不会变化。我见过不少项目，模型性能没问题，最后死在“分诊出去之后没人接”这个环节上。
2. Confidence 和 Reliability 为什么必须拆开看
2.1 Confidence：模型自己认为有多确定
Confidence 是模型对当前输出有多大把握，常见形式是分类概率、softmax 输出、熵，或者集成模型的投票一致性。它描述的是模型内部状态，不直接等价于“这个预测在真实世界中对多少比例”。
在很多模型里，概率输出会被训练目标拉高，尤其是深度模型和梯度提升树，在类别不均衡、特征缺失严重时，经常出现 0.9 以上的输出概率，但真实正确率远没到 0.9。这就是常说的 overconfidence。
2.2 Reliability：模型在具体病例上到底可不可信
Reliability 描述的是“当前这个病例、当前模型、当前数据条件下，输出有多可信”，更多来自经验证据而不是模型内心。可以包含以下方面：
- 模型在这类人群、这类缺失模式上的实际准确率；
- 校准误差有多高，预测概率和真实频率是否一致；
- 该病例附近有没有足够的训练样本支撑；
- 用 conformal prediction 得到的预测集合是否稳定、集合大小是否可接受；
- 模型对缺失特征插补后的结果是否敏感。
一句话区分：Confidence 是“模型觉得”，Reliability 是“历史上这类情况到底靠不靠谱”。两者可以差别很大。
2.3 只看 Confidence 的典型翻车场景
场景一：模型在完整记录上训练，来了一个肾功能缺失的患者。模型把缺失值补齐后输出“高危”概率 0.93。模型很自信，但这个 0.93 从来没有在相似缺失模式下被验证过。
场景二：类别不均衡。模型对所有输入都倾向输出多数类，概率看起来很高，实际精度很一般。
场景三：分布漂移。医院换了检验试剂、人群结构变了、收治标准调整了，模型还停在旧分布上，表现就是 confident 但不可靠。
所以 CRS-Triage 的规则至少要看两个轴，而不是只看一个概率值。这也是给医疗 AI 团队一个很实际的提醒：把“模型输出概率”直接当成“临床置信度”，是很危险的简化。
| 维度 | 定义 | 常见计算方式 | 失效场景 |
|---|---|---|---|
| Confidence | 模型对当前输出的主观把握 | softmax 概率、熵、集成投票 | 缺失特征、分布漂移时过度自信 |
| Reliability | 当前输出在经验上的可信程度 | 校准误差、conformal 集合、邻域准确率、缺失模式分层表现 | 样本外、罕见缺失组合、小样本人群 |
3. 分诊规则怎么设计：不是只卡一个概率阈值
3.1 三成分框架：预测器、分诊门、回退动作
任何选择性分诊系统都可以拆成三部分：
- 预测器：负责输出临床结论，比如风险评分、疑似诊断、分诊等级；
- 分诊门（gate/selector）：负责判断当前病例是否进入自动输出；
- 回退动作（fallback）：负责被分诊出去的病例下一步做什么。
CRS-Triage 的重点在第二和第三部分：怎么判断，判断完往哪走。
3.2 分诊门建议输入四类信息
我建议分诊门不要只看 confidence，至少叠加四类信息：
- 预测置信度：模型给出的概率或熵；
- 可靠性估计：校准后的可靠分数，或 conformal prediction 集合大小；
- 证据完整度：关键临床特征是否齐全、生命体征是否及时、关键检查是否缺失；
- 误判代价：这个病例自动预测出错会造成多大影响，不同结局可以设置不同代价。
组合方式可以是规则，也可以是小模型。规则适合起步：confidence 低于阈值，或 reliability 低于阈值，或证据完整度不足，就 triage。小模型适合后期调优：把上述四类信息作为输入，训练一个“是否分诊”的分类器，但要防止它自己又学出过拟合，变成新的黑盒。
3.3 两个阈值还是一个综合分
常见做法是设两个独立条件：confidence 达到某个下限，同时 reliability 达到某个下限。这样做的好处是可解释，医生能理解“为什么这个病例被分诊出去”，方便复盘。
缺点是两个维度交界处会有边界效应，可能差一点点就改变决策。用加权综合分数可以缓解边界抖动，但可解释性变差。我的建议是：起步阶段用规则加两个阈值，先看回顾性数据里的覆盖率和错误率曲线，再决定要不要升级成模型化 selector。
下面是一个示意性的伪代码，用来表达决策流程，不是某个仓库的现成源码：
输入：样本 x，缺失向量 m，模型 f，可靠性估计 r(x) 输出：auto_predict 或 triage p = f.predict_proba(x) reliability = r(x, m) completeness = evidence_completeness(x, critical_features) if p >= p_threshold and reliability >= rel_threshold \ and completeness >= completeness_threshold: return auto_predict(p) else: return triage(reason="low_confidence | low_reliability | incomplete_evidence")这里三个阈值都必须用验证集或时间外测试集标定，不能拍脑袋定。不同病种、不同结局类型，阈值差别会很大。
3.4 阈值不是越低越好，也不是越高越好
阈值调高，自动输出的病例减少，错误率通常会下降，但分诊量增大，医生负荷上来。阈值调低，覆盖率提高，但错误病例被自动处理的风险增加。
更稳妥的做法是：先定义“自动输出可接受的最大错误率”，再反过来找满足这个约束的最低分诊率。这个操作点应该由临床团队和算法团队一起定，不能让算法单独拍板。
注意：不要一上来就把阈值定得很高。先用一小段历史数据画出风险-覆盖曲线，看清自己的问题在“错误太多”还是“覆盖率太低”，再去动阈值。
4. 不完整临床证据的处理链路
4.1 缺失要先分类型，再决定怎么处理
临床缺失不是噪音。医生没开某项检查，可能说明他认为不需要，这本身就是有信息量的信号；检查设备坏了导致整批缺失，属于机制性问题，处理方式完全不同。
直接均值填充最大的问题，是把“没做检查”和“检查结果正常”混为一谈。建议把缺失模式编码成特征，比如 missing indicator，或者使用本身支持缺失分支处理的树模型。对文本型的病史缺失，要单独标记“未提供”，不要自动补成“无”。
4.2 渐进式证据：分诊可以不是一次性的
急诊场景里，证据是随时间累积的。入科时可能只有一条血压和一句主诉，30 分钟以后实验室结果陆续回来。CRS-Triage 的分诊动作可以是“先等一等，过一会儿用新证据再算一次”，而不一定是立刻转给医生。
这需要模型支持增量特征输入，也需要系统设计一个等待策略：等多久、等什么结果、等待期间患者状态变化要不要提前触发重新评估。这个部分比分类器本身复杂得多，也是真正跨过 demo 门槛的地方。
4.3 证据完整度怎么算
不能简单数“缺失列的比例”。有的特征缺 10 个也无所谓，有的关键特征缺一个就必须 alert。建议让临床团队预先给一张关键特征清单，再算加权完整度。
例如急性胰腺炎风险分层里，血淀粉酶、脂肪酶、年龄、胆红素可能是关键特征，其他很多特征可以缓一缓。完整度可以用下面的通用形式表达：
completeness = sum(w_i * present_i) / sum(w_i)其中 present_i 表示第 i 个关键特征是否存在且有效，w_i 是重要性权重。权重交给临床评审会更好，算法给的权重在解释和审计时都比较难通过。阈值可以先从 0.6 到 0.8 之间起步，再用验证集调整。
4.4 缺失补全和可靠性要联动
如果模型用了 imputation，分诊门里的 reliability 估计应该包含 imputation 带来的不确定性。比如用了多重插补，就不仅看主模型的输出，还可以看插补多次后结果的波动程度。
波动大说明模型对缺失值敏感。这时就算 confidence 高，可靠性也要扣分。这个细节很多人忽略，但它恰恰是“证据不完整”场景下可靠性的核心来源。
5. 判断这套机制有没有用，看哪些指标
5.1 Coverage、Triage Rate 和风险曲线
核心指标是风险-覆盖率曲线：
- Coverage：自动输出病例占全部病例的比例；
- Triage Rate：分诊出去的病例比例，等于 1 - Coverage；
- Risk on Covered Set：被自动输出病例中的错误率或不良结局比例。
理想曲线是：coverage 降低时，risk 明显下降。如果 coverage 降到一半，risk 几乎没变，说明分诊门没有筛出真正难做的病例，规则要重新设计。
这里的 risk 要跟临床结局绑定，比如漏诊率、误分类率、短期再入院率，不能只看 accuracy。Accuracy 在很多不均衡临床数据里会被多数类拉高，产生虚假安全感。
5.2 校准评估不能只报 Accuracy
既然 CRS-Triage 把 reliability 当成重要维度，评估时必须看校准。常用指标包括：
- ECE（Expected Calibration Error）：预测概率和真实频率之间的期望偏差；
- Reliability Diagram：可靠性图，直观展示分箱后的概率和频率关系；
- Brier Score：同时衡量锐度和校准。
更严格一点，按缺失模式分层看校准。完整病例校准很好、缺失严重病例校准很差，这种差异恰恰说明分诊门应该纳入缺失信息。如果只在整体数据集上算 ECE，这种局部校准失败会被平均掉。
5.3 操作点怎么选
一个稳妥的标定流程是：
- 在验证集上画出 risk-coverage 曲线；
- 由临床团队定义自动输出可接受的最大错误率；
- 在曲线里找到满足错误率约束且 coverage 最高的点；
- 记录对应的 confidence、reliability、completeness 阈值；
- 拿到时间外数据或另一个中心的数据做外部验证。
验证集、调参集、测试集要严格分开。医疗数据时序性强，随机划分容易高估性能，建议按时间切分。例如前 80% 入急诊记录训练、中间 10% 调阈值、最后 10% 测最终效果。
6. 从论文思路到临床工作流，落地要过哪些坎
6.1 先做回顾性模拟，再碰实时系统
任何团队拿到 CRS-Triage 类似设计后，第一件事不是接电子病历，而是拿一个历史队列做离线模拟。把分诊规则套在历史数据上，看如果当时用了这套规则，哪些病例会被自动输出，哪些会被分诊，事后结局如何。
这一步成本最低，也能最快暴露最大问题：可能是阈值不合理，可能是关键特征清单漏了项，也可能是转诊路径在当前科室根本不存在。我一般会先用一个回顾性队列把分诊规则离线跑一遍，再决定要不要申请实时接入。
6.2 分诊对象必须有人接
模型说“这个病例我不确定，请医生复核”很容易，真正难的是复核队列怎么排。要回答：复核任务发给谁、优先顺序是什么、响应时限是多少、医生复核完的结果要不要回传作为新标签。
如果这些流程没定义，分诊出去的病例会卡在系统里，比不分诊更危险。临床系统里的“inbox 空转”是真实存在的坑，光有规则没有责任人，等于没有规则。
6.3 日志和版本管理是底线
模型更新、特征字典变化、缺失标记逻辑变化，任何一个都可能导致分诊行为改变。上线后要记录每个病例的输入版本、模型版本、置信度、可靠性分、证据完整度、分诊决策和最终结局。
没有这些日志，阈值失效、模型漂移发生时根本没法复盘。每次模型更新，最好保留旧版本一段时间的 shadow 模式，新旧版本并行输出，看分诊比例和行为是否发生异常波动。
6.4 临床决策支持不能脱离院内流程和监管边界
医疗 AI 落地不是纯算法问题。不同地区对辅助诊断、分诊提醒、自动报告的管理要求不同，落地前要和院内信息科、医务部门、伦理委员会确认使用边界。
一个基本共识是：模型输出只能作为决策支持，不能替代医生决策。这个边界要写进系统设计、用户界面和培训材料，而不是靠口头约定。界面上的预测结果要明确标注“辅助参考”，并展示关键缺失特征和分诊原因，方便医生判断。
下面给一个通用落地检查清单：
- 关键特征清单是否由临床团队确认；
- 缺失编码规则是否有文档；
- 阈值是否在时间外数据上标定；
- 分诊队列是否有明确负责人和响应时限；
- 预测结果展示是否注明“辅助参考”；
- 模型和特征版本是否有记录；
- 是否有定期校准和漂移监控机制。
踩过几次坑之后我的判断是：这类工作真正难的不是训练一个高 AUC 的分类器，而是把“什么时候不该自动给结论”这件事做得足够清楚。CRS-Triage 最值得借鉴的地方，是它把 confidence、reliability、evidence completeness 三个变量同时放进同一个决策框架，而不是只盯着模型概率。先把单病种、单科室的分诊闭环跑稳，再考虑跨科室扩展，会更加现实。
