CRS-Triage 这个方向最值得先关注的点不是又出了一个多强的预测模型而是它主动回答了一个临床决策场景里经常被回避的问题当临床证据不完整的时候模型到底应该硬着头皮给结论还是承认自己不够确定、把病例分诊出去让更可靠的环节接住。标题里的 Selective Triage 就是选择性分诊——不要求模型对所有病例都输出结论而是先判断“这个病例我能不能负责任地给结论”不能就给结论时转入工复核或补充检查。这套思路同时把 Confidence置信度和 Reliability可靠性放进决策框架因此叫 Confidence- and Reliability-Aware Selective Triage。下面按“它解决什么问题、两个核心概念为什么必须拆开、分诊规则怎么设计、不完整证据怎么处理、怎么评估、怎么落地”的顺序拆一遍。适合做临床决策支持、医疗 AI 落地和机器学习可靠性研究的人看尤其是手里有电子病历、急救分诊、检验结果不全这类真实问题的团队。1. 先看 CRS-Triage 想解决的核心矛盾1.1 临床决策里的“证据不全”是常态不是异常在电子病历和急救分诊场景里完美数据基本是理想情况。现实往往是患者说不清既往史上一家医院的外院检查单还没拿到血培养结果要 48 小时后才出凝血功能没来得及查生命体征只测到入急诊那一刻。任何做过临床建模的人拿到这类数据都会发现特征矩阵里到处是缺失值。这不是数据质量问题而是临床真实过程的一部分。医生本身也是在证据不完全的情况下做决策的只是医生会通过“再问一句、再查一项、再观察一段时间”来降低不确定性。模型如果直接把缺失值填成均值或者让模型自己硬猜很容易把“缺失”当成“正常”这是最常见的翻车起点。1.2 不完整证据下模型有两类风险第一类风险是结论错误模型在缺失关键特征时给出高概率输出但真实结局和输出相反。第二类风险是错误地被信任系统把模型显示的置信度当成可信度自动化流程直接采纳结果导致漏掉高危患者或者对低危患者过度干预。这两类风险在证据不完整时会同时放大。训练时见过完整特征分布的模型到推理阶段遇到大量缺失时实际上是在做外推。外推本身不是不能做问题是系统不知道自己正在外推这一点比外推本身更危险。1.3 选择性分诊是“全量预测”和“全量转人工”之间的中间路线过去常见的两种做法都有问题。全量自动预测在低风险场景还能接受但在急重症、用药建议、鉴别诊断这类场景里没人敢让模型对所有病例都直接给结论。反过来全量转人工又会让医生护士被系统产生的提示淹没模型的价值就没有了。选择性分诊的思路是让模型自己判断“这个病例我能不能负责任地给结论”。能就直接输出预测不能就走回退流程转给医生复核、补充检验或继续观察后重算。这样既保留自动化在稳定病例上的效率又降低高风险病例被误自动处理的概率。处理方式什么时候能用主要风险典型场景全量自动预测证据完整、分布稳定、风险很低错误病例没有兜底低风险分诊、常规提醒全量转人工高风险、样本少、模型不成熟人力过载、模型形同虚设疑难病例会诊选择性分诊证据可能不完整、需要控制错误率阈值设置不当、转诊路径不清晰急诊分诊、入院风险评估1.4 Triage 的“下一步”是什么必须提前定义标题里只说 selective triage没说 triage 到哪里。落地时必须明确分诊出去的病例是转给医生、护士、上级系统还是先去补做某项检查。这个定义会影响整个规则的复杂度。转给医生要考虑排班、队列、响应时长补检查要考虑结果多久能回来、等待期间病情会不会变化。我见过不少项目模型性能没问题最后死在“分诊出去之后没人接”这个环节上。2. Confidence 和 Reliability 为什么必须拆开看2.1 Confidence模型自己认为有多确定Confidence 是模型对当前输出有多大把握常见形式是分类概率、softmax 输出、熵或者集成模型的投票一致性。它描述的是模型内部状态不直接等价于“这个预测在真实世界中对多少比例”。在很多模型里概率输出会被训练目标拉高尤其是深度模型和梯度提升树在类别不均衡、特征缺失严重时经常出现 0.9 以上的输出概率但真实正确率远没到 0.9。这就是常说的 overconfidence。2.2 Reliability模型在具体病例上到底可不可信Reliability 描述的是“当前这个病例、当前模型、当前数据条件下输出有多可信”更多来自经验证据而不是模型内心。可以包含以下方面模型在这类人群、这类缺失模式上的实际准确率校准误差有多高预测概率和真实频率是否一致该病例附近有没有足够的训练样本支撑用 conformal prediction 得到的预测集合是否稳定、集合大小是否可接受模型对缺失特征插补后的结果是否敏感。一句话区分Confidence 是“模型觉得”Reliability 是“历史上这类情况到底靠不靠谱”。两者可以差别很大。2.3 只看 Confidence 的典型翻车场景场景一模型在完整记录上训练来了一个肾功能缺失的患者。模型把缺失值补齐后输出“高危”概率 0.93。模型很自信但这个 0.93 从来没有在相似缺失模式下被验证过。场景二类别不均衡。模型对所有输入都倾向输出多数类概率看起来很高实际精度很一般。场景三分布漂移。医院换了检验试剂、人群结构变了、收治标准调整了模型还停在旧分布上表现就是 confident 但不可靠。所以 CRS-Triage 的规则至少要看两个轴而不是只看一个概率值。这也是给医疗 AI 团队一个很实际的提醒把“模型输出概率”直接当成“临床置信度”是很危险的简化。维度定义常见计算方式失效场景Confidence模型对当前输出的主观把握softmax 概率、熵、集成投票缺失特征、分布漂移时过度自信Reliability当前输出在经验上的可信程度校准误差、conformal 集合、邻域准确率、缺失模式分层表现样本外、罕见缺失组合、小样本人群3. 分诊规则怎么设计不是只卡一个概率阈值3.1 三成分框架预测器、分诊门、回退动作任何选择性分诊系统都可以拆成三部分预测器负责输出临床结论比如风险评分、疑似诊断、分诊等级分诊门gate/selector负责判断当前病例是否进入自动输出回退动作fallback负责被分诊出去的病例下一步做什么。CRS-Triage 的重点在第二和第三部分怎么判断判断完往哪走。3.2 分诊门建议输入四类信息我建议分诊门不要只看 confidence至少叠加四类信息预测置信度模型给出的概率或熵可靠性估计校准后的可靠分数或 conformal prediction 集合大小证据完整度关键临床特征是否齐全、生命体征是否及时、关键检查是否缺失误判代价这个病例自动预测出错会造成多大影响不同结局可以设置不同代价。组合方式可以是规则也可以是小模型。规则适合起步confidence 低于阈值或 reliability 低于阈值或证据完整度不足就 triage。小模型适合后期调优把上述四类信息作为输入训练一个“是否分诊”的分类器但要防止它自己又学出过拟合变成新的黑盒。3.3 两个阈值还是一个综合分常见做法是设两个独立条件confidence 达到某个下限同时 reliability 达到某个下限。这样做的好处是可解释医生能理解“为什么这个病例被分诊出去”方便复盘。缺点是两个维度交界处会有边界效应可能差一点点就改变决策。用加权综合分数可以缓解边界抖动但可解释性变差。我的建议是起步阶段用规则加两个阈值先看回顾性数据里的覆盖率和错误率曲线再决定要不要升级成模型化 selector。下面是一个示意性的伪代码用来表达决策流程不是某个仓库的现成源码输入样本 x缺失向量 m模型 f可靠性估计 r(x) 输出auto_predict 或 triage p f.predict_proba(x) reliability r(x, m) completeness evidence_completeness(x, critical_features) if p p_threshold and reliability rel_threshold \ and completeness completeness_threshold: return auto_predict(p) else: return triage(reasonlow_confidence | low_reliability | incomplete_evidence)这里三个阈值都必须用验证集或时间外测试集标定不能拍脑袋定。不同病种、不同结局类型阈值差别会很大。3.4 阈值不是越低越好也不是越高越好阈值调高自动输出的病例减少错误率通常会下降但分诊量增大医生负荷上来。阈值调低覆盖率提高但错误病例被自动处理的风险增加。更稳妥的做法是先定义“自动输出可接受的最大错误率”再反过来找满足这个约束的最低分诊率。这个操作点应该由临床团队和算法团队一起定不能让算法单独拍板。注意不要一上来就把阈值定得很高。先用一小段历史数据画出风险-覆盖曲线看清自己的问题在“错误太多”还是“覆盖率太低”再去动阈值。4. 不完整临床证据的处理链路4.1 缺失要先分类型再决定怎么处理临床缺失不是噪音。医生没开某项检查可能说明他认为不需要这本身就是有信息量的信号检查设备坏了导致整批缺失属于机制性问题处理方式完全不同。直接均值填充最大的问题是把“没做检查”和“检查结果正常”混为一谈。建议把缺失模式编码成特征比如 missing indicator或者使用本身支持缺失分支处理的树模型。对文本型的病史缺失要单独标记“未提供”不要自动补成“无”。4.2 渐进式证据分诊可以不是一次性的急诊场景里证据是随时间累积的。入科时可能只有一条血压和一句主诉30 分钟以后实验室结果陆续回来。CRS-Triage 的分诊动作可以是“先等一等过一会儿用新证据再算一次”而不一定是立刻转给医生。这需要模型支持增量特征输入也需要系统设计一个等待策略等多久、等什么结果、等待期间患者状态变化要不要提前触发重新评估。这个部分比分类器本身复杂得多也是真正跨过 demo 门槛的地方。4.3 证据完整度怎么算不能简单数“缺失列的比例”。有的特征缺 10 个也无所谓有的关键特征缺一个就必须 alert。建议让临床团队预先给一张关键特征清单再算加权完整度。例如急性胰腺炎风险分层里血淀粉酶、脂肪酶、年龄、胆红素可能是关键特征其他很多特征可以缓一缓。完整度可以用下面的通用形式表达completeness sum(w_i * present_i) / sum(w_i)其中 present_i 表示第 i 个关键特征是否存在且有效w_i 是重要性权重。权重交给临床评审会更好算法给的权重在解释和审计时都比较难通过。阈值可以先从 0.6 到 0.8 之间起步再用验证集调整。4.4 缺失补全和可靠性要联动如果模型用了 imputation分诊门里的 reliability 估计应该包含 imputation 带来的不确定性。比如用了多重插补就不仅看主模型的输出还可以看插补多次后结果的波动程度。波动大说明模型对缺失值敏感。这时就算 confidence 高可靠性也要扣分。这个细节很多人忽略但它恰恰是“证据不完整”场景下可靠性的核心来源。5. 判断这套机制有没有用看哪些指标5.1 Coverage、Triage Rate 和风险曲线核心指标是风险-覆盖率曲线Coverage自动输出病例占全部病例的比例Triage Rate分诊出去的病例比例等于 1 - CoverageRisk on Covered Set被自动输出病例中的错误率或不良结局比例。理想曲线是coverage 降低时risk 明显下降。如果 coverage 降到一半risk 几乎没变说明分诊门没有筛出真正难做的病例规则要重新设计。这里的 risk 要跟临床结局绑定比如漏诊率、误分类率、短期再入院率不能只看 accuracy。Accuracy 在很多不均衡临床数据里会被多数类拉高产生虚假安全感。5.2 校准评估不能只报 Accuracy既然 CRS-Triage 把 reliability 当成重要维度评估时必须看校准。常用指标包括ECEExpected Calibration Error预测概率和真实频率之间的期望偏差Reliability Diagram可靠性图直观展示分箱后的概率和频率关系Brier Score同时衡量锐度和校准。更严格一点按缺失模式分层看校准。完整病例校准很好、缺失严重病例校准很差这种差异恰恰说明分诊门应该纳入缺失信息。如果只在整体数据集上算 ECE这种局部校准失败会被平均掉。5.3 操作点怎么选一个稳妥的标定流程是在验证集上画出 risk-coverage 曲线由临床团队定义自动输出可接受的最大错误率在曲线里找到满足错误率约束且 coverage 最高的点记录对应的 confidence、reliability、completeness 阈值拿到时间外数据或另一个中心的数据做外部验证。验证集、调参集、测试集要严格分开。医疗数据时序性强随机划分容易高估性能建议按时间切分。例如前 80% 入急诊记录训练、中间 10% 调阈值、最后 10% 测最终效果。6. 从论文思路到临床工作流落地要过哪些坎6.1 先做回顾性模拟再碰实时系统任何团队拿到 CRS-Triage 类似设计后第一件事不是接电子病历而是拿一个历史队列做离线模拟。把分诊规则套在历史数据上看如果当时用了这套规则哪些病例会被自动输出哪些会被分诊事后结局如何。这一步成本最低也能最快暴露最大问题可能是阈值不合理可能是关键特征清单漏了项也可能是转诊路径在当前科室根本不存在。我一般会先用一个回顾性队列把分诊规则离线跑一遍再决定要不要申请实时接入。6.2 分诊对象必须有人接模型说“这个病例我不确定请医生复核”很容易真正难的是复核队列怎么排。要回答复核任务发给谁、优先顺序是什么、响应时限是多少、医生复核完的结果要不要回传作为新标签。如果这些流程没定义分诊出去的病例会卡在系统里比不分诊更危险。临床系统里的“inbox 空转”是真实存在的坑光有规则没有责任人等于没有规则。6.3 日志和版本管理是底线模型更新、特征字典变化、缺失标记逻辑变化任何一个都可能导致分诊行为改变。上线后要记录每个病例的输入版本、模型版本、置信度、可靠性分、证据完整度、分诊决策和最终结局。没有这些日志阈值失效、模型漂移发生时根本没法复盘。每次模型更新最好保留旧版本一段时间的 shadow 模式新旧版本并行输出看分诊比例和行为是否发生异常波动。6.4 临床决策支持不能脱离院内流程和监管边界医疗 AI 落地不是纯算法问题。不同地区对辅助诊断、分诊提醒、自动报告的管理要求不同落地前要和院内信息科、医务部门、伦理委员会确认使用边界。一个基本共识是模型输出只能作为决策支持不能替代医生决策。这个边界要写进系统设计、用户界面和培训材料而不是靠口头约定。界面上的预测结果要明确标注“辅助参考”并展示关键缺失特征和分诊原因方便医生判断。下面给一个通用落地检查清单关键特征清单是否由临床团队确认缺失编码规则是否有文档阈值是否在时间外数据上标定分诊队列是否有明确负责人和响应时限预测结果展示是否注明“辅助参考”模型和特征版本是否有记录是否有定期校准和漂移监控机制。踩过几次坑之后我的判断是这类工作真正难的不是训练一个高 AUC 的分类器而是把“什么时候不该自动给结论”这件事做得足够清楚。CRS-Triage 最值得借鉴的地方是它把 confidence、reliability、evidence completeness 三个变量同时放进同一个决策框架而不是只盯着模型概率。先把单病种、单科室的分诊闭环跑稳再考虑跨科室扩展会更加现实。