OpenMed训练基础设施详解：DAPT语料组装与模型蒸馏-育师

OpenMed训练基础设施详解：DAPT语料组装与模型蒸馏

【免费下载链接】openmedLocal-first healthcare AI: clinical NER & HIPAA PII de-identification that runs 100% on-device. 2,200+ medical models, 21 languages, Apple MLX + Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed

OpenMed 是一款本地优先（local-first）的医疗 AI 工具，专注临床实体识别（Clinical NER）与 HIPAA PII 脱敏，100% 在设备端运行，患者数据绝不出网。除了推理能力，它的训练基础设施同样硬核：通过DAPT 语料组装（Domain-Adaptive Pre-Training，领域自适应预训练语料）与模型蒸馏，把大教师模型的能力"压缩"进可离线运行的小学生模型。本文带你读懂这套流程的设计思路 🧠。

为什么需要"本地优先"的训练管线？

医疗数据最敏感。OpenMed 的答案是：训练产物里只留哈希，不留原文。

传统做法是把语料明文打包进训练管线，但 OpenMed 的 DAPT 组装器刻意采用 "Hash-only" 策略——输出的是确定性 JSONL 清单，只包含文本哈希、token 计数、来源与许可证，不包含任何段落原文。这一设计保证：

语料可追溯、可复现（SHA-256 逐条指纹）
训练产物天然符合 PHI 零日志策略
门禁数据源（如 MIMIC）必须凭 DUA 授权才可访问，否则直接抛出权限错误

核心实现见 openmed/training/corpus.py，清单样例见 openmed/training/configs/dapt_corpus.jsonl。

语料来源：公开源与门禁源的两档划分

DAPT 语料源被清晰地分为两类：

类型	来源	说明
公开源	PubMed / PMC / arXiv q-bio	可直接组装
门禁源	MIMIC、i2b2、MDE、SHAC 等	需凭据 DUA（数据使用协议）访问

这种划分让合规边界非常清晰：无授权请求 MIMIC 会触发GatedCorpusAccessError，从机制上杜绝"先跑再说"的灰色操作。示例清单中每条记录都带license、normalized_sha256与token_count字段，可直接用于审计。

训练配方（Recipe）：一份 YAML 定义整个训练

OpenMed 把所有训练超参收敛为版本化配方（schema：openmed.training.recipe.v1），这是训练基础设施的骨架：

蒸馏配方：openmed/training/configs/tiny_distill.yaml — 目标产出 135M 参数的tiny级模型，LoRA rank 8，int8 量化输出
教师配方：openmed/training/configs/large_teacher.yaml — 2048 序列长度、bf16 精度、输出层级为teacher
其他预设：laptop_lora.yaml、teacher_ensemble.yaml、qlora_smoke.yaml

几个值得注意的细节：

关键标签加权：两份配方都对身份证、SSN、银行卡等隐私关键标签设置了 3.0–4.0 倍的损失权重（focal_class_weighted+ 逆频加权），确保"漏检 SSN"的代价远高于漏检普通实体。
硬负例强制开启：hard_negatives_required: true，配合 openmed/training/hard_negatives.py 保证难样本进入训练。
种子固定：每次运行使用固定 seed，配合环境锁哈希实现可复现训练。

知识蒸馏：教师教学生，Mode A 是主角

蒸馏逻辑集中在 openmed/training/distill.py，其核心设计有三点：

共享解码通路：教师模型的输出 span 会经过与学生模型相同的 BIOES 修复 + Viterbi 解码路径，保证"教师教的东西"是学生真能学到的表示，而不是原始 logits 噪音。
Span 边界一致性损失：SpanAgreementBreakdown按实体类型加权计算师生 span 边界一致度，再叠加逐标签损失权重（EntityTypeWeights），让 SSN、IBAN 这类高危实体的边界对齐权重更高。
无 PHI 契约：所有中间产物（LabeledSpan.to_dict()等）只输出标签与偏移，注释明确写着 "PHI-free span payload"。

Mode A（ModeADistillationPipeline）专用于 DirectID 小模型的端到端蒸馏，执行证据由 openmed/training/directid_distill.py 负责落盘：数据集行与 checkpoint 保持本地，对外只发布聚合指标、稳定引用与哈希，供下游量化与发布门禁消费。

弱监督与集成教师：扩大标签来源而不碰明文

蒸馏的标签来源不只有人工标注。openmed/training/ensemble.py 实现了一个教师集成注册表，把 SSN、电话、NPI、MRN、IBAN、卡号（Luhn）等验证器（如validate_ssn、validate_iban）与弱标签 span（openmed/training/weak_labeling.py）对接：结构化校验通过的候选 span 自动成为弱监督信号，既扩大覆盖，又天然可审计。