本文探讨了医疗大模型领域的最新进展,包括微软开发的逐步追问与检查的诊断系统、模型在指南更新中的应用、多智能体在会诊中的作用,以及本地推理模型在文献筛选中的应用。文章还介绍了讯飞医疗的多模态升级和紫荆智康的多学科人机协作框架。这些研究展示了大模型在医疗领域的潜力,同时也指出了需要改进的地方。
今天,和大家聊聊医疗大模型的几条新动态。
微软公布了一项评测,看 AI 能不能先追问病情、选择检查,再一步步作出诊断。
国内的讯飞医疗,则升级了把医学文字、影像和语音结合起来处理的能力。
不过,我也注意到另一项研究:即使把新版指南交给模型,它发现了哪里变了,也未必能把最后的建议完整改过来。
所以,这期我们一起看看,医疗大模型又能做些什么,哪些地方还需要继续改进。
01. 微软把诊断评测推进到逐步追问与检查
正式论文|10 月 22 日|Science / Microsoft AI
面对一个信息还不完整的病例,AI 应该先问什么、做什么检查,才能一步步接近诊断?
微软医疗 AI 团队让系统在病例模拟测试中,通过追问病情和选择检查,逐步收集信息,再作出诊断。
研究人员随后核对诊断是否正确,并估算检查费用。
这项研究已发表于《科学》(Science),团队也公开了 SDBench 中的部分病例和评测工具,供其他研究者测试这类诊断流程。
图 1:微软 SDBench 项目展示的顺序诊断流程:系统逐步获取信息和检查结果,再作出诊断。
图源:Microsoft SDBench 官方项目,Figure 1。
微软报告,在 304 个 NEJM 疑难病例上,系统诊断准确率为 83%;医生在不能查阅外部资料和可以查阅外部资料的两种条件下,准确率分别为 22% 和 36%。
评测中负责提供病例信息的 Gatekeeper,在病例原文没有所需检查结果时,可能合成合理的结果;这会影响模拟诊断过程与真实就诊的接近程度。
这是既有 MAI-DxO 工作的后续进展,研究尚未用患者结局试验证明临床获益。
02. 知道指南更新,模型仍可能没有完整改写建议
预印本|10 月 22 日|arXiv v1
美国明尼苏达大学外科系计算健康科学部门的研究人员,构建了包含 1,709 项指南建议修订的 ChronoEvo,用来测试模型能否把医学知识更新用于最终建议。
研究把三个问题分开评价:模型是否识别到变化、回答是否临床正确、是否完整落实了修订。
在提供新旧指南证据的条件下,主要实验模型 Qwen3-4B 的修订识别率为 90.8%,完整落实率为 58.5%。
模型可能已经识别出指南变化,最终建议却仍没有完整跟着改。
图 2:原文 Figure 2:识别到指南修订的比例,高于把修订完整落实到建议中的比例。
图源:Zeng 等,ChronoEvo 预印本 v1,Figure 2。
研究还比较了 14 个模型,并请两名临床医生裁定 300 份回答;上述 90.8% 和 58.5% 是主要实验模型的成绩,并非全部模型的平均值。
这项工作测试的是文本建议,尚未经同行评审,也没有测量患者接受建议后的健康结果。
03. 多智能体会诊换个主持人设,手术时机也会变
预印本|10 月 22 日|arXiv v1
美国哥伦比亚大学、英国斯旺西大学和阿斯顿大学的研究人员,让 7 个智能体讨论 20 个已发表的退行性颈髓病病例。
病例信息保持不变,研究只改变主持者及副手的角色提示,观察会诊结论会怎样变化。
在以行为规则设定人设时,专断型主持者选择“立即手术”的比例为 93%,回避型为 2%,无人设对照为 57%。
图 3:原文 Figure 3:同样的病例信息下,改变主持智能体的人设,会改变立即手术的选择比例。
图源:Bai、Zhang、Wang,预印本 v1,Figure 3。
几乎所有条件下的系统仍计划安排手术,变化主要发生在手术时机和是否追加检查,而非是否需要手术。
部分人设让重复运行更容易得到相同结果,但扣除随机一致的影响后,一致性指标并未提高。
重复得到同一个答案,与答案是否可靠,是两项不同的检验。
这是固定病例的小样本模拟实验,尚未在真实患者诊疗中验证。
04. 韩语咨询数据用于训练本地小模型
正式论文|10 月 22 日|JMIR AI
韩国首尔大学医学院精神科、蔚山大学医学院峨山医疗中心精神科和 Drpresso 公司的研究人员,共同开展了这项研究。
他们把 1,558 组韩语日记和咨询回复,用于继续训练可在本地运行的小模型,使其适应韩语心理咨询的表达方式。
这种在现有模型上用专门数据继续训练的做法,称为领域微调。
研究邀请 10 名精神科医生,对同样的 50 个咨询场景打分,评价个性化、支持性、文化适配和安全性,并与 GPT-4o 比较。
其中,A.X 4.0 Light 在支持性和文化适配上的评分,与 GPT-4o 未检出显著差异;但三款小模型的回复安全评分都显著低于 GPT-4o。
图 4:NLM 官方论文摘要记录中的结果段,保留评分对照与安全差距。
图源:Han 等,JMIR AI;NLM 摘要记录结果段截图,CC BY 4.0。
研究还发现,研究中使用的自动评分模型,经常在安全性上给出接近满分的结果,没有充分区分医生评价中出现的安全差距。
这项研究测试的是日记回复质量,没有追踪用户接受服务后的心理症状变化;部分评分未检出显著差异,也尚未构成两类模型等效的证明。
05. 眼科团队把图像识别和报告生成接成一套流程
正式论文|10 月 23 日|Ophthalmology and Therapy
英国莫菲尔德眼科医院、伦敦大学学院眼科学研究所、德国慕尼黑工业大学和瑞士伯尔尼大学医院等机构的研究人员,共同搭建了一套从眼部 OCT 断层图像到患者报告的自动化工作流。
系统先调用经过专门训练的 RETFound 图像模型,判断图像属于黄斑裂孔还是正常黄斑,再把分类结果交给 GPT-4,用文字说明检查结果和一般处理建议。
GPT-4 负责报告生成,图像分类由 RETFound 独立完成。
图 5:原文 Figure 1:上层工作流分别调用图像模型与语言模型,最后输出报告。
图源:Troyas 等,Ophthalmology and Therapy,Figure 1;CC BY-NC 4.0。
在 1,014 张外部验证图像上,图像模型的分类准确率为 98.8%。
两名眼科医生另外抽查了 40 份生成报告,其中 37 份被两人一致评为准确且充分。
目前的验证范围限于黄斑裂孔与正常黄斑的区分,尚未测试多种相似眼病之间的鉴别。
此外,外部验证中的病变图像和正常图像分别来自不同数据集,设备或数据来源差异也可能影响分类成绩;研究尚未测量患者阅读报告后的理解程度。
06. 本地推理模型辅助筛选两万余条文献
正式论文|10 月 23 日|JAMIA Open
这项研究由美国圣路易斯华盛顿大学医学院的信息学、数据科学与生物统计研究所,以及该校 Bursky 公共卫生学院预防研究中心共同开展。
研究人员测试了本地运行的 gpt-oss-20b,能否协助筛选肥胖及育龄女性相关研究。
系统分三步判断文献是否符合基本纳入条件、是否与肥胖有关、是否涉及育龄女性,共处理 20,118 条文献记录。
研究人员再用两名专家标注的部分记录,核对各阶段的筛选结果。
在这些对照子集中,模型每分钟筛选 19.4 条,人工约 1 条。
图 6:NLM 官方论文摘要记录中的结果段,列出模型与人工的筛选速度对照。
图源:Dávila-García 等,JAMIA Open;NLM 摘要记录结果段截图,CC BY-NC 4.0。
模型在不同阶段检出符合条件记录的比例为 90%—95%,这一指标称为敏感度;仍有部分合格记录被漏掉。
在最后一个阶段,有些记录因为没有明确写出参与者年龄而被排除,这是研究发现的漏筛原因之一。
上述性能来自专家核对的子集,整批文献并未逐条接受人工验证;模型在机构本地运行,文献记录无需发送给外部模型服务。
07. Providence 用大模型找出病历中的照护目标记录
部署研究|10 月 22 日|Journal of Pain and Symptom Management
美国 Providence 医疗体系及其 Institute for Human Caring 团队,将 GPT-4o 接入电子病历,用来识别临床笔记中的照护目标讨论记录。
这类记录涉及患者对治疗目标与照护安排的讨论,往往以自由文本散落在病历中,难以迅速查找。
系统识别这些内容后,将其转成医生实时可见、可以追踪的标记。
研究先在 4 家医院开展了 6 个月试点,再推广到整个机构。
摘要报告,模型检出相关记录的比例为 74%,标记为相关的记录中有 78% 符合评价标准;对 325 份已标记记录的人工审计显示,专家一致率为 86%。
这项应用改变的是病历信息的发现与展示方式。
研究报告了真实医院部署与人工审计结果,尚未通过随机对照证明患者照护或生存结局因此改善。
08. Google 披露结核筛查部署与模型适配进展
机构进展|10 月 23 日|Google Research
Google Research 在官方博客中介绍了结核病筛查项目的进展,合作方是位于南非比勒陀利亚的医疗技术公司 Nexus AI。
据其介绍,Nexus AI 的胸片工具已在约 40 家机构使用,累计评估逾 2.5 万张胸片。
这类工具分析胸片,标记疑似结核等异常,帮助医务人员安排后续检查。
图 7:Google 官方博客展示的 Nexus AI 界面:胸片上标记疑似异常,右侧显示筛查提示。
图源:Google Research 官方博客中的产品界面图。
Google 同时介绍,印尼卫生部门正在用当地胸片数据适配 MedGemma 和 MedSigLIP,让模型服务于当地筛查需求。
两类模型承担的任务不同:MedSigLIP 把图像与文字对应起来,可用于分类和检索;MedGemma 可以结合影像与病史等信息生成文字回应。
既有 Nexus 胸片工具的部署,与基础模型的本地适配,是公告介绍的两条工作。
此次发布的是机构进展汇总,没有披露 MedGemma 的新临床试验结果。
国内动态
01. 讯飞 V3.7 升级多模态与连续健康管理功能
企业公告|10 月 22 日|讯飞医疗
讯飞医疗在 10 月 22 日的公告中介绍,星火医疗大模型 V3.7 已正式发布,加强医学文字、影像和语音的融合处理。
图 8:讯飞医疗公告第 1 页节选,介绍 V3.7 的多模态升级与公司自报的评测成绩。
图源:讯飞医疗,10 月 22 日公告第 1 页节选。
在医生端,升级涉及结合语音识别生成病历,以及影像报告生成和质量检查。
在居民健康服务端,讯飞晓医加强多份医学报告综合解读、健康档案动态记忆、个性化风险提示和健康管理方案生成,把服务延伸到后续健康管理。
公司在公告中披露,MedBench 综合得分为 99.6,端到端病历生成合理率为 85%。
前者是综合评测分数,后者是对生成病历合理性的评价;公告没有提供这两项成绩的完整测试样本和评价细则。
公告未提供患者结局数据,也未给出确切上线时刻。
02. 紫荆智康把人工审批放进多智能体协作流程
企业公告|10 月 21 日|紫荆智康
医疗智能体企业紫荆智康在北京发布多学科人机协作框架 MHAC,提出让来自不同科室的医生与智能体共同参与诊疗讨论。
框架包括与医生关联的个性化智能体,以及医生选择或由系统推荐协作智能体等方式。
在虚拟环境训练与协作过程中,系统把“AI 提出建议—医生审批—反馈学习”接成流程,最终决策由医生作出。
人工审批被明确放进了多智能体协作流程。
本次介绍的是企业发布的框架和产品设计,公告没有提供对照临床结果,尚不能判断这套协作方式对诊疗质量的实际影响。
大模型的知识又多又杂,到底怎么学?
做这行久了,被问最多的问题就一个:大模型的知识又多又杂,我到底先学啥?翻了一堆资料,看啥都像重点,结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍,零基础、应届生、转行的都适用。跟着走,至少方向不乱、不瞎忙,学完拿得出手。
第一阶段(10天):初阶应用
这一阶段就一个目标:把大模型真正"玩明白",不是只会聊天那种,而是能调教它、能用代码把大模型和业务接起来。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
这阶段正式进实战,目标很实在:做出两个能拿出手的东西——一个私有知识库,一个 agent 对话机器人。
为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示(Embeddings)
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…
走完这 30 天,Python 或 JavaScript 背景的基本能独立做一套 RAG 应用,简历上也敢写"大模型应用开发"了。
第三阶段(约20天):动手微调
学到这,你已经开始 “造” 模型了 —— 通过微调,搞出垂直领域的专用小模型。
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗?
想要入局AI大模型赛道、抢占行业红利的朋友,微信扫描下方CSDN官方认证二维码,即可100%免费领取全套学习资料!
第四阶段(20天):商业闭环,部署落地
技术学完,落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
想要入坑大模型的朋友,给大家准备了一份2026 年最新 AI 大模型全套学习资料:
1、大模型系统化学习路线
2、大模型学习视频教程
3、大模型学习书籍&电子文档
4、AI大模型最新行业报告
5、大模型项目实战&配套源码
6、2026大模型大厂面试真题
7、为什么要学习大模型?
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
8、适合谁学?
- 传统后端 / Java / 前端开发,想转型 AI 应用
- 大学生、应届生,想拿更好的 offer
- 产品经理、运营,想武装职业竞争力
- 技术负责人,想给团队落地提效
学习是反人性的,但回报是真金白银。技术会更新,赛道会切换,但只要你先动手,机会就永远站在你这边。
9、这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
想要入局AI大模型赛道、抢占行业红利的朋友,微信扫描下方CSDN官方认证二维码,即可100%免费领取全套学习资料!
好了,就写到这。路线是死的,人是活的,卡住了随时来问我。觉得有用就点个收藏,别让它进收藏夹吃灰——动起来比啥都强。