|
基础模型(Foundation Models)是最新一代的人工智能模型,训练于大规模、多样化的数据集,能够应用于众多下游任务。最有名的当属 GPT,随着 AI 技术的飞速发展,医疗领域也迎来了前所未有的变革机遇。
本文将概述 23 年 4 月发表于 nature的 Foundation models for generalist medical artificial intelligence
和大家一起看看基础模型在通用医学人工智能(Generalist Medical AI, GMAI)的应用、前景与挑战,以及它如何通过多模态数据解析、动态任务学习和医学知识运用,彻底改变我们的医疗实践。
这种模型通过在大规模、多样化的数据集上进行自监督学习,能够理解和整合来自影像、电子健康记录(EHR)、组学、实验室结果等多种数据类型,生成详细的诊断报告、治疗建议甚至蛋白质设计方案。
其中 GMAI 具有以下核心能力:
任务指定:
* 例如,医生可以询问:“请解释这张头部 MRI 扫描中的肿块,更可能是肿瘤还是脓肿?”
* 或者 “这是十位患有新兴疾病——郎雅黑尼病毒感染的患者的病史记录。我们当前的患者也感染郎雅黑尼病毒的可能性有多大?”
多模态输入与输出
* GMAI 能够处理和生成多种数据形式,如图像、文本、音频等。
* 临床医生可以同时上传多张影像和实验结果,GMAI 则可以生成包含文字解释和图像标注的综合报告。
医学知识的运用
* “该患者可能会发展为急性呼吸窘迫综合征,因为患者最近因严重胸部创伤入院,且尽管吸入的氧气分数增加,动脉血氧分压仍在稳步下降。”
* 在手术过程中,GMAI 可以实时标注视频流,提醒医生注意手术步骤或罕见解剖现象。
* 传统医学 AI 缺乏医学领域的先验知识,主要依赖输入数据特征与预测目标之间的统计关联,而缺乏对病理生理过程等上下文信息的理解。
* GMAI 不仅依赖数据中的统计模式,还能运用医学知识进行高级推理。
* GMAI 模型可以根据观察数据推断并利用医学概念与临床发现之间的因果关系,从而提供治疗建议。
最后,让我们共同期待 GMAI 在医疗领域的广泛应用! |
|