近日,南京大学联合西湖大学等单位,在医学影像智能分析领域取得重要进展。针对现有模型多局限于单一模态或单一修复任务的问题,团队构建了多模态医学影像统一复原大模型AMIFound,仅用一个模型即可实现CT、MRI、PET、内窥镜等七类医学影像的高质量复原。该工作使医学影像复原从碎片化的“专模专用”范式迈向统一、自适应的“一模多用”范式,并展现出对训练阶段未见复合退化及真实临床退化的良好泛化能力。进一步研究表明,增强后的医学影像可有效支撑44种疾病诊断、病灶分析和肿瘤预后评估等临床任务,为医学人工智能在复杂临床场景中的应用提供高质量影像基础。该模型还有望在不更换硬件的情况下实现老旧设备智能化提质升级,助力医疗机构降本增效。
受成像设备、采集条件及患者运动等多重因素影响,医学影像常出现噪声、模糊和伪影,干扰临床医生对关键解剖结构和病理特征的辨识。不同模态的成像原理与退化特征差异显著,多种退化还存在耦合现象,为影像复原带来巨大挑战。现有方法通常针对特定模态或退化类型设计,或者仅在少数预定义复原任务之间进行建模,难以覆盖临床中多模态、多退化耦合的复杂场景。面对真实临床影像复原,仍然需要配置多个专用模型,增加了部署与维护成本,也难以有效应对未知及复合退化。

图1百万级医疗复原数据库与通用多模态医学影像复原基础模型(a)数据基准的组成,所覆盖的成像模态、人体器官及数据集来源;(b)七类医学影像的代表性退化类型;(c)AMIFound的训练架构。
针对上述问题,研究团队提出医学影像修复与增强基础模型AMIFound。如图1所示,团队构建了包含376万余幅图像、覆盖七类医学影像的复原基准数据集,为统一模型的训练与评估提供支撑。在模型设计上,AMIFound构建了由频域建模、空间关系建模和局部细节建模等不同功能模块组成的异构专家池,使各类专家分别从频率分布、全局结构和局部纹理等层面提取互补信息。模型进一步结合输入影像的内容特征与退化特征,通过动态路由自适应选择并组合不同专家,实现多种恢复能力的自适应协同。这种可共享、可组合的专家机制能够促进不同模态、不同复原任务之间的能力复用,同时保留对具体退化模式的针对性处理,从而提升模型对多模态、多任务及复杂复合退化场景的适应能力。
研究团队通过基准数据集内部测试与外部真实退化影像评估,系统检验了模型的复原效果和泛化能力。结果表明,AMIFound在七类医学影像复原任务中整体优于所比较的专用模型。面对训练阶段未见的复合退化,模型在七类影像的峰值信噪比(PSNR)和结构相似性(SSIM)指标上均取得所比较方法中的最佳结果;在外部真实退化影像上,模型也表现出良好的影像质量增强能力。除了影像复原数值指标结果,由多名临床医生参与的盲评进一步显示,AMIFound增强影像的综合主观评价排名第一,在七类影像上的诊断信心评分均高于其他对比方法,展现出辅助临床影像精准判读的应用潜力。
研究团队还将评估拓展至下游医学分析任务。增强后的影像能够提高疾病分类准确率,使解剖结构分割更加准确,并改善非小细胞肺癌的肿瘤分期分析与患者预后风险区分。如图2所示,在44项疾病分类任务中,疾病诊断准确率平均提升5.68%,医学影像分割的平均Dice系数由76.84%提升至81.40%,非小细胞肺癌预后预测的一致性指数(C-index)由0.6851提升至0.7152。这些结果表明,影像质量的改善能够进一步转化为疾病识别、结构分析和预后评估能力的提升。

图2AMIFound对疾病分类、肿瘤分期与预后风险分层的支持。(a)七类医学影像增强前后的疾病分类平均准确率对比;(b)非小细胞肺癌肿瘤分期模型的注意力热图及预测概率对比;(c)增强前后不同肿瘤T分期的特征分布可视化;(d)增强前后高、低风险患者组的Kaplan-Meier生存曲线。
该研究旨在尝试将医学影像复原从面向特定模态与退化类型的专用方法,向统一、自适应的基础模型范式转变,可进一步应对训练阶段未见的复合退化和真实临床退化,为兼顾跨模态通用性、高保真修复与复杂场景适应性提供新路径。相关成果将医学影像基础模型的能力拓展至上游影像质量提升,为疾病识别、结构分析及预后评估提供影像增强支撑,有望促进跨设备、跨机构影像质量的一致性,推动医学人工智能在复杂临床场景中的可靠落地。
研究成果以“An all-in-one foundation model for multimodal medical image restoration and enhancement”为题,发表于国际学术期刊《自然·机器智能》(Nature Machine Intelligence)。
该研究由南京大学牵头,联合西湖大学、中国科学院深圳先进技术研究院及东南大学共同完成。南京大学史颖欢教授、西湖大学郑冶枫教授、南京大学郑海荣院士为共同通讯作者;南京大学计算机学院曹路洋博士生与西湖大学伍志坚博士为共同第一作者。南京大学高阳教授、张剑博士及东南大学祁磊副教授在方法设计与实验分析等方面提供了重要支持。本研究得到国家自然科学基金、江苏省科技计划项目、教育部基础学科和交叉学科突破计划及南京大学“789科技攻关计划”等项目资助。
论文链接:https://www.nature.com/articles/s42256-026-01310-z