查看更多
密码过期或已经不安全,请修改密码
修改密码壹生身份认证协议书
同意
拒绝
同意
拒绝
同意
不同意并跳过
成果名称:创建多模态AI系统实现肺部感染性疾病精准诊疗
A multimodal integration pipeline for accurate diagnosis, pathogen identification, and prognosis prediction of pulmonary infections
发表期刊:《创新》(Innovation杂志,IF 33.2)
通讯作者:李为民 王成弟
第一作者:邵俊 俞益洲 马杰超
主要作者单位:四川大学华西医院
不同病原体引起的肺部感染性疾病给人民生命健康带来了严重的疾病负担,胸部计算机断层扫描(CT)是诊断肺部感染的重要辅助工具,但其“异病同征、同病异征”的现象使精准诊断困难。人工智能(AI)技术的快速发展推动了医疗领域的创新,多模态融合为疾病精准诊断的实现提供了技术基础。
研究纳入四川大学华西医院及医联体24107例住院患者,收集其临床症状、诊疗记录等文本、实验室检测结果和胸部CT图像。研究者利用双向编码器转换器(BERT)提取文本信息,通过骨干网络Swin-Transformer对图像信息进行特征提取。为进一步提高模型性能,研究者采用注意力Attention架构,将模型从临床、影像、检验数据中提取的单模态特征合并为多模态特征,使MMI模型能够整合多个信息源并有效地对疾病进行精确诊断。相对于仅使用临床特征或影像图像的单一模态模型,MMI模型在识别肺部感染性疾病患者的准确性更高(内部测试集 Area Under the Curve,AUC 0.935),并能够区分单一感染和混合感染的患者在识别不同类型肺部感染性疾病(细菌性、病毒性、真菌性肺炎和肺结核)任务上,MMI模型平均性能依旧最佳。
不同的数据融合策略会影响模型的诊断性能,研究者对早期融合(Early Fusion)、中期融合(Intermediate Fusion)和晚期融合(Late Fusion)三种融合架构进行探索。与早期融合和后期融合架构相比,中间融合架构表现出更加优越的性能(诊断不同类型肺部感染性疾病AUC为0.923。中期融合寻求合并来自多个信息源的特征,生成统一的特征集,增强了信息在信息源间的传播,并交互式地优化了特征提取过程。
进一步,研究者收集肺部感染性患者多模态数据,将该模型与两组具有不同年资的临床医生进行对比。结果显示,MMI模型在肺部感染性疾病诊断方面的性能可与具有丰富临床经验的医生相媲美。
MMI模型在常见肺部感染病原体的预测上也显示出良好的诊断潜力。覆盖呼吸道合胞病毒、冠状病毒、肺炎链球菌、结核分枝杆菌等常见呼吸道病毒和细菌病原体。这种对不同病原体亚型的准确区分,可辅助医护人员及时诊断并针对性使用抗菌药物。预警危重症也是MMI模型在肺部感染性患者诊疗中的重要应用。研究者评估了肺部感染性疾病患者危重预后的相关因素,并可视化了多维度特征在预警预后中的重要性。
综上所述,该研究创新性地开发多模态融合MMI模型,精准诊断肺部感染性疾病,快速锁定病原体,融合多维特征实现重症提前预警,有助于临床及时决策干预,改善肺部感染性患者的预后,为肺部感染性疾病精准诊疗提供新思路。
四川大学华西医院呼吸与危重症医学科研究员,博士生导师。国家级青年人才。致力于肺结节/肺癌、肺部感染性疾病的基础、临床及转化研究。主持国家自然科学基金项目面上、专项等课题,在Cell、Nature Medicine、Nature Biomedical Engineering 等高水平期刊发表研究论文,以主要完成人荣获国家科技进步奖二等奖、四川省科技进步奖一等奖,个人获四川省杰出青年科学技术创新奖。
四川大学华西医院呼吸与危重症医学科教授,博士生导师,四川大学华西医院呼吸和共病研究院院长,入选教育部重要人才计划。担任呼吸和共病全国重点实验室(华西)主任、国家精准医学产业创新中心主任、教育部疾病分子网络前沿科学中心主任;中华医学会副会长、中国医师协会副会长,中华医学会呼吸病学分会副主任委员。主持国家自然科学基金重点项目/面上项目、国家科技重大专项等各级科研课题。以通讯作者在Cell、Nature Medicine、Nature Biomedical Engineering 等期刊发表SCI论文200余篇。以第一完成人获国家科技进步奖二等奖、四川省科技进步奖一等奖,个人获何梁何利基金科学与技术进步奖、全国创新争先奖和吴阶平-保罗·杨森医学药学奖。
每一项临床研究都倾注着研究团队的心血结晶。学习过后,您是否有所收获?或有疑问想与主创团队分享?请在评论区留言,期待与您交流!
查看更多