近日，华西医院呼吸与危重症医学科李为民教授、王成弟研究员团队在The Innovation期刊（IF：33.2）发表了最新研究论文“A multimodal integration pipeline for accurate diagnosis, pathogen identification, and prognosis prediction of pulmonary infections”。创新性开发了多模态融合（MMI）模型，利用临床文本、影像图像、检验指标等多维度信息，实现肺部感染性疾病及病原类型精准预测，及时对危重症进行预警干预（图1）。

图1 MMI模型在肺部感染性疾病诊疗的临床应用

不同病原体引起的肺部感染性疾病给人民生命健康带来了严重的疾病负担，胸部计算机断层扫描（Computed Tomography，CT）是诊断肺部感染的重要辅助工具，但其“异病同征、同病异征”的现象给精准诊断带来困难。人工智能（Artificial Intelligence，AI）技术的快速发展推动了医疗领域的创新，多模态融合为疾病精准诊断的实现提供了技术基础。

研究纳入四川大学华西医院及医联体24107例住院患者，收集其临床症状、诊疗记录等文本、实验室检测结果和胸部CT图像（图2）。研究者利用双向编码器转换器（Bidirectional Encoder Representations from Transformers，BERT）提取文本信息，通过骨干网络Swin-Transformer对图像信息进行特征提取。为进一步提高模型性能，研究者采用注意力Attention架构，将模型从临床、影像、检验数据中提取的单模态特征合并为多模态特征，使MMI模型能够整合多个信息源并有效地对疾病进行精确诊断。

图2 多模态融合MMI模型总体架构

相对于仅使用临床特征或影像图像的单一模态模型，MMI模型在识别肺部感染性疾病患者的准确性更高（内部测试集 Area Under the Curve，AUC 0.935)，并能够区分单一感染和混合感染的患者（图3A）。在识别不同类型肺部感染性疾病（细菌性、病毒性、真菌性肺炎和肺结核）任务上，MMI模型平均性能依旧最佳（图3B-D）。

图3 多模态融合MMI模型识别不同类型肺部感染性疾病的性能

不同的数据融合策略会影响模型的诊断性能，研究者对早期融合（Early Fusion）、中期融合（Intermediate Fusion）和晚期融合（Late Fusion）三种融合架构进行探索（图4A）。与早期融合和后期融合架构相比，中间融合架构表现出更加优越的性能（诊断不同类型肺部感染性疾病AUC为0.923）（图4B）。中期融合寻求合并来自多个信息源的特征，生成统一的特征集，增强了信息在信息源间的传播，并交互式地优化了特征提取过程。

图4 基于三种数据融合架构的MMI模型识别肺部感染性疾病的性能

研究者进一步收集肺部感染性患者多模态数据，将该模型与两组具有不同年资的临床医生进行对比。结果显示，MMI模型在肺部感染性疾病诊断方面的性能可与具有丰富临床经验的医生相媲美。

MMI模型在常见肺部感染病原体的预测上也显示出良好的诊断潜力。覆盖呼吸道合胞病毒、冠状病毒、肺炎链球菌、结核分枝杆菌等常见呼吸道病毒和细菌病原体。这种对不同病原体亚型的准确区分，可辅助医护人员及时诊断并针对性使用抗菌药物。预警危重症也是MMI模型在肺部感染性患者诊疗中的重要应用。研究者评估了肺部感染性疾病患者危重预后的相关因素，并可视化了多维度特征在预警预后中的重要性。

综上所述，该研究创新性地开发多模态融合MMI模型，精准诊断肺部感染性疾病，快速锁定病原体，融合多维特征实现重症提前预警，有助于临床及时决策干预，改善肺部感染性患者的预后，为肺部感染性疾病精准诊疗提供新思路。

四川大学华西医院为第一作者和通讯作者单位，四川大学华西医院博士生邵俊、香港大学俞益洲教授、深睿医疗马杰超为本文共同第一作者；李为民教授、王成弟研究员为共同通讯作者。该研究得到国家自然科学基金委等经费支持。