A Two-Stage Multimodal Contrastive Framework for PET-Based Prediction of Obstructive Coronary Artery Disease
模型结构
- 输入:15通道心肌灌注 PET 极坐标图,加定量 PET/CT 指标及年龄、性别、BMI。
- 第一阶段:图像编码器与表格编码器分别产生患者向量;用同一患者的图像—表格作为正对,以对称 InfoNCE/CLIP 式损失和可学习温度完成无标签预训练。
- 第二阶段:拼接两路向量,经全连接头输出阻塞性 CAD logit;编码器使用较低学习率微调,分类采用 BCE-with-logits。
- 解释:图像侧 integrated gradients,表格侧 kernel SHAP。
优势与适用场景
把大量没有造影标签的临床 PET 先用于跨模态表征学习,再用少量造影标签微调。预训练 12,225 例、微调 968 例,并在六个独立中心 1,865 例外部验证;外部 AUC 0.85,优于从头训练的 0.83。适合“无标签影像多、金标准标签昂贵”的医学影像场景。
终点与验证边界
终点是 PET 后 180 天内侵入性冠脉造影定义的阻塞性 CAD(左主干≥50%,其他主要心外膜冠脉≥70%),属于诊断性检测,不是未来事件预测。开发与外部队列无患者、站点或时间重叠;但仅纳入资料完整且接受造影的患者,存在选择偏倚。
结构短板
依赖专业 PET MPI、15通道派生图和定量参数,迁移到普通 CT、SPECT 或基层场景并不直接。表格与图像在患者层面拼接,仍可能受中心设备和重建流程影响;参数量、训练代码和权重未公开,复现门槛高。
中文摘要式概述
研究提出两阶段 PET 多模态框架,用成对极坐标图与临床/定量特征做无标签对比预训练,再以造影标签微调阻塞性冠心病分类器。模型在六个外部中心取得 0.85 AUC,并在与临床灌注评分相同特异度时提高敏感度和阴性预测值。优势是利用常规积累却缺少金标准标签的数据;局限是造影选择人群、完整病例分析以及对专用 PET 工作流的依赖。结果支持辅助检测,不证明长期预后改善。
English summary
This study aligns 15-channel PET polar maps with quantitative imaging and basic clinical variables through symmetric contrastive pretraining, then fine-tunes the encoders with an angiography-labeled classification head. The model reached an external AUC of 0.85 across six independent sites and improved sensitivity and negative predictive value at a clinically matched specificity. Its main strength is label efficiency: routinely acquired PET studies without angiography can still shape the representation. Important limits include selection into angiography, complete-case inclusion, dependence on specialized PET processing, and the absence of released training code or weights. The endpoint is contemporaneous obstructive CAD, not future cardiovascular events.