Zhenbang Wu1,2,3∗，Anant Dadu2,3，Nicholas Tustison4，Brian Avants5，
Mike Nalls2,3，Jimeng Sun1，Faraz Faghri2,3
（1 .University of Illinois Urbana-Champaign，America，
2. National Institutes of Health，America，
3. Data Tecnica International，America，
4. University of Virginia，America，
5. University of Pennsylvania，America）
患者数据涵盖了广泛的模态，包括图像、文本、生理信号和人口统计学信息。医生通常会综合考虑多种方式的信息，对患者的诊断、治疗和持续护理做出明智的决定。例如，跟踪阿尔茨海默病的进展需要多种数据，如多种神经成像扫描、临床评分、基因谱、生物标志物读数。患者的多模态表征学习旨在整合来自这些不同模态的信息，并为下游临床预测任务（如疾病进展、死亡率预测和再入院预测）生成全面的患者表征。
传统的多模态学习通常假设每个患者都可以使用所有模态。然而，在现实中，患者数据可能缺少某些模态。例如，由于可及性问题或成本考虑，一些阿尔茨海默病患者可能没有遗传或神经影像学数据。此外，在更换医疗服务提供者的患者中，零散的临床记录很常见。在这种情况下，传统的多模态方法往往忽略这些不完整的数据，这在很大程度上减少了训练样本的数量，并将其应用范围缩小到只有完整模态的患者。为了解决这个问题，研究者们开启了缺失模态的多模态学习领域。其中，模态补全的方法基于生成模型，利用可用模态生成缺失模态；而直接预测的方法使用特殊的网络设计，使得能在缺少模态的情况下执行下游任务。
然而，除了模态，患者数据也可能遗漏标签信息。例如，阿尔茨海默病患者可能由于随访不一致或患者退出而没有疾病进展标签。本文将这个新问题称为缺少模态和标签的多模态学习。为了解决这个问题，本文 确定了以下挑战：
缺少模态和标签：模态补全方法通常依赖于对数据分布的强假设，不能充分利用患者之间的关系。另一方面，直接预测方法要么过度简化了患者－模态关系，要么在适应不同的模态缺失模态时存在可扩展性问题。此外，这些方法只处理缺少模态的问题，通常需要来自标签的监督信号。因此，现有的方法无法利用没有标签的患者的信息。
模态崩溃：在模型训练期间，多模态模型倾向于过度依赖模态子集，而忽略了来自其他模态的潜在有价值的信息。因此，现有模型往往不能很好地推广到缺少这些关键模态的样本。
为了克服这些挑战，本文引入了MUSE，一个相互一致的图对比学习框架。MUSE包含以下组件：
1. 构建病人－模态图
为了解决缺失模态的挑战，构建了患者-模态图。当患者有某个模态的数据时，它们之间连一条边。这种动态图结构促进模态和患者之间有效的信息传递。
2. “共有且一致”的对比损失
为了解决模态崩溃问题和缺少标签的挑战，引入了“共有且一致”的对比损失。无监督的对比目标鼓励相同患者不同模态拥有更加相似的表征，从而学习到模态之中一些不可知的特征。同时，具有相同标签的患者有更高的相似性，从而以此学习标签决定特征。值得注意的是，无监督对比目标使用的是边的dropout（类似于神经网络的dropout）增强进行训练，可以完美地将训练范围扩展到缺少标签的患者。
为了评估MUSE的有效性，本文在MIMIC－IV、eICU和ADNI三个公开的患者数据集上进行了实验。研究结果表明，当仅对有标签的患者进行训练时，MUSE优于所有基线。此外，MUSE＋通过将训练扩展到没有标签的患者，使AUC－ROC绝对评分提高了约4％。本文还进行了详细的分析和消融研究，以调查影响MUSE实现性能增益的因素。
资料来源：
根据Zhenbang Wu等于2024年发表在International Conference on Learning Representations题目为《Multimodal Patient Representation Learning with Missing Modalities and Labels》的文章缩写整理而成。
（本文责任编辑：陈劭）
