介绍

医学成像数据集可能很难获得，而注释更是如此。因此，人们对学习医学表征非常感兴趣对临床任务有用但不依赖于手动的成像注释。

在本文中，我们引入了一种新的对比框架来学习同一对象的多种成像模式可用。预培训任务是标准的噪声对比估计（NCE）；将不同的模态表示匹配在一起具有高相似性的同一主题，同时将低相似性分配给的不同模态表示不同的学科。

然而，不是将图像编码为单个全局嵌入向量和测量余弦相似性的其他NCE方法，如simCLR，我们的方法将它们编码为空间特征图。扫描相似性然后通过使用标准关联特征图来计算卷积运算-这相当于测量扫描一系列可能的注册。

使用来自英国生物银行的全身DXA和MRI扫描，我们展示了其性能在这个预训练任务中，我们的方法大大超过了基线它使用全局嵌入向量作为图像表示（AUC>0.999！）。最后，我们展示了学习到的表征对临床任务非常有用，例如无监督配准和跨模态分割。

作为我们预训练任务的一个例子，你能匹配下面的DXA扫描吗到相应的MRI？（论文中给出的答案）