×

病原体融合

swMATH ID: 41413
软件作者: Richard J.Chen、Ming Y.Lu、Jingwen Wang、Drew F.K.Williamson、Scott J.Rodig、Neal I.Lindeman、Faisal Mahmood
描述: 病理融合:融合组织病理学和基因组特征用于癌症诊断和预后的综合框架。癌症诊断、预后和治疗反应预测基于组织切片的形态学信息和基因组数据的分子图谱。然而,大多数基于深度学习的客观结果预测和分级范式仅基于组织学或基因组学,并没有以直观的方式利用补充信息。在这项工作中,我们提出了病理融合,这是一种可解释的策略,用于组织学图像和基因组(突变、CNV、RNA-Seq)特征的端到端多模式融合,以预测生存结果。我们的方法通过采用单峰特征表示的Kronecker乘积来建模跨模式的成对特征交互,并通过基于gating的注意机制控制每个表示的表达性。在有监督的学习之后,我们能够解释并显著定位每种模态的特征,并了解在多模态输入条件下特征重要性如何变化。我们使用来自癌症基因组图谱(TCGA)的胶质瘤和透明细胞肾癌数据集验证了我们的方法,该图谱包含成对的全幻灯片图像、基因型和转录组数据,以及基本生存率和组织学分级标签。在15倍的交叉验证中,我们的结果表明,所提出的多模式融合范式提高了从地面实况分级和分子亚型以及仅基于组织学和基因组数据训练的单峰深度网络来判断预后的能力。该方法建立了如何以直观的方式在多模态生物医学数据上训练深层网络的洞察力和理论,这将有助于解决医学中的其他问题,这些问题寻求将异构数据流结合起来,以了解疾病并预测对治疗的反应和耐药性。
主页: https://arxiv.org/abs/1912.08937
源代码: https://github.com/mahmoodlab/PathomicFusion网站
相关软件: 梯度-CAM;显微镜;皮吉夫;github;ImageNet公司;PyTorch公司;Seaborn公司;熊猫;scikit-图像;JIVE公司;Scikit公司;马特普洛特利布;数字Py;科学Py
引用于: 1出版物

按年份列出的引文