×

病理性融合

swMATH标识: 41413
软件作者: 陈明义,王静雯,王静雯,威廉姆森,罗迪克,林德曼,马茂德
说明: 病理学融合:融合组织病理学和基因组学特征进行癌症诊断和预后的综合框架。癌症的诊断、预后和治疗反应的预测是基于组织切片的形态学信息和基因组数据中的分子图谱。然而,大多数基于深度学习的客观结果预测和分级范式都是基于组织学或基因组学,并没有以直观的方式利用补充信息。在这项工作中,我们提出病理融合,一种可解释的策略,用于组织学图像和基因组(突变、CNV、RNA序列)特征的端到端多模式融合,以预测生存结果。我们的方法通过使用单峰特征表示的Kronecker积来建模模式间的成对特征交互,并通过基于门控的注意机制来控制每个表征的表现力。在监督学习之后,我们能够解释和显著地定位每个模态的特征,并理解在多模态输入条件下特征的重要性是如何变化的。我们使用来自肿瘤基因组图谱(TCGA)的胶质瘤和透明细胞肾癌数据集来验证我们的方法,这些数据集包含成对的全幻灯片图像、基因型和转录组数据,以及基本生存率和组织学等级标记。在15倍交叉验证中,我们的结果表明,所提出的多模式融合范式改善了从基本真相分级和分子亚型,以及单模式深层网络训练的组织学和基因组数据。该方法为如何以直观的方式在多模式生物医学数据上训练深层网络奠定了基础和理论基础,这对于寻求结合异构数据流以了解疾病、预测反应和治疗抵抗力的医学其他问题也有帮助。
主页: https://arxiv.org/abs/1912.08937
相关软件: 梯度凸轮;显微镜;皮吉夫;github;图像网;火把;海生的;熊猫;scikit图像;摇摆舞;化学试剂盒;Matplotlib库;NumPy公司;神经质的
参考文献: 1个出版物

参考1系列

1 应用统计学年鉴

按年份引用出版物