×
陈子轩；徐泽凯；桂秋玲；杨欣；程启敏；侯文光；丁明月

基于自学习的医学图像表示，用于刚性实时和多模式切片-体配准。 （英语） Zbl 1478.92099号

信息科学。 541, 502-515 (2020).
摘要：近年来，基于卷积神经网络（CNN）的实时切片到体配准方法在相关临床应用中显示出巨大潜力。通常，这些方法主要用于单峰场景，因为它们基本上依赖于图像强度。为了将该策略扩展到更一般的计算机辅助手术场景中，我们提出了一种基于自学习的多模式图像表示模型，用于实时和多模式切片到体的配准。与通常使用结构描述符或将图像从一种模态转换为另一种模态的方法不同，该方法通过基于CNN的双通道自学习策略，利用多模态图像中嵌入的高度相似信息。这样，就可以实现任何形式的通用图像表示网络。具体来说，在训练阶段，可以将不同的多模态图像对同时送入两个共享权重通道。通过使成对输出相似并保留原始图像的边缘信息，具体实现了自学习策略。随后，可以通过一个通道实现任何形式的图像表示。在不同数据集上进行了实验，以评估该方法，证明其在为实时和多模式切片到体配准提供多模式表示方面的显著优势；此外，观察到它优于最先进的表示方法。

引用于1文件

MSC公司：

92 C55 生物医学成像和信号处理

关键词：

多模态医学图像表示；卷积神经网络；切片到卷的配准；实时

软件：

掌中宽带；N4itk公司；PyTorch公司；CycleGAN公司；卡费；像素x像素
PDF格式BibTeX公司 XML格式引用
\textit{Z.Chen}等人，《信息科学》。541502--515（2020；Zbl 1478.92099）
全文： 内政部

参考文献：

[1] Bi，L。；Kim，J。；库马尔，A。；冯，D。；Fulham，M.，通过多通道生成对抗网络（gans）合成正电子发射断层扫描（pet）图像，（运动身体器官的分子成像、重建和分析，以及中风成像和治疗（2017），Springer），43-51
[2] Bramon，R。；博阿达，I。；巴德拉，A。；罗德里格斯，J。；费克斯，M。；Puig，J。；Sbert，M.，基于互信息的多模数据融合，IEEE可视化和计算机图形学报，181574-1587（2012）
[3] 陈，J。；Shan，S。；他，C。；赵，G。；Pietikainen，M。；陈，X。；Gao，W.，Wld：稳健的局部图像描述符，IEEE模式分析和机器智能汇刊，321705-1720（2010）
[4] 陈，Z。；徐，Z。；Yi，W。；杨，X。；Hou，W。；丁，M。；Granichin，O.，《使用cnn的实时和多模式大脑切片到卷注册》，《应用专家系统》，133，86-96（2019）
[5] 费兰特，E。；Paragios，N.，使用马尔可夫随机场的非数字2D-3D医学图像注册，163-170（2013），施普林格：施普林格柏林，海德堡
[6] 费兰特，E。；Paragios，N.，切片到卷医学图像注册：一项调查，医学图像分析，39，101-123（2017）
[7] J.M.Fitzpatrick，回顾性图像注册评估项目，2007年，网址：https://www.insight-journal.org/rire/。
[8] Fogtmann，M。；Seshamani，S。；科伦克，C。；Cheng，X。；查普曼，T。；Wilm，J。；卢梭，F。；Studholme，C.，《从移动胎脑解剖结构进行扩散方向敏感切片注册和三维dti重建的统一方法》，IEEE医学成像汇刊，33，272-289（2014）
[9] 格洛洛特，X。；Bengio，Y.，《理解深度前馈神经网络训练的困难》（Teh，Y.W.；Titterington，M.，《第十三届国际人工智能与统计会议论文集》（2010）），249-256
[10] 阿拉巴马州冈萨雷斯。，使用斐波那契和经纬度格子测量球体面积，《数学地球科学》，42，49（2010）·Zbl 1184.65026号
[11] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；库尔维尔，A。；Bengio，Y.，《生成性对抗网络》，《神经信息处理系统的进展》，2672-2680（2014）
[12] Han，X.，Mr-based synthetic ct generation using a deep convolution neural network method，Medical Physics，44，1408-1419（2017），使用深度卷积神经网络方法生成基于Mr的合成ct
[13] 海因里希，M.P。；詹金森，M。；M.Bhushan。；Matin，T。；Gleeson，F.V。；Brady，S.M。；Schnabel，J.A.，Mind:用于多模态可变形配准的模态无关邻域描述符，医学图像分析，161423-1435（2012）
[14] 侯，B。；Khanal，B。；Khanal，B。；Alansary，A。；南卡罗来纳州麦克多纳。；戴维森。；卢瑟福，M。；Hajnal，J.V。；Rueckert，D。；格洛克，B。；Kainz，B.，从任意方向的二维图像在标准坐标空间中进行三维重建，IEEE医学成像学报（2018），1-1
[15] S.Ioffe，C.Szegedy，《批量规范化：通过减少内部协变量偏移来加速深层网络训练》，2015年，arXiv预印本arXiv:1502.03167。
[16] Isola，P。；朱建勇。；周，T。；Efros，A.A.，使用条件对抗网络进行图像到图像的转换，（IEEE计算机视觉和模式识别会议论文集（2017）），1125-1134
[17] 贾毅。；谢尔哈默，E。；Donahue，J。；卡拉耶夫，S。；Long，J。；Girshick，R。；瓜达拉马，S。；Darrell，T.，Caffe:快速特征嵌入的卷积架构，（第22届ACM多媒体国际会议论文集（2014），ACM），675-678
[18] C.B.Jin，W.Jung，S.Joo，E.Park，A.Y.Saem，I.H.Han，J.I.Lee，X.Cui，使用成对和未成对数据进行深度ct到mr合成，2018年，arXiv预印本arXiv:1805.10790。
[19] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，（Pereira，F.；Burges，C.J.C.；Bottou，L.；Weinberger，K.Q.，《神经信息处理系统进展》25（2012），Curran Associates，Inc.），1097-1105
[20] 库马尔，M。；Saxena，R.，《各种边缘检测的算法和技术：综述》，《信号与图像处理》，2013年第4期，第65页
[21] 李，S。；尹，H。；Fang，L.，利用字典学习进行医学图像去噪和融合的组解析表示，IEEE生物医学工程学报，593450-3459（2012）
[22] 刘，L。；Wang，L。；Liu，X.，为软设计编码辩护，（2011年计算机视觉国际会议（2011）），2486-2493
[23] 奈尔，V。；Hinton，G.E.，《校正线性单位改进受限boltzmann机器》（国际机器学习会议（2010）），807-814
[24] 聂，D。；特鲁洛，R。；Lian，J。；佩蒂让，C。；阮，S。；王，Q。；Shen，D.，使用上下文软件生成对抗网络的医学图像合成，（医学图像计算和计算机辅助干预国际会议（2017），Springer），417-425
[25] 纽尔，l.G。；Udupa，J.K。；Zhang，X.，磁共振成像标尺标准化方法的新变体，IEEE医学成像学报，19143-150（2000）
[26] Paszke，A。；毛重，S。；钦塔拉，S。；Chanan，G。；杨，E。；德维托，Z。；林，Z。；Desmaison，A。；安提瓜，L。；Lerer，A.，pytorch中的自动差异化，（NIPS-W（2017））
[27] O.Ronneberger。；菲舍尔，P。；Brox，T.，U-net：生物医学图像分割的卷积网络，（医学图像计算和计算机辅助干预国际会议（2015），Springer），234-241
[28] Simo-Serra，E。；Trulls，E。；费拉兹，L。；科基诺斯，I。；Fua，P。；Moreno Noguer，F.，深度卷积特征点描述符的判别学习，（IEEE国际计算机视觉会议论文集（2015）），118-126
[29] 新泽西州塔斯提森。；先锋，B.B。；库克，P.A。；郑毅。；埃根，A。；尤什凯维奇，P.A。；Gee，J.C.，N4itk：改进的n3偏差校正，IEEE医学成像学报，291310（2010）
[30] Wachinger，C。；Navab，N.，《熵和拉普拉斯图像：多模式注册的结构表示》，《医学图像分析》，第16期，第1-17页（2012年）
[31] 朱建勇。；帕克，T。；Isola，P。；Efros，A.A.，《使用循环一致对抗网络的未配对图像到图像转换》（IEEE计算机视觉国际会议论文集（2017）），2223-232
[32] 朱，X。；丁，M。；黄，T。；金，X。；Zhang，X.，基于Pcanet的非刚性多模态医学图像配准结构表示，Sensors，18，1477（2018）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。