日本››2024,第51卷››问题(5): 100-107.数字对象标识:10.11896/jsjkx.230400114

计算机图形学&多媒体 • 上一篇   下一篇

集成全尺度融合和循环注意力的医学图像分割网络

单昕昕, 李凯, 文颖  

  1. 信息技术200241
  • 收稿日期:2023-04-16 修回日期:2023-08-16 出版日期:2015年5月24日 发布日期:2024-05-08
  • 通讯作者:文颖(ywen@cs.ecnu.edu.cn)
  • 作者简介:(51184506005@stu.ecnu.edu.cn)
  • 基金资助:
    国家自然科学基金(62273150);上海市自然科学基金(22ZR1421000);上海市优秀学术/技术带头人计划项目(21XD1430600);上海市科学技术委员会资助项目(22DZ2229004)

融合全尺度特征融合和RNN的医学图像分割网络

尚新新、李凯、温颖  

  1. 华东师范大学通信与电子工程学院多维信息处理上海重点实验室,上海200241
  • 收到:2023-04-16 修订过的:2023-08-16 在线:2015年5月24日 出版:2024-05-08
  • 关于作者:SHAN Xinxin,1996年出生,博士。主要研究方向包括计算机视觉和图像处理。
    文英,1975年生,教授,博士生导师,中共党员(No.F2169M)。她的主要研究兴趣包括计算机视觉、图像处理和人工智能。
  • 支持单位:
    国家自然科学基金(62273150)、上海市自然科学基金会(22ZR1421000)、上海杰出学术带头人计划(21XD1430600)和上海市科学技术委员会(22DZ2229004)。

摘要:深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在掌中宽带编码器中加入了结合多层感知机(MLP)MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(注册号)和注意力机制的循环注意力解码模块(无线数据单元)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

关键词: 医学图像分割, 编解码网络, 多层感知机, 全尺度特征融合, 循环神经网络

摘要:深度学习中的编解码网络在图像特征提取和层次特征融合方面具有优异的性能,常用于医学图像分割。然而,目前主流的编解码网络分割方法仍然面临两个问题:1)在编解码阶段,单个网络挖掘的图像特征信息可能不足;2) 使用简单跳过连接的编码器-解码器网络无法充分利用全尺寸特征的上下文信息。因此,针对现有方法的不足,提出了一种融合全尺寸特征融合和RNN的编码-解码网络用于医学图像分割。首先,将卷积多层感知器(MLP)模块与MLP相结合引入U-Net编码器中,以进一步扩展编码器的特征接收域。其次,通过全尺度特征融合模块,将每个尺度的跳跃连接特征与粗粒度信息和细粒度信息有效融合。此操作减少了每个尺度的跳过连接特征之间的语义差异,并突出了图像的关键特征信息。最后,解码器通过结合递归神经网络(RNN)和注意机制的递归注意解码模块(RADU)逐级细化图像特征信息,在避免信息冗余的同时加强特征提取,并获得最终分割结果。该方法与BrainWeb、MRbrainS、HVSMR和Choledoch数据集上的主流算法进行了比较,在像素精度和骰子相似度方面提高了图像分割精度。因此,实验结果表明,通过引入全尺寸特征融合模块和所提出的RADU,该方法在图像分割应用中可以取得良好的分割效果,并且具有良好的噪声鲁棒性和抗干扰能力。

关键词: 医学图像分割, 编码器-解码器网络, 多层感知器, 全尺度特征融合, 注意机制, 循环神经网络

中图分类号: 

  • 第391.7页
[1] MACQUEEN J.多元观测分类和分析的一些方法[C]//第五届伯克利数理统计与概率研讨会论文集。1967:281-297。
[2] DUNN J C.ISODATA过程的模糊关系及其在检测紧密且分离良好的簇中的应用[J]。控制论杂志,1973,3(3):32-57。
[3] 龚敏,梁毅,石杰,等.基于局部信息和核度量的模糊c-均值聚类图像分割[J]。IEEE图像处理汇刊,2012,22(2):573-584。
[4] ASHISH V,NOAM S,NIKI P等。注意力就是你所需要的[C]//第31届神经信息处理系统大会论文集。2017:6000-6010。
[5] 谢哈默E,龙J,达雷尔T。语义切分的完全卷积网络[J]。IEEE模式分析和机器智能汇刊,2017,39(4):640-651。
[6] RONNEBERGER O,FISCHER P,BROX T.U-Net:用于生物医学图像分割的卷积网络[C]//医学图像计算和计算机辅助干预国际会议论文集.2015:234-241。
[7] BADRINARAYANAN V,KENDALL A,CIPOLLA R.Seg-Net:一种用于图像分割的深度卷积编解码结构[J]。IEEE模式分析和机器智能汇刊,2016,39(12):2481-2495。
[8] OKTAY O,SCHLEMPER J,FOLGOC L,et al.关注U-Net:学习在哪里寻找胰腺[C]//医学影像与深度学习会议.2018:1-10。
[9] CHENG F,CHEN C,WANG Y,et al.用于心脏MRI分割的学习方向特征图[C]//国际医学图像计算与计算机辅助干预会议论文集。查姆:施普林格,2020:108-117。
[10] YE Z,WU M.脉络膜新生血管分段联合时间监测与注意机制[J]。计算机科学,2021,48(8):118-124。
[11] BAI X,MA Y,WANG W.基于特征融合的边缘引导乳腺超声图像分割方法[J]。计算机科学,2023,50(3):199-207。
[12] 陈杰,吕毅,于清,等.TransUNet:Transformers make strong encoders for medical image segmentation[C]//IEEE International Conference on Computer Vision.2021:1-13。
[13] DOSOVITSKIY A,BEYER L,KOLESNIKOV A,et al.动画价值16×16字:变形金刚的图像识别比例[C]//国际学习表征会议.2021:1-22。
[14] SHAN X,MA T,GU A,et al.TCRNet:使Transformer、CNN和RNN相辅相成[C]//声学、语音和信号处理国际会议论文集.2022:1441-1445。
[15] JIN Y,HAN D,KO H.TrSeg:语义切分的变换器[J]。模式识别信件,2021148:29-35。
[16] TOLSTICKHIN I O,HOULSBY N,KOLESNIKOV A,et al.Mlp混合器:一种用于视觉的全Mlp架构[C]//神经信息处理系统学报,2021:1-16。
[17] 李杰,哈萨尼A,沃顿S,等.视觉层次卷积MLPs[J].arXiv:2109.044542021。
[18] VALANARASU J M J,PATEL M V.UNeXt:基于MLP的快速医学图像分割网络[C]//医学图像计算和计算机辅助干预国际会议论文集.2022:23-33。
[19] VALANARASU J M J,OZA P,HACIHALILOGLU I,等.医用变压器:用于医学图像分割的门控轴向关注[C]//医学图像计算与计算机辅助干预国际会议论文集.2021:36-46。
[20] 王辉,谢斯,林磊,等.用于医学图像分割的混合变换U网[C]//声学、语音和信号处理国际会议论文集.2022:2390-2394。
[21]周平,龚S,钟S,等.基于深度特征融合的图像语义分割[J]。计算机科学,2020,47(2):126-134。
[22]王赫,曹平,王杰,等.UCTransNet:从Transformer的渠道视角重新思考u-net中的跳跃连接[C]//第三十六届AAAI人工智能会议论文集。温哥华,2022:7966-7978。
[23]温毅,谢坤,何磊.通过递归解码单元分割医学MRI[C]//第三十四届AAAI人工智能会议论文集.2020:12452-12459。
[24]COCOSCO C A,KOLLOKIAN V,KWAN K S,等.大脑网络:3D MRI模拟大脑数据库的在线接口[J]。神经影像,1997,5(4):第2/4部分,S425。
[25]MENDRIK A M,VINCKEN K L,KUIJF H J,等.MRBrainS挑战:3T MRI扫描脑图像分割的在线评估框架[J]。计算智能与神经科学,2015(1):1-16。
[26]PACE D F,DALCA A V,GEVA T,等.先天性心脏病的交互式全心分割[C]//医学图像计算与计算机辅助干预国际会议论文集.2015:80-88。
[27]张强,李强,于刚,等.胆管癌诊断的多维数据库和基准[J]。IEEE接入,2019,7:149414-149421。
[28]黄H,LIN L,TONG R,et al.UNet 3+:用于医学图像分割的全尺寸连接UNet[C]//IEEE声学、语音和信号处理国际会议论文集.2020:1055-1059。
[29]李霞,尤阿,朱Z,等.快速准确场景解析的语义流[C]//欧洲计算机视觉会议论文集.2020:775-793。
[30]WOO S,PARK J,LEE J,et al.CBAM:卷积块注意模块[C]//欧洲计算机视觉会议论文集.2018:3-19。
[31]SUDRE C H,LI W Q,VERCAUTEREN T等。作为高度不平衡分割的深度学习损失函数的广义骰子重叠[C]//第三届医学图像分析和临床决策支持多模式学习深度学习国际研讨会论文集。2017:240-248。
[32]顾A,珊X,温毅.一种综合相异准则和熵率超像素的图像分割模型[J]。图像与图形杂志,2022,27(11):3267-3279。
[33]AL-DMOUR H,AL-ANI A.一种用于MR脑组织分割的聚类融合技术[J]。神经计算,2018275:546559。
[34]HASTIE T,TIBSHIRANI R.判别自适应最近邻分类[J]。IEEE模式分析和机器智能汇刊,1996,18(6):607-616。
已查看
全文


摘要

引用

  共享   
  讨论   
找不到建议阅读的文章!