计算机科学››2024,第51卷››问题(5): 100-107.数字对象标识:10.11896/jsjkx.230400114

•计算机图形和多媒体• 以前的文章   下一篇文章

融合全尺度特征融合和RNN的医学图像分割网络

尚新新、李凯、温颖  

  1. 华东师范大学通信与电子工程学院多维信息处理上海重点实验室,上海200241
  • 收到:2023-04-16 修订过的:2023-08-16 在线:2024-05-15 出版:2024-05-08
  • 关于作者:肖新新,1996年生,博士,主要研究方向为计算机视觉和图像处理。
    文英,1975年生,教授,博士生导师,中共党员(No.F2169M)。她的主要研究兴趣包括计算机视觉、图像处理和人工智能。
  • 支持单位:
    国家自然科学基金(62273150)、上海市自然科学基金会(22ZR1421000)、上海杰出学术带头人计划(21XD1430600)和上海市科学技术委员会(22DZ2229004)。

摘要:深度学习中的编解码网络在图像特征提取和层次特征融合方面具有优异的性能,常用于医学图像分割。然而,目前主流的编解码网络分割方法仍然面临两个问题:1)在编解码阶段,单个网络挖掘的图像特征信息可能不足;2) 使用简单跳过连接的编码器-解码器网络无法充分利用全尺寸特征的上下文信息。因此,针对现有方法的不足,提出了一种融合全尺寸特征融合和RNN的编码-解码网络用于医学图像分割。首先,将卷积多层感知器(MLP)模块与MLP相结合引入U-Net编码器中,以进一步扩展编码器的特征接收域。其次,通过全尺寸特征融合模块,将各尺度的跳跃连接特征与粗粒度信息和细粒度信息进行有效融合。此操作减少了每个尺度的跳过连接特征之间的语义差异,并突出了图像的关键特征信息。最后,解码器通过结合递归神经网络(RNN)和注意机制的递归注意解码模块(RADU)逐级细化图像特征信息,在避免信息冗余的同时加强特征提取,并获得最终分割结果。该方法与BrainWeb、MRbrainS、HVSMR和Choledoch数据集上的主流算法进行了比较,在像素精度和骰子相似度方面提高了图像分割精度。因此,实验结果表明,通过引入全尺寸特征融合模块和所提出的RADU,该方法在图像分割应用中可以取得良好的分割效果,并且具有良好的噪声鲁棒性和抗干扰能力。

关键词: 医学图像分割, 编码器-解码器网络, 多层感知器, 全尺度特征融合, 注意机制, 循环神经网络

CLC编号:

  • TP391.7型
[1] MACQUEEN J.多变量观测的分类和分析的一些方法[C]//第五届伯克利数学统计与概率研讨会论文集。1967:281-297。
[2] DUNN J C.ISODATA过程的模糊关系及其在检测紧密且分离良好的簇中的应用[J]。控制论杂志,1973,3(3):32-57。
[3] 龚敏,梁毅,石杰,等.基于局部信息和核度量的模糊c-均值聚类图像分割[J]。IEEE图像处理汇刊,2012,22(2):573-584。
[4] ASHISH V,NOAM S,NIKI P,et al.注意力是你所需要的一切[C]//第31届神经信息处理系统会议记录.2017:6000-6010。
[5] 谢哈默E,龙J,达雷尔T。语义切分的完全卷积网络[J]。IEEE模式分析和机器智能汇刊,2017,39(4):640-651。
[6] RONNEBERGER O,FISCHER P,BROX T.U-Net:用于生物医学图像分割的卷积网络[C]//医学图像计算和计算机辅助干预国际会议论文集.2015:234-241。
[7] BADRINARAYANAN V,KENDALL A,CIPOLLA R.Seg-Net:一种用于图像分割的深度卷积编解码结构[J]。IEEE模式分析和机器智能汇刊,2016,39(12):2481-2495。
[8] OKTAY O,SCHLEMPER J,FOLGOC L,et al.关注U-Net:学习在哪里寻找胰腺[C]//医学影像与深度学习会议.2018:1-10。
[9] CHENG F,CHEN C,WANG Y,等.学习心脏MRI分割的方向特征图[C]//医学图像计算与计算机辅助干预国际会议论文集。查姆:施普林格,2020:108-117。
[10] YE Z,WU M.脉络膜新生血管分段联合时间监测与注意机制[J]。计算机科学,2021,48(8):118-124。
[11] BAI X,MA Y,WANG W.基于特征融合的边缘引导乳腺超声图像分割方法[J]。计算机科学,2023,50(3):199-207。
[12] 陈杰,吕毅,于清,等.TransUNet:Transformers make strong encoders for medical image segmentation[C]//IEEE International Conference on Computer Vision.2021:1-13。
[13] DOSOVITSKIY A,BEYER L,KOLESNIKOV A,et al.动画价值16×16字:变形金刚的图像识别比例[C]//国际学习表征会议.2021:1-22。
[14] SHAN X,MA T,GU A,et al.TCRNet:使Transformer、CNN和RNN相辅相成[C]//声学、语音和信号处理国际会议论文集.2022:1441-1445。
[15] JIN Y,HAN D,KO H.TrSeg:语义切分的变换器[J]。模式识别信件,2021148:29-35。
[16] TOLSTIKHIN I O,HOULSBY N,KOLESNIKOV A,et al.Mlp-mixer:视觉的全Mlp架构[C]//神经信息处理系统学报.2021:1-16。
[17] 李杰,哈萨尼A,沃顿S,等.视觉层次卷积MLPs[J].arXiv:2109.044542021。
[18] VALANARASU J M J,PATEL M V.UNeX:基于MLP的快速医学图像分割网络[C]//国际医学图像计算和计算机辅助干预会议论文集。2022:23-33。
[19] VALANARASU J M J,OZA P,HACIHALILOGLU I,et al.《医学变压器:医学图像分割的门控轴向注意力》[C]//《医学图像计算与计算机辅助干预国际会议论文集》,2021:36-46。
[20] 王辉,谢斯,林磊,等.用于医学图像分割的混合变换U网[C]//声学、语音和信号处理国际会议论文集.2022:2390-2394。
[21]周平,龚S,钟S,等.基于深度特征融合的图像语义分割[J]。计算机科学,2020,47(2):126-134。
[22]王赫,曹平,王杰,等.UCTransNet:从Transformer的渠道视角重新思考u-net中的跳跃连接[C]//第三十六届AAAI人工智能会议论文集。温哥华,2022:7966-7978。
[23]温毅,谢坤,何磊.通过递归解码单元分割医学MRI[C]//第三十四届AAAI人工智能会议论文集.2020:12452-12459。
[24]COCOSCO C A,KOLLOKIAN V,KWAN K S,等.大脑网络:3D MRI模拟大脑数据库的在线接口[J]。神经影像,1997,5(4):第2/4部分,S425。
[25]MENDRIK A M,VINCKEN K L,KUIJF H J,等.MRBrainS挑战:3T MRI扫描脑图像分割的在线评估框架[J]。计算智能与神经科学,2015(1):1-16。
[26]PACE D F,DALCA A V,GEVA T,等.先天性心脏病的交互式全心分割[C]//医学图像计算与计算机辅助干预国际会议论文集.2015:80-88。
[27]张Q,李Q,余G,等。胆管癌诊断的多维胆道数据库和基准[J]。IEEE接入,2019,7:149414-149421。
[28]黄H,LIN L,TONG R,et al.UNet 3+:用于医学图像分割的全尺寸连接UNet[C]//IEEE声学、语音和信号处理国际会议论文集.2020:1055-1059。
[29]李霞,尤阿,朱Z,等.快速准确场景解析的语义流[C]//欧洲计算机视觉会议论文集.2020:775-793。
[30]WOO S,PARK J,LEE J,et al.CBAM:卷积块注意模块[C]//欧洲计算机视觉会议论文集.2018:3-19。
[31]SUDRE C H,LI W Q,VERCAUTEREN T,et al.广义骰子重叠作为高度不平衡分割的深度学习损失函数[C]//第三届MICCAI医学图像分析深度学习和临床决策支持多模式学习国际研讨会论文集.2017:240-248。
[32]顾A,珊X,温毅.一种综合相异准则和熵率超像素的图像分割模型[J]。图像与图形杂志,2022,27(11):3267-3279。
[33]AL-DMOUR H,AL-ANI A.一种用于MR脑组织分割的聚类融合技术[J]。神经计算,2018275:546559。
[34]HASTIE T,TIBSHIRANI R.判别自适应最近邻分类[J]。IEEE模式分析和机器智能汇刊,1996,18(6):607-616。
[1] 何世阳、王朝辉、龚盛荣、钟山。基于交叉模式信息过滤的可视问答网络[J] ●●●●。计算机科学,2024,51(5):85-91。
[2] 周瑜、陈志华、盛斌、梁磊。用于图像去叠的多尺度累进变换器[J] ●●●●。计算机科学,2024,51(5):117-124。
[3] 白雪飞、沈武成、王文健。基于特征注意净化的显著目标检测[J] ●●●●。计算机科学,2024,51(5):125-133。
[4] 兰永奇,何兴兴,李英芳,李天瑞。一种新的图约简表示和用于前提选择的图神经网络模型[J] ●●●●。计算机科学,2024,51(5):193-199。
[5] 王瑞平、吴世宏、张美航、王小平。基于视觉的神经网络三维动态手势识别方法综述[J] ●●●●。计算机科学,2024,51(4):193-208。
[6] 薛金强、吴琴。卷积神经网络和小波变换相结合的渐进多级图像去噪算法
多层感知器
[J] ●●●●。计算机科学,2024,51(4):243-253。
[7] 张明道、周欣、吴晓红、青林波、何晓海。基于语义扩展和HDGCN的统一伪新闻检测[J] ●●●●。计算机科学,2024,51(4):299-306。
[8] 王子宏、邵英霞、何继元、刘金宝。基于多空间属性信息融合的序贯推荐[J] ●●●●。计算机科学,2024,51(3):102-108。
[9] 郝冉、王红军、李天瑞。基于双分支序列混合注意的输电线路缺陷检测深度神经网络模型[J] ●●●●。计算机科学,2024,51(3):135-140。
[10] 李煜、杨祥丽、张乐、梁亚林、高贤、杨建熙。基于级联U网的遥感图像道路分割与轮廓提取[J] ●●●●。计算机科学,2024,51(3):174-182。
[11] 廖萌、贾震、李天瑞。基于标签信息融合和多任务学习的中文命名实体识别[J] ●●●●。计算机科学,2024,51(3):198-204。
[12] 孙守南、王景斌、吴仁飞、尤长凯、柯西凡、黄浩。TMGAT:带类型匹配约束的图形注意网络[J] ●●●●。计算机科学,2024,51(3):235-243。
[13] 刘旭恒、白正耀、徐竹、杜家锦、肖晓。结合注意机制的多导点云注册网络[J] ●●●●。计算机科学,2024,51(2):142-150。
[14] 张国栋、陈志华、盛斌。基于扩张卷积条件生成对抗网络的红外小目标检测[J] ●●●●。计算机科学,2024,51(2):151-160。
[15] 张峰、黄世新、华强、董春如。基于深度卷积神经网络和视觉变换的新型图像分类模型[J] ●●●●。计算机科学,2024,51(2):196-204。
已查看
全文


摘要

引用

  共享   
  讨论   
找不到建议阅读的文章!