计算机科学>计算机视觉和模式识别
标题: BRAU-Net++:用于医学图像分割的U形混合CNN变换器网络
摘要: 准确的医学图像分割对于临床量化、疾病诊断、治疗规划和许多其他应用至关重要。 基于卷积和基于变换的u形结构在各种医学图像分割任务中都取得了显著的成功。 前者可以有效地学习图像的局部信息,同时需要更多的图像特定的卷积运算固有的归纳偏差。 后者可以通过自我关注有效地捕获不同特征尺度下的长程依赖,而随着序列长度的增加,它通常会遇到二次计算和内存需求的挑战。 为了解决这个问题,通过在一个设计良好的u形结构中集成这两种范式的优点,我们提出了一种混合但有效的CNN-Transformer网络,命名为BRAU-Net++,用于精确的医学图像分割任务。 具体来说,BRAU-Net++使用双层路由关注作为核心构建块来设计我们的u形编解码器结构,其中编码器和解码器都是分层构造的,以便在降低计算复杂性的同时学习全局语义信息。 此外,该网络通过结合信道空间注意重构跳跃连接,信道空间注意采用卷积运算,以最小化局部空间信息损失,放大多尺度特征的全局维度交互。 在三个公共基准数据集上的大量实验表明,在几乎所有评估指标下,我们提出的方法都优于其他最先进的方法,包括其基准:BRAU-Net。 我们在Synapse多器官分割、ISIC-2018 Challenge和CVC-ClinicDB上分别获得了82.47、90.10和92.94的平均骰子相似系数(DSC),以及84.01和88.17的mIoU。