基于边卷积与瓶颈注意力的点云三维目标检测

doi:10.11896/jsjkx.230300113

摘要

摘要：由于点云数据的高度稀疏性，目前基于点云的三维目标检测方法不足以学习局部特征，并且点云数据中包含的一些无效信息会干扰目标检测。针对上述问题，提出了一种基于边缘卷积（EdgeConv）和瓶颈关注模块（BAM）的三维目标检测模型。首先，通过创建K（K）-针对点云中每个点的最近邻图结构，在特征空间上构造多层边缘卷积来学习点云的多尺度局部特征。其次，为三维点云数据设计了一个瓶颈注意模块（BAM），每个BAM由一个通道注意模块和一个空间注意模块组成，以增强对目标检测有价值的点云信息，旨在加强所提模型的特征表示。该网络使用VoteNet作为基线，在PointNet++和投票模块之间依次添加多层边缘卷积和BAM。在两个基准数据集SUN RGB-D和ScanNetV2上，对该模型进行了评估，并与其他13种最新方法进行了比较。实验结果表明，在SUN RGB-D数据集上，该模型达到了最高的0.5毫安培，和最高AP@0.25床、椅子和桌子等十类中的六类。在ScanNetV2数据集上，该模型在IoU 0.25和0.5下的mAP方面优于其他13种方法，并达到最高AP@0.25椅子、沙发和图画等18个类别中的10个。与基线VoteNet相比mAP@0.25在两个数据集上，该模型的性能分别提高了6.5%和12.9%。进行烧蚀研究以验证每个成分的作用。

关键词： 3D物体检测，点云，边缘卷积，瓶颈关注模块， VoteNet， SUN RGB-D数据集， ScanNetV2数据集

CLC编号：

TP183型

简英杰、杨文霞、方曦、韩欢。基于边缘卷积和点云瓶颈注意模块的三维目标检测[J]。计算机科学，2024，51（5）：162-171。

工具书类

[1] CHE A B，ZHANG H，LI C，等.交通环境中基于点云数据的单阶段三维目标检测方法[J]。计算机科学，2022,49（S2）：567-572。
[2] 沈Q，陈永乐，刘S，等.一种基于网络的两级三维目标检测算法[J]。计算机科学，2020,47（10）：145-150。
[3] 郭永发，吴德华，魏庆民.基于深度学习的点云三维目标检测方法综述[J]。计算机应用研究，2023,40（1）：20-27。
[4] QI C R，SU H，MO K，等.点网络：三维分类和分割的点集深度学习[C]//IEEE计算机视觉和模式识别会议论文集。纽约：IEEE出版社，2017:652-660。
[5] QI C R，SU H，NIEßNER M，等.三维数据对象分类的体积和多视图CNN[C]//IEEE计算机视觉和模式识别会议论文集。纽约：IEEE，2016:5648-5656。
[6] SU H，MAJI S，KALOGERAKIS E，等.用于三维形状识别的多视图卷积神经网络[C]//IEEE计算机视觉国际会议论文集。纽约：IEEE出版社2015:945-953。
[7] 周毅，TUZEL O.VoxelNet:基于点云的三维物体检测的端到端学习[C]//IEEE计算机视觉和模式识别会议论文集。纽约：IEEE出版社，2018:4490-4499。
[8] WU Z，SONG S，KHOSLA A，et al.3D ShapeNets:立体形状的深度表示[C]//IEEE计算机视觉和模式识别会议论文集。纽约：IEEE出版社，2015:1912-1920。
[9] QI C R，YI L，SU H，et al.PointNet++：度量空间中点集的深度层次特征学习[C]//神经信息处理系统的协商与研讨会。剑桥：麻省理工学院出版社，2017:5099-5108。
[10] SHI S，WANG X，LI H.PointRCNN：点云的3D对象建议生成和检测[C]//IEEE/CFF计算机视觉和模式识别会议论文集。纽约：IEEE出版社，2019:770-779。
[11] QI C R，LITANI O，HE K，等.点云中三维目标检测的Deep Hough投票[C]//IEEE/CVF国际计算机视觉会议论文集。纽约：IEEE出版社，2019:9277-9286。
[12] QI C R，CHEN X，LITANI O，et al.ImVoteNet:使用图像投票增强点云中的三维目标检测[C]//IEEE/CVF计算机视觉和模式识别会议论文集。纽约：IEEE出版社，2020:4404-4413。
[13] CHENG B，SHENG L，SHI S，et al.点云中基于投票的三维目标检测的回溯代表点[C]//IEEE/CVF计算机视觉与模式识别会议论文集。纽约：IEEE出版社，2021:8963-8972。
[14] 张泽，孙斌，杨华，等.H3DNet：基于混合几何图元的三维物体检测[C]//计算机视觉－ECCV 2020:16欧洲会议。柏林：施普林格出版社，2020:311-329。
[15] 王浩，史仕，杨梓，等。RBGNet:基于光线的三维目标检测分组[C]//IEEE/CVF计算机视觉与模式识别会议论文集。纽约：IEEE出版社，2022:1110-1119。
[16] 刘泽，张泽，曹毅，等.基于变压器的无组三维目标检测[C]//IEEE/CVF国际计算机视觉会议论文集。纽约：IEEE出版社，2021:2949-2958。
[17] 郑毅，段毅，陆杰，等.HyperDet3D:学习场景条件下的三维物体检测器[C]//IEEE/CVF计算机视觉与模式识别会议论文集。纽约：IEEE出版社，2022:5585-5594。
[18] 王毅，孙毅，刘Z，等.点云学习的动态图形CNN[J]。ACM图形事务（ToG），2019,38（5）：1-12。
[19] VASWANI A，SHAZEER N，PARMAR N，et al.Attention is All You Need[C]//神经信息处理系统会议与研讨会。剑桥：麻省理工学院出版社，2017:5998-6008。
[20] 胡J，沈力，孙G.挤压与激励网络[C]//IEEE计算机视觉与模式识别会议论文集。纽约：IEEE出版社，2018:7132-7141。
[21]QIN Z，ZHANG P，WU F，et al.FcaNet:Frequency Channel Attention Networks[C]//IEEE/CVF计算机视觉国际会议论文集。纽约：IEEE出版社，2021:783-792。
[22]JADERBERG M，SIMONYAN K，Zisserman A.空间变压器网络[C]//神经信息处理系统会议和研讨会。剑桥：麻省理工学院出版社，2015:2017-225。
[23]CHU X，TIAN Z，WANG Y，et al.双胞胎：重新审视视觉变换器中的空间注意设计[C]//神经信息处理系统会议与研讨会。剑桥：麻省理工学院出版社2021:9355-9366。
[24]WOO S，PARK J，LEE J Y，等.CBAM：卷积块注意模块[C]//欧洲计算机视觉会议论文集。柏林：施普林格出版社，2018:3-19。
[25]PARK J，WOO S，LEE J Y等。BAM：瓶颈注意模块[C]//2018英国机器视觉大会。纽卡斯尔：英国机械视觉协会出版社，2018:147-161。
[26]SONG S，LICHTENBERG S P，XIAO J.SUN RGB-D:A RGBD Scene Understanding Benchmark Suite[C]//IEEE计算机视觉和模式识别会议论文集。纽约：IEEE出版社，2015:567-576。
[27]DAI A，CHANG A X，SAVVA M，et al.ScanNet:丰富的室内场景三维重建[C]//IEEE计算机视觉与模式识别会议论文集。纽约：IEEE出版社，2017:5828-5839。
[28]QI C R，LIU W，WU C，et al.基于RGB-D数据的三维物体检测Frustum PointNets[C]//IEEE计算机视觉和模式识别会议论文集。纽约：IEEE出版社，2018:918-927。
[29]MISRA I，GIRDHAR R，JOULIN A.用于3D物体检测的端到端变换器模型[C]//IEEE/CVF计算机视觉国际会议论文集。纽约：IEEE出版社，2021:2906-2917。
[30]XIE Q，LAI Y K，WU J等。VENet:用于3D对象检测的投票增强网络[C]//IEEE/CFF国际计算机视觉会议记录。纽约：IEEE出版社，2021:3712-3721。
[31]王毅，陈X，曹L，等.视觉变换器的多模令牌融合[C]//IEEE/CVF计算机视觉与模式识别会议论文集。纽约：IEEE出版社，2022:12186-12195。
[32]谢强，赖永康，吴杰，等.MLCVNet:三维物体检测的多级上下文投票网[C]//IEEE/CVF计算机视觉与模式识别会议论文集。纽约：IEEE出版社，2020:10447-10456。
[33]PAN X，XIA Z，SONG S，et al.3D Pointformer目标检测[C]//IEEE/CVF计算机视觉和模式识别会议论文集。纽约：IEEE出版社，2021:7463-7472。
[34]陶斌，颜福伟，尹志思，等.基于高精度地图增强的三维目标检测[J]。吉林大学学报（工程技术版），2023,53（3）：802-809。

韵律学

已查看

全文

摘要

引用

共享

讨论

基于边缘卷积和瓶颈注意模块的点云三维目标检测

PDF（PC）

摘要

引用这篇文章

分享这篇文章

工具书类

相关文章8

韵律学

评论

推荐0

[1]	李翔、范志光、林楠、曹杨杰、李雪香。三维真实场景问答的自监督学习[J] ●●●●。计算机科学，2023，50（9）：220-226。
[2]	霍伟乐、景涛、任爽。用于自动驾驶的三维物体检测综述[J] ●●●●。计算机科学，2023，50（7）：107-118。
[3]	缪永伟、山峰、杜思成、王金荣、张旭东。RGB-D场景中目标区域引导的三维目标检测[J] ●●●●。计算机科学，2023，50（11A）：221200152-8。
[4]	李宗民、张玉鹏、刘玉洁、李华。基于可变形图卷积网络的点云表示学习[J] ●●●●。计算机科学，2022，49（8）：273-278。
[5]	车爱波、张辉、李晨、王耀南。基于点云数据的交通环境中单级三维目标检测[J] ●●●●。计算机科学，2022，49（11A）：210900079-6。
[6]	沈琦、陈义伦、刘淑、刘利刚。基于二级网络的三维目标检测算法[J] ●●●●。计算机科学，2020，47（10）：145-150。
[7]	郝文、王英辉、宁晓娟、梁伟和史正浩。点云三维目标识别综述[J] ●●●●。计算机科学，2017，44（9）：11-16。
[8]	邱春丽和徐红丽。三维离散点的直接三角剖分算法[J] ●●●●。计算机科学，2014，41（2）：157-160。