双分支结构的多层级三维点云补全

doi:10.3778/j.issn.1002-8331.2212-0355

摘要/摘要

摘要：为了缓解现有点云补全方法在特征提取过程中很难平衡局部特征和全局特征的问题，提出了一种双分支结构的多层级点云补全算法。利用两个独立的分支网络分别提取出输入点云的局部特征信息和全局特征信息，再将两种特征信息进行拼接形成特征向量。使用五层联合感知机将特征向量映射成多个维度，进而提取多维特征信息并将其整合成最终特征向量。采用金字塔结构在256、512、1?024特征维度上对最终特征向量进行特征解码，预测三种不同分辨率的点云。引入鉴别器网络，通过联合训练鉴别器产生的对抗损失和分层重建点云产生的补全损失去优化网络。在ShapeNet公司数据集上进行实验，算法显著提升了点云补全精度，并且在缺失大面积点云时也能恢复出较为完善的物体形状。

关键词: 三维点云, 形状补全, 深度学习, 双分支结构, 鉴别器网络

摘要：为了缓解现有点云补全方法在特征提取过程中难以平衡局部特征和全局特征的问题，本文提出了一种具有双分支结构的多级点云补齐算法。使用两个独立的分支网络分别提取输入点云的局部特征信息和全局特征信息，并将这两个特征信息连接起来形成特征向量。使用五级组合感知器将特征向量映射到多个维度，提取多维特征信息并将其集成到最终的特征向量中。然后，使用金字塔结构在256、512和1024个特征维度上解码最终的特征向量，并预测三种不同分辨率的点云。最后，引入鉴别器网络，通过联合训练鉴别器产生的对抗损失和分层重建点云产生的完成损失来优化网络。在ShapeNet数据集上的实验表明，该算法显著提高了点云补全的精度。此外，当大量点云丢失时，可以恢复相对完整的对象形状。

关键词： 三维点云，形状完成，深度学习，双支结构，鉴别器网络

邱云飞, 王宜帆. 双分支结构的多层级三维点云补全[J] ●●●●。计算机工程与应用, 2024, 60(9): 272-282.

邱云飞，王一凡。具有双分支结构的多层三维点云完备性[J]。计算机工程与应用，2024，60（9）：272-282。

参考文献

[1] 浩、涌、涌等[J] ●●●●。光学学报, 2022, 42(19): 39-49.
SHA H，LIU Y，WANG Y T，等.基于二维图像和三维几何约束的神经网络单目室内深度估计方法[J]。中国光学学报，2022，42（19）：39-49。
[2] 胡春生, 闫小鹏, 魏红星, 等. 基于立体视觉的目标检测与轨迹预测研究综述[J] ●●●●。计算机工程与应用, 2022，58（3）:50-65。
胡春生，颜晓平，魏海霞，等.基于立体视觉的目标检测与轨迹预测综述[J]。计算机工程与应用，2022，58（3）：50-65。
[3] 马建红, 王稀瑶, 陈永霞, 等. 自动驾驶中图像与点云融合方法研究综述[J] ●●●●。郑州大学学报(理学版), 2022, 54(6): 24-33.
马建华，王晓英，陈燕霞，等.自动驾驶中图像与点云融合方法的研究综述[J]。郑州大学学报（科学版），2022，54（6）：24-33。
[4] 张王, 高晓蓉, 李金龙, 等. 基于二步相移法的钢轨三维面形复原[J] ●●●●。激光与光电子学进展, 2022, 59(10): 1015003.
张伟，高晓瑞，李俊林，等.基于两步相移法的钢轨三维曲面重构[J]。激光与光电子进展，2022，59（10）：1015003。
[5] 轩、娟、娟等[J] ●●●●。激光与光电子学进展, 2023, 60(14): 95-103.
丁志霞，张杰，李霞，等。用于图像超分辨率的轻量级注意力引导网络[J]。激光与光电子进展，2023，60（14）：95-103。
[6] CHARLES R Q，HAO S，MO K C，et al.PointNet:三维分类和分割的点集深度学习[C]//2017 IEEE计算机视觉和模式识别会议（CVPR），2017年7月21日至26日，美国夏威夷州檀香山。纽约：IEEE，2017:77-85。
[7] CHARLESR Q，LI Y，HAO S，et al.PointNet++：度量空间中点集的深度分层特征学习[C]//2008 IEEE神经信息处理系统国际会议，美国加利福尼亚州长滩，2017:5105-5114。
[8] YUAN W T，KHOT T，HELD D，et al.PCN:点完成网络[C]//2018年国际3D视觉会议（3DV），2018年9月5日至8日，意大利维罗纳。纽约：IEEE，2018:728-737。
[9] 黄Z，于毅，徐杰，等.PF-Net：用于三维点云完成的点分形网络[C]//2020 IEEE计算机视觉和模式识别会议，美国西雅图，2020：7662-7670。
[10] 林天勇，道拉·P，吉尔希克·R，等.用于目标检测的特征金字塔网络[C]//2017 IEEE计算机视觉与模式识别会议，2017:2117-2125。
[11] 张杰，陈X，蔡Z，等.基于GAN反演的无监督三维形状生成[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2021:1768-1777。
[12] 孙娅楠, 林文斌. 梯度下降法在机器学习中的应用[J] ●●●●。苏州科技大学学报 (自然科学版), 2018, 35(2): 26-31.
孙燕恩，林文斌.梯度下降法在机器学习中的应用[J]。苏州科技大学学报（自然科学版），2018，35（2）：26-31。
[13] WEN X，XIANG P，HAN Z，et al.PMP Net：通过学习多步点移动路径完成点云[C]//IEEE/CFF计算机视觉和模式识别会议论文集，2021:7443-7452。
[14] 文X，向平，韩忠，等.PMP-Net++：基于变换增强的多步点移动路径的点云补全[J]。IEEE模式分析和机器智能汇刊，2022，45（1）：852-867。
[15] 唐J，龚Z，YI R，等.LAKe-Net：通过定位对齐的关键点完成拓扑感知点云[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2022:1726-1735。
[16] TCHAPMI L I，KOSARAJU V，REZATOFIFIGHI H，et al.TopNet:结构化点云解码器[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:383-392。
[17] YU L，LI X，FU C W，et al.PU-Net：点云上采样网络[C]//IEEE计算机视觉与模式识别会议论文集，2018:2790-2799。
[18] GROUEIX T，FISHER M，KIM V G，et al.学习3D曲面生成的纸介质方法[C]//2018 IEEE/CVF计算机视觉和模式识别会议论文集，美国犹他州盐湖城，2018:216-224。
[19] 王Y，孙玉乙，刘志伟，等。点云学习的动态图CNN[J]。ACM图形汇刊，2018，38（5）：1-12。
[20] HANG W，MIAO Y，FU R C.利用多尺度特征融合和跨区域关注完成点云[J]。图像和视觉计算，2021，111:104193。
[21]HUA B S，TRAN M K，YEUNG S K.点态卷积神经网络[C]//IEEE计算机视觉与模式识别会议论文集，2018:984-993。
[22]CHIBANE J，ALLDIECK T，PONS-MOLL G。特征空间中用于3D形状重建和完成的隐函数[C]//2020 IEEE/CVF计算机视觉和模式识别会议论文集，美国华盛顿州西雅图，2020：6970-6981。
[23]谢海忠，姚海霞，周思聪，等.GRNet：稠密点云网格化残差网络完成[C]//第十六届欧洲计算机视觉会议论文集。苏格兰格拉斯哥：施普林格，2020年：365-381。
[24]王X，ANG M H，LEE G H.利用边缘生成实现基于Voxel的形状完成网络[C]//IEEE/CVF国际计算机视觉会议论文集，2021:13189-13198。
[25]VASWANI A，SHAZEER N，PARMAR N，et al.注意力是你所需要的一切[C]//第31届神经信息处理系统国际会议论文集。美国长滩：NIPS，2017:6000-6010。
[26]PAN X R，XIA Z F，SONG S J，et al.用点成形器进行三维物体检测[C]//2021 IEEE/CVF计算机视觉和模式识别会议论文集，美国田纳西州纳什维尔，2021:7463-7472。
[27]赵华生，姜磊，贾建英，等.点变压器[EB/OL]。[2021-06-20]. https://arxiv。org/pdf/2012。09164.pdf格式。
[28]YU X M，RAO Y M，WANG Z Y，et al.Pointr：使用几何软件变压器完成不同的点云计算[C]//2021年IEEE/CVF计算机视觉国际会议论文集，加拿大魁北克省蒙特利尔，2021:12478-12487。
[29]LIN J J，RICKERT M，PERZYLO A，et al.Pctmanet:点云变换器与基于变形地图集的点生成网络，用于密集点云完成[C]//IEEE/RSJ智能机器人与系统国际会议论文集，布拉格，捷克共和国，2021:5657-5663。
[30] 麻卫峰, 王金亮, 张建鹏, 等. 一种改进法向量估算的点云特征提取[J] ●●●●。测绘科学, 2021, 46(11): 84-90.
马伟夫，王立杰，张建平，等.基于改进法向量的点云特征提取[J]。测绘科学，2021，46（11）：84-90。
[31]ACHLIOPTAS P，DIAMANTI O，MITLIAGKAS I，et al.三维点云的学习表示和生成模型[C]//国际机器学习会议，2018:40-49。
[32] 曾安, 彭杰威, 刘畅, 等. 基于多尺度几何感知变压器的植物点云补全网络[J] ●●●●。农业工程学报, 2022, 38(4): 198-205.
ZENG A，PENG J W，LIU C，et al.基于多尺度几何感知点变换器的植物点云完成网络[J]。中国农业工程学会学报，2022，38（4）：198-205。
[33] 刘鹏南, 徐冬冬, 白春梦. 基于尺度不变特征变换的异源图像配准方法[J] ●●●●。激光与光电子学进展, 2021, 58(24): 164-173.
刘鹏，徐东东，白崇明.基于尺度不变特征变换的异构图像配准方法[J]。激光与光电子进展，2021，58（24）：164-173。
[34]FAN H，HAO S，GUIBAS L.从单个图像重建三维物体的点集生成网络[C]//IEEE计算机视觉和模式识别会议（CVPR），2017年。
[35]CHANG A X，FUNKHOURSER T，GUIBAS L等人，形状-
Net：一个信息丰富的三维模型库[J]。arXiv:1512.030122015年。
[36]周杰，王赫，魏杰，等.基于PAM8的光互连多项式非线性均衡器的自适应矩估计[J]。光学快报，2019，27（22）：32210-32216。
[37]WU S，LI G，DENG L，等.用于深度神经网络有效训练的L1-形式批量归一化[J]。IEEE神经网络和学习系统汇刊，2018，30（7）：2043-2051。
[38]ZENG Z，HUANG T，ZHENG W X.时变时滞递归神经网络和分段线性激活函数的多稳定性[J]。IEEE神经网络汇刊，2010，21（8）：1371-1377。
[39]赵毅，BIRDAL T，DENG H，等.三维点胶囊网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:1009-1018。
[40]湘平，温X，刘永生，等.雪花网：用skip-transformer进行雪花点反褶积的点云补全[C]//IEEE/CVF国际计算机视觉会议论文集，2021:5499-5509。