金、彭飞；赖天豪；赖荣杰；董斌 NPTC-net：点云上的窄带并行传输卷积神经网络。 （英语） Zbl 1485.68232号 科学杂志。计算。 90，第1号，第39号论文，20页（2022年）. 摘要：卷积在信号和图像处理、分析和识别的各种应用中起着至关重要的作用。它也是卷积神经网络的主要组成部分。在流形结构的点云上设计合适的卷积神经网络可以继承并增强CNN在分析和处理点云数据方面的最新进展。然而，一个主要的挑战是定义一种适当的方法，将滤波器“扫过”点云，作为平面卷积的自然推广，同时反映点云的几何结构。在本文中，我们考虑通过在点云上采用并行传输来推广卷积。灵感来自基于三角曲面的方法[S.C.舍舍克等，“并行传输卷积：流形上卷积神经网络的新工具”，预印本，arXiv:1805.07857]，我们提出了窄带并行传输卷积（NPTC），该卷积使用基于体素的点云数据窄带近似的特定连接。在此基础上，我们进一步提出了一种基于NPTC的深度卷积神经网络（称为NPTC-net）用于点云分类和分割。综合实验表明，该NPTC-net在点云分类和分割方面取得了与当前最新方法相似或更好的结果。 MSC公司： 68T07型 人工神经网络与深度学习 68T45型 机器视觉和场景理解 68单位05 计算机图形；计算几何（数字和算法方面） 68平方英寸10 图像处理的计算方法 关键词：几何深度学习；计算机视觉；平行运输；点云；几何卷积 软件：凯莱网；NPTC-网络；KPConv公司；PointConv公司；TensorFlow公司；PFCNN公司；PointCNN（美国有线电视新闻网）；PointNet（点网）；SEG云；亚当 PDF格式BibTeX公司 XML格式引用 \textit{P.Jin}等人，《科学杂志》。计算。90，第1号，第39号论文，20页（2022年；Zbl 1485.68232） 全文： 内政部 arXiv公司 参考文献： [1] Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，Chen，Z.，Citro，C.，Corrado，G.S.，Davis，A.，Dean，J.，Devin，M.等人：Tensorflow:异构分布式系统上的大规模机器学习。arXiv预印arXiv:1603.04467（2016） [2] Adalsteinson，D。；Sethian，JA，传播接口的快速水平集方法，J.Compute。物理。，118, 2, 269-277 (1995) ·Zbl 0823.65137号 ·doi:10.1006/jcph.1995.1098 [3] Armeni，I.、Sener，O.、Zamir，A.R.、Jiang，H.、Brilakis，I.，Fischer，M.、Savarese，S.：大型室内空间的三维语义解析。2016年IEEE计算机视觉和模式识别会议（CVPR），第1534-1543页。IEEE Computer Society，Los Alamitos，CA，USA（2016），10.1109/CVPR.2016.170。doi:10.1109/CVPR.2016.170 [4] Bindu，V.，Nair，K.R.：用于形状提取的快速窄带水平集公式。摘自：第五届数字信息和网络技术应用国际会议（ICADIWT 2014），第137-142页。IEEE（2014） [5] Boscaini，D.，Masci，J.，Rodolá，E.，Bronstein，M.：利用各向异性卷积神经网络学习形状对应。摘自：D.D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon、R.Garnett（编辑）《神经信息处理系统进展》29，第3189-3197页。Curran Associates，Inc.（2016年）。http://papers.nips.cc/paper/6045-learning-shape-correspondence-with-anistroptic-convolutional-neural-networks.pdf [6] MM Bronstein；布鲁纳，J。；LeCun，Y。；Szlam，A。；Vandergheynst，P.，《几何深度学习：超越欧几里德数据》，IEEE信号处理。Mag.，34，4，18-42（2017）·doi:10.10109/MSP.2017.2693418文件 [7] Bruna，J.、Zaremba，W.、Szlam，A.、Lecun，Y.：图上的谱网络和局部连通网络。In:国际学习代表大会（ICLR2014），CBLS，2014年4月（2014） [8] 曹伟。；严，Z。；何，Z。；He，Z.，《几何深度学习综合调查》，IEEE Access，8，35929-35949（2020）·doi:10.1109/ACCESS.2020.2975067 [9] Defferrard，M.，Bresson，X.，Vandergheynst，P.：具有快速局部频谱滤波的图上的卷积神经网络。收录：D.D.Lee，M.Sugiyama，U.V.Luxburg，I.Guyon，R.Garnett（编辑）《神经信息处理系统进展》29，第3844-3852页。Curran Associates，Inc.（2016年）。http://papers.nips.cc/paper/6081-convolutional-neural-networks-on-graphs-with-fast-localized-spectral-filtering.pdf [10] Dong，B.，紧小波框架下图的稀疏表示及其应用，应用。计算。谐波分析。，42, 3, 452-479 (2017) ·兹比尔1366.42033 ·doi:10.1016/j.aca.2015.09.005 [11] Eldar，Y。；林登鲍姆，M。；波拉特，M。；Zeevi，YY，渐进式图像采样的最远点策略，IEEE Trans。关于图像处理。，6, 9, 1305-1315 (1997) ·doi:10.1109/83.623193 [12] Franke，R.，Nielson，G.M.：分散数据插值和应用：教程和调查。Geomet公司。模型。第131-160页（1991） [13] Goodfellow，I.，Bengio，Y.，Courville，A.：深度学习。麻省理工学院出版社（2016）·Zbl 1373.68009号 [14] GJ格雷维拉；Udupa，JK，《三维图像插值方法的客观比较》，IEEE Trans。医学成像，17，4，642-652（1998）·数字对象标识代码：10.1109/42.730408 [15] 丹麦哈蒙德；范德盖恩斯特，P。；Gribonval，R.，通过谱图理论研究图上的小波，应用。计算。谐波分析。，30, 2, 129-150 (2011) ·Zbl 1213.42091号 ·doi:10.1016/j.acha.2010.04.005 [16] Helgason，S.：微分几何，李群，对称空间，第80卷。学术出版社（1979）·Zbl 0451.53038号 [17] Henaff，M.、Bruna，J.、LeCun，Y.：图形结构数据上的深卷积网络。arXiv预印arXiv:1506.05163（2015） [18] Hojjatoleslami，S。；Kittler，J.，《区域增长：一种新方法》，IEEE Trans。图像处理。，7, 7, 1079-1084 (1998) ·数字对象标识代码：10.1109/83.701170 [19] Jiang，M.、Zhong，Y.、Wang，X.、Huang，X.和Guo，R.：使用窄带水平集和快速高斯变换改进非参数图像分割（2012） [20] Katznelson，Y.：谐波分析导论。剑桥大学出版社（2004）·Zbl 1055.43001号 [21] Kingma，D.P.，Ba，J.：亚当：一种随机优化方法。参见：Y.Bengio，Y.LeCun（编辑）第三届国际学习代表大会，ICLR 2015，美国加利福尼亚州圣地亚哥，2015年5月7日至9日，会议记录（2015）。arXiv:1412.6980 [22] Klokov，R.，Lempitsky，V.：逃离细胞：用于识别三维点云模型的深层kd-网络。2017年IEEE国际计算机视觉会议（ICCV），第863-872页。IEEE计算机协会，美国加利福尼亚州洛斯阿拉米托斯（2017）。10.1109/ICCV.2017.99。doi:10.1109/ICCV.2017.99 [23] Knebelman，M.：相对平行空间。安。数学。第387-399页（1951年）·兹比尔0042.40502 [24] Kobayashi，S.，Nomizu，K.：微分几何基础，第2卷。纽约跨学科出版商（1969年）·Zbl 0175.48504号 [25] Koren，Y。；贝尔·R。；Volinsky，C.，推荐系统的矩阵分解技术，计算机，42，8，30-37（2009）·doi:10.1109/MC.2009.263 [26] 赖，R。；梁，J。；Zhao，H.，求解点云上偏微分方程的局部网格方法，逆Prob。成像，7，3，737-755（2013）·Zbl 1273.65034号 ·doi:10.3934/ipi.2013.7.737 [27] LeCun，Y.、Bengio，Y.和Hinton，G.：深度学习。《自然》521（7553），436（2015） [28] 列维，R。；蒙蒂，F。；布列松，X。；Bronstein，MM，Cayleynets:带复杂有理谱滤波器的图卷积神经网络，IEEE Trans。信号。工艺。，67, 1, 97-109 (2019) ·Zbl 1415.68169号 ·doi:10.1109/TSP.2018.2879624 [29] Li，J.，Chen，B.M.，Hee Lee，G.：So-net：点云分析的自组织网络。In:IEEE计算机视觉和模式识别会议（2018） [30] Li，Y.，Bu，R.，Sun，M.，Wu，W.，Di，X.，Chen，B.：Pointcnn：X变换点上的卷积。收录于：S.Bengio、H.Wallach、H.Larochelle、K.Grauman、N.Cesa-Bianchi、R.Garnett（编辑）《神经信息处理系统进展》31，第820-830页。Curran Associates，Inc.（2018年）。http://papers.nips.cc/paper/7362-pointcnn-convolution-on-x-transformed-points.pdf [31] Li，Y.，Ma，L.，Zhong，Z.，Liu，F.，Chapman，M.A.，Cao，D.，Li，J.：自主驾驶中激光雷达点云的深度学习：综述。IEEE神经网络和学习系统汇刊（2020年） [32] 刘伟。；Sun，J。；李伟（Li，W.）。；胡，T。；Wang，P.，《点云深度学习及其应用：调查》，Sensors，19，19，4188（2019）·doi:10.3390/s19194188 [33] 洛伦森，WE；Cline，HE，Marching cubes:一种高分辨率三维曲面构造算法，ACM符号图计算机图形，21，4，163-169（1987）·doi:10.1145/37402.37422 [34] Mao，J.，Wang，X.，Li，H.：用于三维点云理解的插值卷积网络。摘自：IEEE计算机视觉国际会议记录，第1578-1587页（2019年） [35] Masci，J.，Boscaini，D.，Bronstein，M.M.，Vandergheynst，P.：黎曼流形上的大地测量卷积神经网络。参加：IEEE国际计算机视觉会议（ICCV）研讨会（2015年） [36] Monti，F.、Boscaini，D.、Masci，J.、Rodola，E.、Svoboda，J.和Bronstein，M.M.：使用混合模型cnns对图和流形进行几何深度学习。In:IEEE计算机视觉和模式识别会议（2017） [37] Morgan，HL，《化学结构独特机器描述的生成——化学文摘服务开发的技术》，J.Chem。文件。，5, 2, 107-113 (1965) ·文件编号：10.1021/c160017a018 [38] Osher，S.，Fedkiw，R.：水平集方法和动态隐式曲面，第153卷。Springer科学与商业媒体（2006）·Zbl 1026.76001号 [39] Osher，S。；Sethian，JA，曲率相关速度的前沿传播：基于hamilton-jacobi公式的算法，J.Comput。物理。，79, 1, 12-49 (1988) ·Zbl 0659.65132号 ·doi:10.1016/0021-9991（88）90002-2 [40] Pal，S.K.，Mitra，S.：多层感知器，模糊集，分类（1992） [41] Qi，C.R.，Su，H.，Mo，K.，Guibas，L.J.：点网：三维分类和分割的点集深度学习。In:IEEE计算机视觉和模式识别会议（2017） [42] Qi，C.R.，Yi，L.，Su，H.，Guibas，L.J.：Pointnet++：度量空间中点集的深度分层特征学习。收录于：I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan、R.Garnett（编辑）《神经信息处理系统进展》30，第5099-5108页。Curran Associates，Inc.（2017年）。http://papers.nips.cc/paper/7095-pointnet-deep-hierarchical-feature-learning-on-point-sets-in-a-metric-space.pdf [43] Robbins，H.，Monro，S.：一种随机近似方法。《数理统计年鉴》第400-407页（1951年）·Zbl 0054.05901号 [44] 罗森塔尔，P。；Linsen，L.，使用pde从非结构化基于点的体积数据中提取平滑曲面，IEEE Trans。目视检查。计算。图表。，14, 6, 1531-1546 (2008) ·doi:10.1109/TVCG.2008.164 [45] Rosenthal，P.，Molchanov，V.，Linsen，L.：从非结构化基于点的体积数据中提取曲面的窄带水平集方法 [46] Schonsheck，S.C.、Dong，B.、Lai，R.：并行传输卷积：流形上卷积神经网络的新工具。CoRR abs/1805.07857（2018）。arXiv:1805.07857 [47] 塞提安，JA，《单调前进前沿的快速行进水平集方法》，继续。国家。阿卡德。科学。，93, 4, 1591-1595 (1996) ·Zbl 0852.65055号 ·doi:10.1073/pnas.93.4.1591 [48] 肖特恩，C。；Khoshgoftaar，TM，《深度学习图像数据增强调查》，J.Big data，6，1，1-48（2019）·doi:10.1186/s40537-019-0197-0 [49] Tatarchenko，M.，Park，J.，Koltun，V.，Zhou，Q.Y.：三维密集预测的切线卷积。In:IEEE计算机视觉和模式识别会议（2018） [50] Tchapmi，L.，Choy，C.，Armeni，I.，Gwak，J.，Savarese，S.：Segcloud:三维点云的语义分割。2017年国际3D视觉会议（3DV），第537-547页（2017）。10.1109/3DV.2017.0067年10月 [51] Thomas，H.，Qi，C.R.，Deschaud，J.E.，Marcotegui，B.，Goulette，F.，Guibas，L.J.：Kpconv：点云的柔性和可变形卷积。摘自：IEEE计算机视觉国际会议记录，第6411-6420页（2019年） [52] Wang，C.，Samari，B.，Siddiqi，K.：用于点集特征学习的局部谱图卷积。参加：欧洲计算机视觉会议（2018） [53] Wang，S.，Suo，S.、Ma，W.C.、Pokrovsky，A.、Urtasun，R.：深参数连续卷积神经网络。在：《IEEE计算机视觉和模式识别会议论文集》，第2589-2597页（2018） [54] Wang，Y.、Sun，Y.，Liu，Z.、Sarma，S.E.、Bronstein，M.M.、Solomon，J.M.：用于学习点云的动态图CNN。CoRR abs/1801.07829（2018）。arXiv:1801.07829 [55] Wu，W.，Qi，Z.，Li，F.：Pointconv：三维点云上的深卷积网络。CoRR abs/1811.07246（2018年）。arXiv公司：1811.07246 [56] Wu，Z.，Song，S.，Khosla，A.，Yu，F.，Zhang，L.，Tang，X.，Xiao，J.：三维形状：立体形状的深度表示。In:IEEE计算机视觉和模式识别会议（2015） [57] Xu，Y.，Fan，T.，Xu，M.，Zeng，L.，Qiao，Y.：蜘蛛侠：使用参数化卷积滤波器对点集进行深度学习。参加：欧洲计算机视觉会议（2018） [58] Yang，Y.、Liu，S.、Pan，H.、Liu、Y.、Tong，X.：Pfcnn：使用平行框架的三维曲面上的卷积神经网络。摘自：IEEE/CVF计算机视觉和模式识别会议记录，第13578-13587页（2020年） [59] Yang，Z.，Litany，O.，Birdal，T.，Sridhar，S.，Guibas，L.：学习三维形状的连续测地卷积。摘自：IEEE/CVF计算机视觉应用冬季会议记录，第134-144页（2021年） [60] Yi，L.，Kim，V.G.，Ceylan，D.，Shen，I.C.，Yan，M.，Su，H.，Lu，C.，Huang，Q.，Sheffer，A.，Guibas，L.：三维形状集合中区域注释的可扩展活动框架。ACM事务处理。图表。35(6), 210:1-210:12 (2016). 10.1145/2980179.2980238. doi:10.1145/2980179.2980238 [61] Zhang，C.，Luo，W.，Urtasun，R.：三维点云实时语义分割的有效卷积。摘自：2018年国际3D视觉会议（3DV），第399-408页。IEEE（2018） [62] 赵，H.，《程函方程的快速扫掠方法》，数学。计算。，74, 250, 603-627 (2005) ·Zbl 1070.65113号 ·doi:10.1090/S0025-5718-04-01678-3 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。