×

基于三维旋转平移等方差的单位球表示学习。 (英语) Zbl 1471.68284号

摘要:卷积是一种积分运算,它定义了一个函数的形状如何被另一个函数修改。这个强大的概念构成了深层神经网络中分层特征学习的基础。虽然在欧几里德几何中执行卷积相当简单,但它对其他拓扑空间的扩展——例如球体((mathbb{S}^2)或单位球((mathbb{B}^3))——带来了独特的挑战。在这部作品中,我们提出了一部小说体积卷积'可以有效地对\(\mathbb{B}^3\)中的任意函数进行建模和卷积的操作。我们为体积卷积基于Zernike多项式,并将其有效地实现为深度网络中的可微层和易插拔层。通过构造,我们的公式导出了一个新的公式来测量(mathbb{B}^3)中函数围绕任意轴的对称性,这在函数分析任务中很有用。我们在一个可行的用例(即3D对象识别)上证明了所建议的体积卷积操作的有效性。

MSC公司:

68T45型 机器视觉和场景理解
68T05型 人工智能中的学习和自适应系统
68单位05 计算机图形;计算几何(数字和算法方面)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Agathos,A.、Pratikakis,I.、Papadakis,P.、Perantonis,S.J.、Azariadis,P.N.和Sapidis,N.S.(2009年)。使用基于图形的表示检索三维铰接对象。2009年3DOR(第29-36页)。
[2] Ankerst,M.、Kastenmüller,G.、Kriegel,H.P.和Seidl,T.(1999)。空间数据库中用于相似性搜索和分类的三维形状直方图。在空间数据库国际研讨会上(第207-226页)。柏林:斯普林格。
[3] 阿伯特,K。;斯奈德,WE;Burkhardt,H。;Hirzinger,G.,仿射不变傅立叶描述符在三维物体识别中的应用,IEEE模式分析和机器智能汇刊,12,7640-647(1990)·doi:10.1009/34.56206
[4] Bai,S.、Bai,X.、Zhou,Z.、Zhang,Z.和Latecki,L.J.(2016)。礼物:一个实时可扩展的3D形状搜索引擎。2016年IEEE计算机视觉和模式识别会议(CVPR)(第5023-5032页)。电气与电子工程师协会。
[5] Boomsma,W.和Frellsen,J.(2017)。球面卷积及其在分子模拟中的应用。I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan和R.Garnett(编辑),《神经信息处理系统的进展》(第30卷,第3433-3443页)。Curran Associates公司。http://papers.nips.cc/paper/6935-spherical-convolutions-and-ther-application-in-molecular-modelling.pdf。
[6] 博斯卡尼,D。;Masci,J。;梅尔齐,S。;布朗斯坦,MM;卡斯特拉尼,美国。;Vandergheynst,P.,使用局部光谱卷积网络学习变形形状的类特定描述符,计算机图形论坛,34,13-23(2015)·doi:10.1111/cgf.12693
[7] Boscaini,D.、Masci,J.、Rodolá,E.和Bronstein,M.(2016)。用各向异性卷积神经网络学习形状对应。《神经信息处理系统进展》(第3189-3197页)。
[8] Brock,A.、Lim,T.、Ritchie,J.M.和Weston,N.(2016年)。利用卷积神经网络进行生成和鉴别体素建模。arXiv预打印arXiv:1608.04236。
[9] MM Bronstein;布鲁纳,J。;LeCun,Y。;Szlam,A。;Vandergheynst,P.,《几何深度学习:超越欧几里德数据》,IEEE Signal Processing Magazine,34,4,18-42(2017)·doi:10.1109/MSP.2017.2693418
[10] Bruna,J.、Zaremba,W.、Szlam,A.和LeCun,Y.(2013年)。图上的谱网络和局部连通网络。arXiv预打印arXiv:1312.6203。
[11] 坎特拉基斯,尼古拉斯,三维物体正交变换的完全矩不变量和姿态确定,Informatik aktuell,339-350(1996),柏林,海德堡:施普林格-柏林-海德堡
[12] Canterakis,N.(1999年)。用于3D图像分析和识别的3D zernike矩和zernike仿射不变量。在第11届斯堪的纳维亚图像分析会议上,Citeser。
[13] 卡里埃,M。;Oudot,SY;Ovsjanikov,M.,《3D形状上点的稳定拓扑签名》,计算机图形论坛,34,1-12(2015)·doi:10.1111/cgf.12692
[14] Cohen,T.、Geiger,M.和Weiler,M.(2018a)。齐次空间上等变CNNS的一般理论。arXiv预印本arXiv:11811.02017。
[15] Cohen,T.S.、Geiger,M.、Koehler,J.和Welling,M.(2018b)。球形CNNS。在学习代表国际会议上。
[16] Defferrard,M.、Bresson,X.和Vandergheynst,P.(2016)。图上的卷积神经网络与快速局域谱滤波。D.D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett(编辑),《神经信息处理系统的进展》(第29卷,第3844-3852页)。Curran Associates公司。http://papers.nips.cc/paper/6081-convolutional-neural-networks-on-graphs-with-fast-localized-spectral-filtering.pdf。
[17] El Mallahi,M。;Zouhri,A。;El Afar,A。;塔希里,A。;Qjidaa,H.,用于2D和3D图像识别的Radial Hahn矩不变量,国际自动化与计算杂志,15,3277-289(2017)·doi:10.1007/s11633-017-1071-1
[18] 埃斯特,M。;惠普公司Kriegel;桑德,J。;Xu,X.,在有噪声的大型空间数据库中发现簇的基于密度的算法,KDD,96,226-231(1996)
[19] Esteves,C.、Allen-Blanchette,C.,Makadia,A.和Danilidis,K.(2018年)。学习so(3)球面CNNS的等变表示。在欧洲计算机视觉会议上。
[20] 弗卢瑟,J。;Boldys,J。;Zitová,B.,矩形式在任意维数下的旋转和模糊不变性,IEEE模式分析和机器智能汇刊,25,2,234-246(2003)·doi:10.1109/TPAMI.2003.1177154
[21] Fotenos,AF;亚利桑那州斯奈德;格顿,LE;莫里斯,JC;Buckner,RL,《老龄化和AD中横截面和纵向脑容量下降的标准估计》,《神经病学》,64,6,1032-1039(2005)·doi:10.1212/01.WNL.0000154530.72969.11
[22] Frome,A.、Huber,D.、Kolluri,R.、Bülow,T.和Malik,J.(2004)。使用区域点描述符识别距离数据中的对象。在欧洲计算机视觉会议上(第224-237页)。柏林:斯普林格·Zbl 1098.68766号
[23] Furuya,T.和Ohbuchi,R.(2016)。用于3D模型检索的局部3D几何特征的深度聚合。在BMVC中。
[24] Garcia-Garcia,A.,Gomez-Donoso,F.,Garcia-Rodriguez,J.,Orts-Escolano,S.,Cazorla,M.,&Azorin-Lopez,J..(2016)。Pointnet:用于实时对象类识别的3D卷积神经网络。2016年国际神经网络联合会议(IJCNN)(第1578-1584页)。电气与电子工程师协会。
[25] Guo,Xuan,刚性变换下的三维不变矩,图像和模式的计算机分析,518-522(1993),柏林,海德堡:施普林格-柏林-海德堡,柏林,海德堡
[26] 郭毅。;Bennamoun,M。;Sohel,F。;卢,M。;Wan,J。;Kwok,NM,《3D局部特征描述符的综合性能评估》,《国际计算机视觉杂志》,116,1,66-89(2016)·doi:10.1007/s11263-015-0824-y
[27] He,K.,Zhang,X.,Ren,S.,&Sun,J.(2016)。用于图像识别的深度残差学习。《IEEE计算机视觉和模式识别会议论文集》(第770-778页)。
[28] Henaff,M.、Bruna,J.和LeCun,Y.(2015)。图结构数据上的深度卷积网络。arXiv预打印arXiv:1506.05163。
[29] 胡,MK,基于不变矩的视觉模式识别,IRE信息理论汇刊,8,2,179-187(1962)·Zbl 0102.13304号 ·doi:10.1109/TIT.1962.1057692
[30] Ilse,M.、Tomczak,J.M.和Welling,M.(2018)。基于注意力的深度多实例学习。arXiv预打印arXiv:1802.04712。
[31] 简森,MH;AJ詹森;别克斯,EJ;JO贝斯科斯;Duits,R.,《3D图像可逆方向分数的设计与处理》,《数学成像与视觉杂志》,60,9,1427-1458(2018)·Zbl 1433.94012号 ·doi:10.1007/s10851-018-0806-0
[32] Johns,E.、Leutenger,S.和Davison,A.J.(2016)。用于主动多视图识别的图像序列的成对分解。2016年IEEE计算机视觉和模式识别会议(CVPR)(第3813-3822页)。电气与电子工程师协会。
[33] Kanezaki,A.、Matsushita,Y.和Nishida,Y.(2016)。Rotationnet:使用无监督视角的多视图进行联合对象分类和姿势估计。arXiv预打印arXiv:1603.06208。
[34] 密歇根州哈利勒;Bayoumi,MM,二维形状识别的二进小波仿射不变函数,IEEE模式分析与机器智能汇刊,23,10,1152-1164(2001)·数字对象标识代码:10.1109/34.954605
[35] Khan,S.H.、Hayat,M.和Barnes,N.(2018年)。变分自动编码器的对抗训练,用于高保真图像生成。2018年IEEE计算机视觉应用冬季会议(WACV)(第1312-1320页)。电气与电子工程师协会。
[36] Klokov,R.和Lempitsky,V.(2017年)。逃离细胞:用于识别3D点云模型的深层KD网络。2017年IEEE计算机视觉国际会议(ICCV)(第863-872页)。电气与电子工程师协会。
[37] Kondor,R.(2018)。N体网络:一种用于学习原子势的协变层次神经网络架构。arXiv预印arXiv:1803.01588。
[38] Kondor,R.、Lin,Z.和Trivedi,S.(2018年)。Clebsch-gordan网:一种全傅里叶空间球面卷积神经网络。arXiv预印本arXiv:1806.09231。
[39] Krizhevsky,A.、Sutskever,I.和Hinton,G.E.(2012)。基于深度卷积神经网络的Imagenet分类。F.Pereira、C.J.C.Burges、L.Bottou和K.Q.Weinberger(编辑),《神经信息处理系统的进展》(第25卷,第1097-1105页)。Curran Associates公司。http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf。
[40] Kurtek,S.、Klassen,E.、Ding,Z.和Srivastava,A.(2010年)。一种用于三维物体形状分析的新型黎曼框架。2010年IEEE计算机学会计算机视觉和模式识别会议(第1625-1632页)。电气与电子工程师协会。
[41] Lavoué,G.,用于稳健局部形状检索的bagof-words描述符组合,《可视化计算机》,第28、9、931-942页(2012年)·doi:10.1007/s00371-012-0724-x
[42] Li,血红蛋白;黄,TZ;Zhang,Y。;刘,XP;Gu,TX,Chebyshev型方法和预处理技术,应用数学与计算,218,2,260-270(2011)·Zbl 1226.65024号 ·doi:10.1016/j.amc.2011.05.036
[43] Li,J.、Chen,B.M.和Lee,G.H.(2018)。So-net:点云分析的自组织网络。IEEE计算机视觉和模式识别会议记录(第9397-9406页)。
[44] Li,Y.、Pirk,S.、Su,H.、Qi,C.R.和Guibas,L.J.(2016)。FPNN:3D数据的现场探测神经网络。D.D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett(编辑),《神经信息处理系统的进展》(第29卷,第307-315页)。Curran Associates公司。http://papers.nips.cc/paper/6416-fpnn-fieldprobing-neural-networks-for-3d-data.pdf。
[45] 林,C。;Chellappa,R.,使用傅里叶描述符对部分二维形状进行分类,IEEE模式分析和机器智能汇刊,5686-690(1987)·doi:10.1109/TPAMI.1987.4767963
[46] Liu,W.,Zhang,Y.-M.,Li,X.,Yu,Z.,Dai,B.,Zhao,T.,&Song,L.(2017)。深度超球面学习。I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan和R.Garnett(编辑),《神经信息处理系统的进展》(第30卷,第3950-3960页)。Curran Associates公司。http://papers.nips.cc/paper/6984-deep-hyperspherical-learning.pdf。
[47] Maron,H.、Ben-Hamu,H.,Shamir,N.和Lipman,Y.(2018年)。不变和等变图网络。arXiv预打印arXiv:1812.09902。
[48] Masci,J.、Boscaini,D.、Bronstein,M.和Vandergheynst,P.(2015)。黎曼流形上的大地测量卷积神经网络。在IEEE计算机视觉研讨会国际会议论文集(第37-45页)。
[49] Maturana,D.和Scherer,S.(2015年)。Voxnet:用于实时对象识别的3D卷积神经网络。2015年IEEE/RSJ智能机器人和系统国际会议(IROS)(第922-928页)。电气与电子工程师协会。
[50] Monti,F.、Boscaini,D.、Masci,J.、Rodola,E.、Svoboda,J.和Bronstein,M.M.(2017)。使用混合模型CNNS对图和流形进行几何深度学习。IEEE计算机视觉和模式识别会议记录(第5115-5124页)。
[51] 奥萨达,R。;Funkhouser,T。;Chazelle,B。;Dobkin,D.,形状分布,ACM图形事务(TOG),21,4,807-832(2002)·Zbl 1331.68256号 ·数字对象标识代码:10.1145/571647.571648
[52] Papadakis,P.、Pratikakis,I.、Theoharis,T.、Passalis,G.和Perantonis,S.(2008)。使用高效紧凑的混合形状描述符进行三维对象检索。在欧洲制图三维物体检索研讨会上·Zbl 1119.68185号
[53] Qi,C.R.,Su,H.,Mo,K.,&Guibas,L.J.(2017a)。Pointnet:针对3D分类和分割的点集的深度学习。《计算机视觉与模式识别学报》(第1卷(2),第4页)。电气与电子工程师协会。
[54] Qi,C.R.、Su,H.、Nießner,M.、Dai,A.、Yan,M.和Guibas,L.J.(2016)。三维数据对象分类的体积和多视图CNNS。IEEE计算机视觉和模式识别会议记录(第5648-5656页)。
[55] Qi,C.R.,Yi,L.,Su,H.,&Guibas,L.J.(2017b)。Pointnet++:度量空间中点集的深度分层特征学习。I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan和R.Garnett(编辑),《神经信息处理系统的进展》(第30卷,第5099-5108页)。Curran Associates公司。http://papers.nips.cc/paper/7095-pointnet-deep-hierarchical-feature-learning-on-point-sets-in-a-metric-space.pdf。
[56] Ramasinghe,S.、Khan,S.和Barnes,N.(2019a)。体积卷积:单位球中的自动表示学习。arXiv预打印arXiv:1901.00616。
[57] Ramasinghe,S.,Khan,S.、Barnes,N.和Gould,S.(2019b)。混合卷积和合成,用于有效区分3D形状。arXiv预打印arXiv:1908.10209。
[58] Reininghaus,J.、Huber,S.、Bauer,U.和Kwitt,R.(2015)。拓扑机器学习的稳定多尺度核。IEEE计算机视觉和模式识别会议记录(第4741-4748页)。
[59] Reiss,T.(1992)。对2D和3D中的线性变换不变的特征。在第11届IAPR模式识别国际会议上。第三卷会议C:图像、语音和信号分析(第493-496页)。电气与电子工程师协会。
[60] Ronchi,C。;拉科诺(Iacono,R.)。;Paolucci,PS,“立方球”:求解球面几何偏微分方程的新方法,计算物理杂志,124,1,93-114(1996)·Zbl 0849.76049号 ·doi:10.1006/jcph.1996.0047
[61] Sedaghat,N.、Zolfaghari,M.、Amiri,E.和Brox,T.(2016)。用于3D物体识别的方向增强体素网。arXiv预打印arXiv:1604.03351。
[62] Shi,B。;Bai,S。;Zhou,Z。;Bai,X.,Deeppano:三维形状识别的深度全景表示,IEEE Signal Processing Letters,22,12,2339-2343(2015)·doi:10.1109/LSP.2015.2480802
[63] Simonovsky,M.和Komodakis,N.(2017年)。图上卷积神经网络中的动态边条件滤波器。在CVPR诉讼程序中。
[64] Su,H.,Jampani,V.,Sun,D.,Maji,S.,Kalogerakis,E.,Yang,M.H.,&Kautz,J.(2018)。Splatnet:用于点云处理的稀疏晶格网络。《IEEE计算机视觉和模式识别会议论文集》(第2530-2539页)。
[65] Su,H.、Maji,S.、Kalogerakis,E.和Learnd-Miller,E.(2015)。三维形状识别的多视点卷积神经网络。IEEE计算机视觉国际会议论文集(第945-953页)。
[66] Suk,T。;Flusser,J.,用于识别投影变形多边形的基于顶点的特征,模式识别,29,3,361-367(1996)·doi:10.1016/0031-3203(94)00094-8
[67] Tabia,H.、Laga,H.,Picard,D.和Gosselin,P.H.(2014)。用于3D形状匹配和检索的协方差描述符。IEEE计算机视觉和模式识别会议记录(第4185-4192页)。
[68] Tabia,H.、Picard,D.、Laga,H.和Gosselin,P.H.(2013)。用于三维形状检索的局部聚集张量的紧向量。在欧洲制图三维物体检索研讨会上。
[69] Tatsuma,A。;Aono,M.,《利用光谱聚类进行三维形状检索的多光谱描述符和增强》,《可视化计算机》,25,8,785-804(2009)·doi:10.1007/s00371-008-0304-2
[70] Thomas,N.、Smidt,T.、Kearnes,S.、Yang,L.、Li,L.,Kohlhoff,K.和Riley,P.(2018年)。张量场网络:三维点云的旋转和平移等效神经网络。arXiv预打印arXiv:1802.08219。
[71] Tieng,质量管理;Boles,WW,基于小波的仿射不变表示的应用,模式识别字母,16,12,1287-1296(1995)·doi:10.1016/0167-8655(95)00079-1
[72] Tombari,F.、Salti,S.和Di Stefano,L.(2010年)。局部曲面描述的直方图的唯一签名。在欧洲计算机视觉会议上(第356-369页)。柏林:斯普林格。
[73] Vranic,D.V.和Saupe,D.(2002)。使用球体上的复杂函数描述3D形状。2002年IEEE多媒体和博览会国际会议,2002年。2002年国际会议。IEEE会议录(第1卷,第177-180页)。
[74] Wang,Y.,Sun,Y.、Liu,Z.、Sarma,S.E.、Bronstein,M.M.和Solomon,J.M.(2018)。用于学习点云的动态图形CNN。arXiv预印arXiv:1801.07829。
[75] Weiler,M.、Geiger,M.和Welling,M.,Boomsma,W.,&Cohen,T.(2018年)。3D可操纵CNNS:学习体积数据中的旋转等变特征。arXiv预印本arXiv:1807.02547。
[76] Worrall,D.E.和Brostow,G.J.(2018年)。立方体:与三维旋转和平移相等。在欧洲计算机视觉会议上。
[77] Worrall,D.E.、Garbin,S.J.、Turmukhambetov,D.和Brostow,G.J.(2017年)。谐波网络:深度平移和旋转等方差。2017年IEEE计算机视觉和模式识别会议(CVPR)(第7168-7177页)。电气与电子工程师协会。
[78] Wu,J.、Zhang,C.、Xue,T.、Freeman,B.和Tenenbaum,J.(2016)。通过三维生成-矢量建模学习物体形状的概率潜在空间。D.D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett(编辑),《神经信息处理系统的进展》(第29卷,第82-90页)。Curran Associates公司。http://papers.nips.cc/paper/6096-learning-a-probabilistic-latent-space-of-object-shapes-via-3d-generative-adversarial-modeling.pdf。
[79] Wu,Z.、Song,S.、Khosla,A.、Yu,F.、Zhang,L.、Tang,X.和Xiao,J.(2015)。3D形状:立体形状的深度表示。《IEEE计算机视觉和模式识别会议论文集》(第1912-1920页)。
[80] Xie,J.、Fang,Y.、Zhu,F.和Wong,E.(2015)。Deepshape:深度学习的形状描述符,用于3D形状匹配和检索。2015年IEEE计算机视觉和模式识别会议(CVPR)(第1275-1283页)。电气与电子工程师协会。
[81] Yang,B。;弗卢瑟,J。;Suk,T.,Gaussian-hermite矩的3D旋转不变量,《模式识别快报》,54,18-26(2015)·doi:10.1016/j.patrec.2014.11.014
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。