阿伦·穆昆丹；乔戈斯·托利亚斯；安德烈·布尔苏克；埃尔维·Jégou；安吉·查姆 理解并改进内核局部描述符。 （英语） Zbl 1477.68400号 国际期刊计算。视觉。 127，编号11-12，1723-1737（2019）. 摘要：我们提出了一种基于像素梯度的有效匹配核的多核局部匹配描述符。它结合了梯度位置和方向的两个参数化，每个参数化都为不同类型的斑块配准错误提供了鲁棒性：极坐标参数化用于斑块主导方向检测中的噪声，笛卡尔参数化用于特征点的不精确定位。结合描述符空间的白化，即在有监督或无监督的情况下学习，性能显著提高。我们分析了白化对补丁相似性的影响，并证明了其语义意义。我们的无监督变体是在不需要标记数据的情况下构建的性能最好的描述符。尽管所提出的描述符很简单，但它在许多不同的任务上与深度学习方法有很好的竞争。 MSC公司： 68T45型 机器视觉和场景理解 软件：布里斯克；MatchNet（匹配网络）；HP补丁；冲浪；SIFT公司；L2-网络；PCA-SIFT公司 PDF格式BibTeX公司 XML格式引用 \textit{A.Mukundan}等人，国际计算机杂志。视觉。127，编号11-1212723-1737（2019；兹bl 1477.68400） 全文： 内政部 arXiv公司 参考文献： [1] Ahonen，T.、Matas，J.、He，C.和Pietikäinen，M.（2009年）。具有局部二值模式直方图傅里叶特征的旋转不变图像描述。在斯堪的纳维亚图像分析会议上（第61-70页）。柏林。 [2] Alahi，A.、Ortiz，R.和Vandergheynst，P.（2012）。Reak：快速视网膜关键点。在CVPR中。 [3] Ambai，M.和Yoshida，Y.（2011年）。卡片：紧凑的实时描述符。在ICCV中。 [4] Arandjelovic，&R.，Zisserman，A.（2012）。要改进对象检索，每个人都应该知道三件事。在CVPR中。 [5] Babenko，A.和Lempitsky，V.（2015）。聚合深度卷积特征用于图像检索。在ICCV中。 [6] Balntas，V.、Johns，E.、Tang，L.和Mikolajczyk，K.（2016年）。PN-Net：用于学习局部图像描述符的连接三层深度网络。arXiv预打印arXiv:1601.05030 [7] Balntas，V.、Riba，E.、Ponsa，D.和Mikolajczyk，K.（2016年）。用三元组和浅卷积神经网络学习局部特征描述符。在BMVC中。 [8] Balntas，V.、Lenc，K.、Vedaldi，A.和Mikolajczyk，K.（2017年）。Hpatches：手工和学习的本地描述符的基准和评估。在CVPR中。 [9] Bau，D.、Zhou，B.、Khosla，A.、Oliva，A.和Torralba，A.（2017年）。网络解剖：量化深层视觉表征的可解释性。CVPR（第3319-3327页）。电气与电子工程师协会。 [10] Bay，H.、Ess，A.、Tuytelaars，T.和Van Gool，L.（2008）。加速稳健功能（SURF）。CVIU，110（3），346-359。 [11] Bo，L.、Ren，X.和Fox，D.（2010年）。用于视觉识别的内核描述符。以NIPS为单位。 [12] Bo，L.、Ren，X.和Fox，D.（2011年）。用于对象识别的深度内核描述符。在IROS中。 [13] Bo，L.和Sminchisescu，C.（2009年）。用于视觉识别的特征集之间的有效匹配内核。以NIPS为单位。 [14] Brown，M.、Hua，G.和Winder，S.（2011年）。局部图像描述符的判别学习。IEEE模式分析和机器智能汇刊，33（1），43-57·doi:10.1109/TPAMI.2010.54 [15] Brown，M.、Szeliski，R.和Winder，S.（2005）。使用多尺度定向面片的多图像匹配。CVPR，第1510-517页。 [16] Bursuc，A.、Tolias，G.和Jégou，H.Kernel。(2015). 具有隐式旋转匹配的局部描述符。在ICMR中。 [17] Calonder，M.、Lepetit，V.、Strecha，C.和Fua，P.（2010年）。简介：二进制稳健独立的基本特性。在ECCV中。 [18] Chum，O.（2015）。低维显式特征地图。在ICCV中。 [19] Delhumeau，J.、Gosselin，P.H.、Jégou，H.和Pérez，P.（2013）。重温VLAD图像表示。在ACM多媒体中。 [20] Dong，J.和Soatto，S.（2015）。本地描述符中的域大小池：Dsp-sift。在CVPR中。 [21] Forssén，P.E.和Lowe，D.G.（2007年）。最大稳定极值区域的形状描述符。2007年IEEE第11届计算机视觉国际会议。ICCV 2007（第1-8页）。电气与电子工程师协会 [22] Frahm，J.M.、Fite-Georgel，P.、Gallup，D.、Johnson，T.、Raguram，R.、Wu，C.等人（2010年）。在晴朗的日子建造罗马。在ECCV中。 [23] Han，X.，Leung，T.，Jia，Y.，Sukthankar，R.，&Berg，A.C.（2015）。Matchnet：统一基于补丁的匹配的特征和度量学习。在CVPR中。 [24] Heikkila，M.、Pietikainen，M.和Schmid，C.（2009年）。具有局部二进制模式的感兴趣区域的描述。模式识别，42（3），425-436·Zbl 1181.68237号 ·doi:10.1016/j.patcog.2008.08.014 [25] Heinly，J.、Schonberger，J.L.、Dunn，E.和Frahm，J.M.（2015）。重建世界*在六天内*（如雅虎一亿图像数据集所捕获）。在CVPR中。 [26] Jaderberg，M.、Simonyan，K.和Zisserman，A.等人（2015年）。空间变压器网络。InNIPS（第2017-2025页） [27] Jégou，H.和Chum，O.（2012）。图像检索中的负面证据和共现现象：主成分分析和白化的好处。在ECCV中。 [28] Ke，Y.和Sukthankar，R.（2004）。PCA-SIFT：局部图像描述符的更独特表示。CVPR（第506-513页）。 [29] Kokkinos，I.和Yuille，A.（2008年）。无缩放选择的缩放不变性。在CVPR中。 [30] Lazebnik，S.、Schmid，C.和Ponce，J.（2005）。使用局部仿射区域的稀疏纹理表示。IEEE模式分析和机器智能汇刊，27（8），1265-1278·doi:10.1109/TPAMI.2005.151 [31] Ledoit，O.和Wolf，M.（2004）。亲爱的，我缩小了样本协方差矩阵。《投资组合管理杂志》，30（4），110-119·doi:10.3905/jpm.2004.110 [32] Ledoit，O.和Wolf，M.（2004）。大维协方差矩阵的条件良好估计。多元分析杂志，88（2），365-411·Zbl 1032.62050 ·doi:10.1016/S0047-259X（03）00096-4 [33] Leutenger，S.、Chli，M.和Siegwart，R.Y.Brisk。(2011). 二进制健壮不变可伸缩关键点。在ICCV中。 [34] Lowe，D.G.（2004）。具有与比例不变关键点不同的图像特征。IJCV，60（2），91-110·doi:10.1023/B:VISI.0000029664.99615.94 [35] Mahendran，A.和Vedaldi，A.（2016年）。使用自然预图像可视化深度卷积神经网络。IJCV，120（3），233-255·doi:10.1007/s11263-016-0911-8 [36] Mairal，J.、Koniusz，P.、Harchaoui，Z.和Schmid，C.（2014）。卷积内核网络。NIPS（第2627-2635页）。 [37] Mikolajczyk，K.和Matas，J.（2007）。通过最优线性投影改进快速树匹配的描述符。在ICCV中。 [38] Mikolajczyk，K.和Schmid，C.（2005年）。局部描述符的性能评估。IEEE模式分析和机器智能汇刊，27（10），1615-1630·doi:10.1109/TPAMI.2005.188 [39] Mishchuk，A.、Mishkin，D.、Radenovic，F.和Matas，J.（2017）。努力了解邻居的边际：局部描述符学习损失。以NIPS为单位。 [40] Mishkin，D.、Matas，J.、Perdoch，M.和Lenc，K.（2015）。宽基线立体概括。arXiv预打印arXiv:1504.06603 [41] Mukundan，A.、Tolias，G.和Chum，O.（2017年）。多内核本地匹配描述符。在BMVC中。 [42] Ojala，T.、Pietikainen，M.和Maenpaa，T.（2002）。具有局部二值模式的多分辨率灰度和旋转不变纹理分类。IEEE模式分析和机器智能汇刊，24（7），971-987·doi:10.1109/TPAMI.2002.1017623 [43] Oliva，A.和Torralba，A.（2001）。场景形状建模：空间包络线的整体表示。IJCV，42（3），145-175·Zbl 0990.68601号 ·doi:10.1023/A:101139631724 [44] Paulin，M.、Douze，M.，Harchaoui，Z.、Mairal，J.、Perronin，F.和Schmid，C.（2015）。局部卷积特征与无监督训练用于图像检索。在ICCV中。 [45] Paulin，M.、Mairal，J.、Douze，M.，Harchaoui，Z.、Perronnin，F.和Schmid，C.（2017）。图像检索的卷积块表示：一种无监督方法。ICCV，121（1），149-168。 [46] Philbin，J.、Isard，M.、Sivic，J.和Zisserman，A.（2010年）。有效检索的描述子学习。在ECCV中。 [47] Radenović，F.、Tolias，G.和Chum，O.（2016）。美国有线电视新闻网（CNN）图像检索从《美国广播公司：无监督微调》（BoW）中学习到了硬示例。在ECCV中。 [48] Rublee，E.、Rabaud，V.、Konolige，K.和Bradski，G.（2011年）。Orb：筛选或冲浪的有效替代品。在ICCV中。 [49] Schmid，C.和Mohr，R.（1997）。用于图像检索的局部灰度不变量。IEEE模式分析和机器智能汇刊，19（5），530-535·doi:10.1109/34.589215 [50] Schonberger，J.L.和Frahm，J.M.（2016）。重新审视结构-运动。在CVPR中。 [51] Schönberger，J.L.、Hardmeier，H.、Sattler，T.和Pollefeys，M.（2017）。手工制作和学习当地特色的比较评估。在CVPR中。 [52] Schönberger，J.L.、Radenović，F.、Chum，O.和Frahm，J.M.（2015）。从单个图像查询到详细的三维重建。在CVPR中。 [53] Scovanner，P.、Ali，S.和Shah，M.（2007年）。一种三维筛选描述符及其在动作识别中的应用。第15届ACM多媒体国际会议记录（第357-360页）。 [54] Shechtman，E.和Irani，M.（2007）。匹配图像和视频之间的局部自相似性。CVPR（第1-8页）。电气与电子工程师协会。 [55] Simo-Serra，E.、Trulls，E.、Ferraz，L.、Kokkinos，I.、Fua，P.和Moreno-Noguer，F.（2015）。深度卷积特征点描述符的判别学习。在ICCV中。 [56] Simonyan，K.、Vedaldi，A.和Zisserman，A.（2014）。使用凸优化学习局部特征描述符。IEEE模式分析和机器智能汇刊，36（8），1573-1585·doi:10.1109/TPAMI.2014.2301163 [57] Taira，H.、Torii，A.和Okutomi，M.（2016）。通过学习描述符协方差和视点合成实现鲁棒特征匹配。在ICPR中。 [58] Tian，B.F.Y.和Wu，F.（2017）。L2-net：欧氏空间中区分性补丁描述符的深度学习。在CVPR中。 [59] Tola，E.、Lepetit，V.和Fua，P.（2010年）。雏菊：应用于宽基线立体声的高效密集描述符。IEEE模式分析和机器智能汇刊，32（5），815-830·doi:10.1109/TPAMI.2009.77 [60] Tolias，G.、Bursuc，A.、Furon，T.和Jégou，H.（2015）。旋转和平移协变匹配核用于图像检索。CVIU，140，9-20。 [61] Trzcinski，T.、Christoudias，M.、Lepetit，V.和Fua，P.（2012）。使用增强技巧学习图像描述符。在NIPS中 [62] van de Sande，K.E.A.、Gevers，T.和Snoek，C.G.M.（2010年）。评估对象和场景识别的颜色描述符。IEEE模式分析和机器智能汇刊，32（9），1582-1596·doi:10.1109/TPAMI.2009.154 [63] Vedaldi，A.和Zisserman，A.（2010年）。通过显式特征映射实现高效的加法内核。在CVPR中。 [64] Vedaldi，A.和Zisserman，A.（2012年）。通过显式特征映射实现高效的加性核。IEEE模式分析和机器智能汇刊，34，480-492·doi:10.1109/TPAMI.2011.153 [65] Wang，P.，Wang，J.，Zeng，G.，Xu，W.，Zha，H.，&Li，S.（2013）。用于视觉识别的监控内核描述符。在CVPR中。 [66] Winder，S.和Brown，M.（2007年）。学习局部图像描述符。在CVPR中。 [67] Yi，K.M.、Trulls，E.、Lepetit，V.和Fua，P.（2016年）。提升：学习的不变特征变换。ECCV（第467-483页）。斯普林格。 [68] Yosinski，J.、Clune，J.，Nguyen，A.、Fuchs，T.和Lipson，H.（2015）。通过深度可视化了解神经网络。arXiv预打印arXiv:1506.06579 [69] Yu，G.和Morel，J.M.（2009）。一种完全仿射不变的图像比较方法。在ICASSP中。（第1597-1600页）。电气与电子工程师协会。 [70] Zagoruyko，S.和Komodakis，N.（2015年）。学习通过卷积神经网络比较图像补丁。在CVPR中。 [71] Zeiler，M.D.和Fergus，R.（2014）。可视化和理解卷积网络。在ECCV中。 [72] Zhou，L.、Zhu，S.、Shen，T.、Wang，J.、Fang，T.和Quan，L.（2017）。尺度空间中的渐进式大尺度不变图像匹配。在ICCV中。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。