摩根·A·施密茨。;马蒂厄·海茨;尼古拉斯·博内尔;弗雷德·恩戈莱;大卫·科尔乔利;马可·库图里;加布里埃尔·佩雷;Jean-Luc斯塔克 Wasserstein字典学习：基于最优传输的无监督非线性字典学习。 （英语） Zbl 1437.94027号 SIAM J.成像科学。 11，第1号，643-678（2018）. 摘要：本文介绍了一种新的概率单纯形直方图非线性字典学习方法。该方法利用了最优输运理论，从这个意义上说，我们的目标是使用字典原子之间所谓的位移插值（即Wasserstein重心）重建直方图；这些原子本身就是概率单纯形中的合成直方图。我们的方法同时估计这些原子和每个数据点的权重向量，这些权重向量可以最佳地将其重建为这些原子的最佳传输重心。由于在通常的最优运输问题中添加了熵正则化，我们的方法易于计算，从而得到了一个高效、并行且易于区分的近似方案。使用基于梯度的下降方法学习原子和权重。梯度是通过广义Sinkhorn迭代的自动微分获得的，该迭代产生具有熵平滑的重心。由于其公式依赖于Wasserstein重心，而不是字典和代码之间的通常矩阵乘积，因此我们的方法允许原子之间的非线性关系和输入数据的重建。我们举例说明了它在几种不同的图像处理设置中的应用。 引用于22文件 MSC公司： 94A08型 信息与通信理论中的图像处理（压缩、重建等） 49M99型 最优控制中的数值方法 90C08型 线性规划的特殊问题（运输、多指标、数据包络分析等） 关键词：最佳运输;瓦瑟斯坦重心;字典学习 软件：手套;达奇;Wasserstein甘;EMD公司;西雅娜;L-BFGS-B型;固定点算法 PDF格式BibTeX公司 XML格式引用 \textit{M.A.Schmitz}等人，SIAM J.成像科学。11，编号1643-678（2018；兹bl 1437.94027） 全文： 内政部 arXiv公司 参考文献： [1] M.Agueh和G.Carlier，瓦瑟斯坦空间中的重心，SIAM J.数学。分析。，43（2011），第904-924页·Zbl 1223.49045号 [2] M.Aharon、M.Elad和A.Bruckstein，K-SVD：一种设计稀疏表示超完备字典的算法，IEEE传输。信号处理。，54（2006），第4311–4322页·Zbl 1375.94040号 [3] N.Aifanti、C.Papachristou和A.Delopoulos，MUG面部表情数据库，载于2010年第11届IEEE多媒体交互服务图像分析国际会议论文集，第1-4页。 [4] J.Altschuler、J.Weed和P.Rigollet，基于Sinkhorn迭代的最优输运近线性时间近似算法，预印本，2017年。 [5] M.Arjovsky、S.Chintala和L.Bottou，Wasserstein甘，预印本，2017年。 [6] F.Bassetti、A.Bodini和E.Regazzini，关于最小Kantorovich距离估计，统计。普罗巴伯。莱特。，76（2006），第1298-1302页·1090.62030兹罗提 [7] F.Bassetti和E.Regazzini，位置尺度参数最小相异估计的渐近性质和鲁棒性，理论问题。申请。，50（2006），第171–186页·Zbl 1089.62022号 [8] J.-D.Benamou、G.Carlier、M.Cuturi、L.Nenna和G.Peyreí，正则化运输问题的迭代Bregman投影，SIAM J.科学。计算。，37（2015），第A1111–A1138页·Zbl 1319.49073号 [9] E.Bernton、P.E.Jacob、M.Gerber和C.P.Robert，基于Wasserstein距离的生成模型推理，预印本，2017年。 [10] D.P.Bertsekas，拍卖算法：分配问题的分布式松弛方法，安，Oper。Res.，14（1988），第105-123页·兹比尔0788.90055 [11] J.Bigot、R.Gouet、T.Klein和A.Loípez，Wasserstein空间中的测地PCA，预印本，2013年·Zbl 1362.62065号 [12] D.Blei和J.Lafferty，主题模型，摘自《文本挖掘：分类、聚类和应用》，查普曼和霍尔出版社，伦敦，2009年，第71–93页。 [13] E.Boissard、T.Le Gouic和J.-M.Loubes，使用Wasserstein度量的分布模板估计，伯努利，21（2015），第740-759页·Zbl 1320.62107号 [14] N.Bonneel、G.Peyreí和M.Cuturi，Wasserstein重心坐标：使用最佳传输的直方图回归，ACM变速器。图形，35（2016），71。 [15] N.Bonneel、J.Rabin、G.Peyreí和H.Pfister，切片和氡-瓦瑟斯坦测量重心，J.数学。《成像视觉》，51（2015），第22-45页·Zbl 1332.94014号 [16] G.Carlier、A.Oberman和E.Oudet，团队与Wasserstein重心匹配的数值方法，ESAIM数学。模型。数字。分析。，49（2015），第1621–1642页·兹比尔1331.49042 [17] L.Chizat、G.Peyreí、B.Schmitzer和F.-X.Vialard，非平衡运输问题的尺度算法，预印本，2016年。 [18] M.Cuturi，凹坑距离：最佳运输的光速计算，《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2013年，第2292–2300页。 [19] M.Cuturi和A.Doucet，Wasserstein重心的快速计算，《第31届机器学习国际会议论文集》，2014年，第685-693页。 [20] M.Cuturi和G.Peyreí，变分Wasserstein问题的光滑对偶方法，SIAM J.成像科学。，9（2016），第320–343页·兹比尔1335.49076 [21] A.d'Aspremont、L.El Ghaoui、M.I.Jordan和G.R.G.Lanckriet，基于半定规划的稀疏PCA直接公式SIAM Rev.，49（2007），第434–448页·邮编1128.90050 [22] W.E.Deming和F.F.Stephan，当期望边际总和已知时采样频率表的最小二乘平差，安。数学。《统计学》，第11卷（1940年），第427-444页·Zbl 0024.05502号 [23] S.Erlander和N.F.Stewart，运输分析中的重力模型：理论与扩展第3卷，VSP，乌得勒支，荷兰，1990年·Zbl 0917.90115号 [24] P.T.Fletcher、C.Lu、S.M.Pizer和S.Joshi，形状非线性统计研究的主测地线分析，IEEE传输。医学图像。，23（2004），第995-1005页。 [25] J.Franklin和J.Lorenz，关于多维矩阵的标度，线性代数应用。，114（1989），第717-735页·Zbl 0674.15001号 [26] 弗雷切特，Les e⁄le⁄ments ale⁄atoires de nature quelconque dans un espace distancie⁄《Ann.Inst.H.Poincareí》，第10页（1948年），第215–310页·Zbl 0035.20802号 [27] C.Frogner、C.Zhang、H.Mobahi、M.Araya和T.A.Poggio，在Wasserstein失利的情况下学习《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2015年，第2053-2061页。 [28] W.Gao、J.Chen、C.Richard和J.Huang，内核LMS的在线词典学习，IEEE传输。信号处理。，62（2014），第2765–2777页·Zbl 1394.94200号 [29] A.Genevay、G.Peyreí和M.Cuturi，具有凹坑发散的生成模型学习，预印本，2017年。 [30] A.Griewank和A.Walther，评估导数：算法微分的原理和技术，第二版，SIAM，费城，2008·Zbl 1159.65026号 [31] S.Haker、L.Zhu、A.Tannenbaum和S.Angenent，用于登记和翘曲的最佳质量运输《国际计算杂志》。可见。，60（2004），第225-240页·Zbl 1477.68510号 [32] M.Harandi和M.Salzmann，黎曼编码和字典学习：拯救核心，载于《IEEE计算机视觉与模式识别会议论文集》，2015年，第3926–3935页。 [33] M.Harandi、C.Sanderson、C.Shen和B.C.Lovell，Grassmann流形上的字典学习和稀疏编码：一种外部解决方案，《IEEE计算机视觉国际会议论文集》，2013年，第3120–3127页。 [34] M.T.Harandi、C.Sanderson、R.Hartley和B.C.Lovell，对称正定矩阵的稀疏编码和字典学习：一种核方法《计算机视觉–ECCV 2012》，柏林施普林格，海德堡，2012年，第216-229页。 [35] G.E.Hinton和R.R.Salakhutdinov，用神经网络降低数据的维数《科学》，313（2006），第504-507页·Zbl 1226.68083号 [36] J.Ho、Y.Xie和B.Vemuri，稀疏编码和字典学习的非线性推广《机器学习国际会议论文集》，2013年，第1480–1488页。 [37] A.Hyvaörinen、J.Karhunen和E.Oja，独立成分分析Wiley Ser。适应。学习。系统。信号处理。Commun公司。Control 46，John Wiley&Sons，纽约，2004年。 [38] Z.Irace和H.Batatia，基于运动的插值估计正电子发射断层成像中空间变化的PSF，《第21届欧洲IEEE信号处理会议（EUSIPCO）论文集》，2013年，第1-5页。 [39] H.W.Kuhn，指派问题的匈牙利方法，海军后勤部。夸脱。，2（1955年），第83–97页·Zbl 0143.41905号 [40] R.Laureijs、J.Amiaux、S.Arduini、J.-L.Augueres、J.Brinchmann、R.Cole、M.Cropper、C.Dabin、L.Duvet、A.Ealet等人。，欧几里得定义研究报告，预印本，2011年。 [41] D.D.Lee和H.S.Seung，用非负矩阵分解学习对象的组成部分《自然》，401（1999），第788–791页·Zbl 1369.68285号 [42] H.Lee、A.Battle、R.Raina和A.Y.Ng，高效的稀疏编码算法《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2007年，第801-808页。 [43] C.勒奥纳尔，薛定谔问题及其与最优运输的一些联系的综述，离散连续。动态。系统。，34（2014），第1533–1574页·Zbl 1277.49052号 [44] P.Li、Q.Wang、W.Zuo和L.Zhang，稀疏表示和字典学习的对数核函数，《IEEE计算机视觉国际会议论文集》，2013年，第1601–1608页。 [45] 刘浩、秦刚、郑浩、孙凤，基于全序列收敛算法的鲁棒核字典学习，《第24届国际人工智能会议论文集》，2015年，第3678–3684页。 [46] J.Mairal、F.Bach、J.Ponce和G.Sapiro，矩阵分解和稀疏编码的在线学习，J.马赫。学习。Res.，11（2010），第19-60页·Zbl 1242.62087号 [47] S.Mallat，信号处理的小波巡回，学术出版社，纽约，1999年·Zbl 0998.94510号 [48] R.J.McCann，相互作用气体的凸性原理，高级数学。，128（1997），第153-179页·Zbl 0901.49012号 [49] Q.Meírigot，最优运输的多尺度方法，计算。图表。论坛，30（2011），第1583-1592页·Zbl 1431.76040号 [50] G.蒙格，Meömoire sur la theöorie des deöblais et des remblais我是莫尔苏拉的一名律师，摘自《巴黎科学史》，巴黎皇家美术馆，1781年，第666-704页。 [51] G.Montavon、K.-R.Muöller和M.Cuturi，限制Boltzmann机器的Wasserstein训练《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2016年，第3711-3719页。 [52] J.L.Morales和J.Nocedal，关于“算法778:L-BFGS-B:大规模边界约束优化的Fortran子程序”的备注ACM事务处理。数学。软件，38（2011），7·Zbl 1365.65164号 [53] Y.内斯特罗夫，凸优化入门讲座：基础课程，申请。最佳方案。87，Springer Science&Business Media，纽约，2013年·兹比尔1086.90045 [54] F.Ngolè和J.-L.Starck，基于最优运输距离的PSF现场学习，预印本，2017年·Zbl 1382.49053号 [55] F.Ngolè、J.-L.Starck、S.Ronayette、K.Okumura和J.Amiaux，点扩散函数恢复的稀疏正则化超分辨率方法阿童木。天体物理学。，575（2015），A86。 [56] N.帕帕达基斯，图像处理的最佳传输，habilitation àdiriger des recherches，法国波尔多波尔多大学，2015。 [57] K.皮尔逊，第三章。在与空间点系最接近的直线和平面上，伦敦。爱丁堡。都柏林。Phil.Mag.，2（1901），第559-572页。 [58] J.Pennington、R.Socher和C.D.Manning，GlobVe：单词表示的全局向量，《自然语言处理实证方法会议论文集》，第14卷，2014年，第1532-1543页。 [59] G.Peyreí、L.Chizat、F.-X.Vialard和J.Solomon，张量场处理的量子最优输运，预印本，2016年。 [60] F.Pitieí、A.C.Kokaram和R.Dahyot，N维概率密度函数传递及其在颜色传递中的应用，《第十届IEEE计算机视觉国际会议（ICCV）论文集》，第2卷，华盛顿特区，2005年，第1434-1439页。 [61] B.T.波利亚，加速迭代法收敛的几种方法，美国S.R.计算。数学。和数学。物理。，4（1964年），第1-17页·Zbl 0147.35301号 [62] Y.Quan、C.Bao和H.Ji，等角核字典学习及其在动态纹理分析中的应用，《IEEE计算机视觉和模式识别会议记录》，2016年，第308–316页。 [63] J.Rabin、G.Peyreí、J.Delon和M.Bernot，Wasserstein重心及其在纹理混合中的应用，摘自《计算机视觉中的尺度空间和变分方法》，施普林格，柏林，海德堡，2011年，第435-446页。 [64] S.Rachev和L.Ruáschendorf，大众运输问题：理论第1卷，Springer-Verlag，纽约，1998年·Zbl 0990.60500号 [65] A.Rolet、M.Cuturi和G.Peyreí，快速字典学习，平滑Wasserstein损失《第19届国际人工智能与统计会议论文集》，2016年，第630-638页。 [66] R.Rubinstein、M.Zibulevsky和M.Elad，基于批正交匹配追踪的K-SVD算法的高效实现《以色列理工学院学报》，40（2008），第1-15页。 [67] Y.Rubner、C.Tomasi和L.J.Guibas，推土机距离作为图像检索的度量《国际计算杂志》。可见。，40（2000），第99–121页·Zbl 1012.68705号 [68] G.Salton和M.J.McGill，现代信息检索导论麦格劳-希尔出版社，纽约，1986年·Zbl 0523.68084号 [69] R.Sandler和M.Lindenbaum，基于推土机距离度量的非负矩阵分解，《IEEE计算机视觉和模式识别会议论文集》，2009年，第1873-1880页。 [70] M.A.Schmitz、M.Heitz、N.Bonneel、F.Ngolè、D.Coeurjolly、M.Cuturi、G.Peyreí和J.-L.Starck，基于最优传输的字典学习及其在类欧几里得点扩散函数表示中的应用，程序。SPIE 10394，国际光学和光子学学会，华盛顿州贝灵汉，2017年·Zbl 1437.94027号 [71] B.施密策，熵正则运输问题的稳定稀疏尺度算法，预印本，2016年。 [72] B.Scho¨lkopf、A.Smola和K.-R.Mu¨ller，内核主成分分析，《第七届国际人工神经网络会议论文集》（ICANN），1997年，第583-588页。 [73] E.施罗丁格，Uéber die umkehrung der naturgesetze乌尔盖伦·德纳图尔盖泽，Verlag Akademie der wissenschaften in kommission bei Walter de Gruyter u.Company，柏林，1931年。 [74] V.Seguy和M.Cuturi，最优运输度量下概率测度的主测地线分析《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2015年，第3312–3320页。 [75] S.Shirdhonkar和D.W.Jacobs，直线时间内推土机的近似距离，《IEEE计算机视觉和模式识别会议论文集》，2008年，第1-8页。 [76] R.Sinkhorn，具有指定行和列和的矩阵的对角线等价阿默尔。数学。《月刊》，74（1967），第402-405页·Zbl 0166.03702号 [77] J.Solomon、F.De Goes、G.Peyreí、M.Cuturi、A.Butscher、A.Nguyen、T.Du和L.Guibas，卷积Wasserstein距离：几何域上的有效最优传输，ACM变速器。《图形》，34（2015），66·Zbl 1334.68267号 [78] J.Solomon、R.Rustamov、L.Guibas和A.Butscher，用于半监督学习的Wasserstein传播，《第31届机器学习国际会议论文集》，2014年，第306–314页。 [79] M.塔拉格兰德，高斯和其他产品度量的运输成本，几何。功能。分析。，6（1996），第587-600页·Zbl 0859.46030号 [80] Theano开发团队，Theano：用于快速计算数学表达式的Python框架，预印本，2016年。 [81] M.Turk和A.Pentland，用于识别的特征脸约翰·科恩。神经科学。，3（1991），第71–86页。 [82] H.Van Nguyen、V.M.Patel、N.M.Nasrabadi和R.Chellappa，面向对象识别的非线性核字典设计，IEEE传输。图像处理。，22（2013），第5123–5135页·Zbl 1373.68328号 [83] C.维拉尼，最佳运输主题，梯度。学生数学。58，AMS，普罗维登斯，RI，2003年·Zbl 1106.90001号 [84] C.维拉尼，最佳交通：新旧、格兰德伦数学。威斯。338，施普林格，柏林，海德堡，2008年。 [85] W.Wang、D.Slepcev、S.Basu、J.A.Ozolek和G.K.Rohde，用于量化和可视化图像集变化的线性最佳传输框架《国际计算杂志》。可见。，101（2013），第254–269页·兹比尔1259.68222 [86] J.Ye、P.Wu、J.Z.Wang和J.Li，稀疏支持下基于Wasserstein重心的快速离散分布聚类，IEEE传输。信号处理。，65（2017），第2317–2332页·Zbl 1414.94709号 [87] S.Zavriev和F.Kostyuk，非凸优化问题的重球法，计算。数学。型号。，4（1993），第336–341页·Zbl 1331.90056号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。