×

基于图的基础度量学习。 (英语) Zbl 1516.68079号

概要:概率分布之间的最佳传输(OT)距离由观测之间使用的地面度量参数化。它们与实际应用的相关性很大程度上取决于地面度量参数的选择是否合适。因此,在各种情况下都出现了从先验知识中自适应地和算法地选择它的挑战,即所谓的地面度量学习(GML)问题。在本文中,我们考虑当学习度量被约束为测地距离在上图表支持利益衡量标准。这为候选度量提供了丰富的结构,但与直接优化所有度量矩阵空间相比,还可以实现更高效的学习过程。我们使用这个设置来解决一个由观察密度随时间变化而产生的反问题;我们寻求一个图形接地度量,使得由该接地度量产生的起始密度和结束密度之间的OT插值与观察到的演化一致。这种OT动态框架与显示质量位移的自然现象模型有关,例如由照明和材料修改引起的调色板演变。

MSC公司:

68T05型 人工智能中的学习和自适应系统
05C12号 图形中的距离
第49季度22 最佳运输
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿奎,M。;Carlier,G.,《瓦瑟斯坦空间中的重心》,SIAM J.数学。分析。,43, 2, 904-924 (2011) ·Zbl 1223.49045号 ·数字对象标识代码:10.1137/100805741
[2] Altschuler,J.,Bach,F.,Rudi,A.,Weed,J.:通过Nyström方法实现大规模可扩展的辛霍恩距离。arXiv:1812.05189[cs,数学,统计](2018)
[3] Altschuler,J.、Weed,J.和Rigollet,P.:通过Sinkhorn迭代实现最优运输的近线性时间近似算法。arXiv预印本arXiv:1705.09634(2017)
[4] Angenent,S。;Haker,S。;Tannenbaum,A.,Monge-Kantorovich问题的最小化流量,SIAM J.数学。分析。,35, 1, 61-97 (2003) ·Zbl 1042.49040号 ·doi:10.1137/S0036141002410927
[5] Bellet,A.,Habrard,A.,Sebban,M.:度量学习。工程与计算机科学综合数字图书馆。加利福尼亚州圣拉斐尔(1537 Fourth Street,San Rafael,CA 94901 USA):Morgan&Claypool(2015)·Zbl 1308.68005号
[6] Benamou,JD;Carlier,G。;库图里,M。;Nenna,L。;Peyré,G.,正则化运输问题的迭代Bregman预测,SIAM J.Sci。计算。,37、2、A1111-A1138(2015)·Zbl 1319.49073号 ·doi:10.1137/141000439
[7] Benmansour,F。;Carlier,G。;佩雷,G。;Santambrogio,F.,《关于度量和应用的导数:次梯度行进算法》,《数值数学》,116,3,357-381(2010)·Zbl 1202.65078号 ·doi:10.1007/s00211-010-0305-8
[8] Bonneel,N。;佩雷,G。;Cuturi,M.,Wasserstein重心坐标:使用最佳运输的直方图回归,ACM Trans。图表。,35, 4, 1-10 (2016) ·doi:10.1145/2897824.2925918
[9] Brickell,J。;印度迪伦;Sra,S。;JA Tropp,《度量接近问题》,SIAM J.Matrix Ana。申请。,30, 1, 375-396 (2008) ·Zbl 1172.05018号 ·doi:10.1137/060653391
[10] Buttazzo,G。;Davini,A。;弗拉加拉,I。;Maciá,F.,《防止质量传递的最佳黎曼距离》,《法国数学杂志》(Crelles Journal)(2004年)·兹比尔1077.49032 ·doi:10.1515/crll.2004.077
[11] Chechik,G.,Shalit,U.,Sharma,V.,Bengio,S.:大型图像相似性学习的在线算法。In:《神经信息处理系统进展》第9页(2009年)·Zbl 1242.68212号
[12] Chizat,L.、Peyré,G.、Schmitzer,B.、Vialard,F.X.:非平衡运输问题的缩放算法。arXiv:1607.05816(2016)·Zbl 1402.90120号
[13] Chopra,S.、Hadsell,R.、LeCun,Y.:区分学习相似度量,并应用于面部验证。收录于:2005年IEEE计算机学会计算机视觉和模式识别会议(CVPR'05),第1卷,第539-546页。IEEE,加利福尼亚州圣地亚哥,美国(2005年)。doi:10.1109/CVPR.2005.202
[14] Courty,N。;火焰,R。;Tuia,D。;Rakotomamonjy,A.,域适配的最佳传输,IEEE Trans。模式分析。机器。智力。,39, 9, 1853-1865 (2016) ·doi:10.1109/TPAMI.2016.2615921
[15] 克雷恩。;Weischedel,C。;Wardetzky,M.,《热量测地学:基于热流计算距离的新方法》,ACM Trans。图表。(TOG),32,5,152(2013)·数字对象标识代码:10.1145/2516971.2516977
[16] Cuturi,M.:《下沉距离:最佳运输的光速计算》。摘自:《神经信息处理系统进展》,第2292-2300页(2013年)
[17] 库图里,M。;Avis,D.,地面测量学习,J.Mach。学习。第15号、第1号、第533-564号决议(2014年)·Zbl 1317.68149号
[18] Cuturi,M.,Doucet,A.:快速计算Wasserstein重心。摘自:机器学习国际会议,第685-693页(2014年)
[19] Dognin,P.,Melnyk,I.,Mroueh,Y.,Ross,J.,Santos,C.D.,Sercu,T.:瓦瑟斯坦重心模型集合。arXiv:1902.04999[cs,stat](2019)
[20] Dupuy,A.,Galichon,A.,Sun,Y.:在低秩约束下估计匹配亲和矩阵。arXiv:1612.09585[统计](2016)
[21] Dvurechensky,P.,Gasnikov,A.,Kroshin,A.:计算最优传输:加速梯度下降的复杂性比Sinkhorn算法的复杂性好。arXiv:1802.04367[cs,数学](2018)
[22] Frogner,C.,Zhang,C.,Mobahi,H.,Araya,M.,Poggio,T.A.:在Wasserstein失落中学习。In:神经信息处理系统进展第9页(2015年)
[23] Genevay,A.,Peyré,G.,Cuturi,M.:学习具有Sinkhorn差异的生成模型。arXiv:1706.00292[统计](2017)
[24] Gerber,S.,Maggioni,M.:计算最优运输的多尺度策略。arXiv预印arXiv:1708.02469(2017)·Zbl 1435.65095号
[25] Griewank,A.:是谁发明了反向分化模式?Documenta Mathematica,第12页(2012年)·Zbl 1293.65035号
[26] Griewank,A.,Walterher,A.:评估衍生品。应用数学的其他标题。工业和应用数学学会(2008)。doi:10.1137/1.9780898717761·Zbl 1159.65026号
[27] Huang,G.,Guo,C.,Kusner,M.J.,Sun,Y.,Sha,F.,Weinberger,K.Q.:监督单词移动器的距离。摘自:《神经信息处理系统进展》,第4862-4870页(2016年)
[28] Kedem,D.、Tyree,S.、Sha,F.、Lanckriet,G.R.、Weinberger,K.Q.:非线性度量学习。神经信息处理系统(NIPS)第9页(2012年)
[29] Kulis,B.:《计量学习:一项调查》。机器学习基础与趋势5(4),287-364(2013)。doi:10.1561/220000019·Zbl 1278.68014号
[30] Lévy,B.,三维L2半离散最优传输的数值算法,ESAIM:Math。模型1。数字。分析。,49, 6, 1693-1715 (2015) ·Zbl 1331.49037号 ·doi:10.1051/m2安/201505510.1051/m2安/2015055
[31] Li,R.,Ye,X.,Zhou,H.,Zha,H.:通过逆最优运输学习匹配,第37页(2019年)·Zbl 1489.62101号
[32] 麦克亚当,DL,《日光下对色差的视觉敏感性》,J.Opt。《美国社会》,32,5,247(1942)·doi:10.1364/JOSA.32.000247
[33] RJ McCann,《相互作用气体的凸性原理》,高级数学。,128, 1, 153-179 (1997) ·Zbl 0901.49012号 ·doi:10.1006/aima.1997.1634
[34] Mirebeau,J.M.,Dreo,J.:非完整快速行进的自动微分,用于计算传感器监视下的最危险轨迹。arXiv:1704.03782[数学](2017)·Zbl 1428.65002号
[35] 帕帕达基斯,N。;佩雷,G。;Oudet,E.,近端分裂的最佳转运,SIAM J.成像科学。,7, 1, 212-238 (2014) ·Zbl 1295.90047号 ·doi:10.137/130920058
[36] Paszke,A.、Gross,S.、Chintala,S.,Chanan,G.、Yang,E.、DeVito,Z.、Lin,Z.,Desmaison,A.、Antiga,L.、Lerer,A.:《PyTorch中的自动区分》第4页(2017)
[37] Pele,O.,Ben-Aliz,Y.:单向量和向量对的插值离散嵌入,用于分类、度量学习和距离近似。arXiv:1608.02484[cs](2016年)
[38] 佩雷,G。;Cuturi,M.,《计算最优运输》(2018),波士顿:Now Publishers,Inc,波士顿·兹比尔1475.68011
[39] 鲁布纳,Y。;托马西,C。;Guibas,LJ,The earth Mover’s distance as a metric for image retrieval,国际计算机杂志。视觉。,40, 2, 99-121 (2000) ·Zbl 1012.68705号 ·doi:10.1023/A:1026543900054
[40] 桑德勒,R。;Lindenbaum,M.,非负矩阵因式分解与图像分析的地球移动器距离度量,IEEE Trans。模式分析。机器。智力。,33, 8, 1590-1602 (2011) ·doi:10.1109/TPAMI.2011.18
[41] Santambrogio,F.,《应用数学家的最佳交通》(2015),柏林:施普林格,柏林·Zbl 1401.49002号 ·doi:10.1007/978-3-319-20828-2
[42] 希宾格,G。;舒,J。;Tabaka,M。;克利里,B。;Subramanian,V。;所罗门,A。;古尔德,J。;刘,S。;Lin,S。;贝鲁贝,P。;Lee,L。;陈,J。;J.布伦堡。;Rigollet,P。;Hochedlinger,K。;Jaenisch,R。;雷格夫,A。;Lander,ES,《单细胞基因表达的优化转运分析确定重编程中的发育轨迹》,《细胞》,176,4,928-943.e22(2019)·doi:10.1016/j.cell.2019.01.006
[43] 马萨诸塞州施密茨;海茨,M。;Bonneel,N。;NgolèMboula,FM;Coeurjolly,D。;库图里,M。;佩雷,G。;Starck,JL,Wasserstein字典学习:基于最优传输的无监督非线性字典学习,SIAM J.Imaging Sci。,11, 1, 643-678 (2018) ·兹比尔1437.94027 ·doi:10.1137/17M1140431
[44] Simou,E.,Frossard,P.:用Wasserstein重心表示图形信号。arXiv:11812.05517[eess](2018年)
[45] 所罗门,J。;de Goes,F。;佩雷,G。;库图里,M。;Butscher,A。;Nguyen,A。;杜,T。;Guibas,L.,卷积wasserstein距离:几何域上的有效最优传输,ACM Trans。图表。,34, 4, 66:1-66:11 (2015) ·Zbl 1334.68267号 ·数字对象标识代码:10.1145/2766963
[46] Stuart,A.M.,Wolfram,M.T.:逆最优运输。arXiv:1905.03950[数学,统计](2019)·Zbl 1434.90092号
[47] Torresani,L.,Lee,K.c.:大额利润成分分析。神经信息处理系统进展第8页(2007年)
[48] Varadhan,SRS,关于变系数热方程基本解的行为,Commun。纯应用程序。数学。,20, 2, 431-455 (1967) ·Zbl 0155.16503号 ·doi:10.1002/cpa.3160202010
[49] Wang,F.,Guibas,L.J.:监督地球搬运工的远程学习及其计算机视觉应用。收录于:Computer Vision-ECCV 2012,第7572卷,第442-455页。施普林格-柏林-海德堡,柏林,海德堡(2012)。doi:10.1007/978-3-642-33718-5_32
[50] Wang,J.,Do,H.T.,Woznica,A.,Kalousis,A.:多核度量学习。In:《神经信息处理系统进展》,第9页(2011年)
[51] Weinberger,K.Q.,Blitzer,J.,Saul,L.K.:大幅度最近邻分类的距离度量学习。In:神经信息处理系统的进展,第8页(2006)
[52] Weinberger,K.Q.,Saul,L.K.:距离度量学习的快速求解器和高效实施。摘自:2008年第25届国际机器学习会议记录,第1160-1167页。ACM出版社,芬兰赫尔辛基(2008)。数字对象标识代码:10.1145/1390156.1390302
[53] Xing,E.P.、Jordan,M.I.、Russell,S.J.、Ng,A.Y.:应用于侧面信息聚类的距离度量学习。在:神经信息处理系统的进展,第8页(2003)
[54] Xu,J.,Luo,L.,Deng,C.,Huang,H.:通过平滑Wasserstein距离进行多层次度量学习。摘自:《第二十七届国际人工智能联合会议记录》,第2919-2925页。人工智能组织国际联合会议,瑞典斯德哥尔摩(2018)。doi:10.24963/ijcai.2018/405
[55] 杨,F。;Cohen,LD,图像和表面上各向同性和各向异性热方程的测地距离和曲线,J.Math。成像视觉。,55210-228(2016)·Zbl 1338.65216号 ·doi:10.1007/s10851-015-0621-9
[56] 杨伟(Yang,W.)。;徐,L。;陈,X。;郑,F。;Liu,Y.,直方图数据的Chi-squared距离度量学习,数学问题工程,2015,1-12(2015)·doi:10.1155/2015/352849
[57] Zen,G.、Ricci,E.、Sebe,N.:同步地面度量学习和矩阵分解与地球运动距离。2014年第22届模式识别国际会议,第3690-3695页(2014)。doi:10.1109/ICPR.2014.634
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。