×
穆罕默德·莫塔米德

结构化数据的分层低秩最优传输差异度量。 （英语） Zbl 1507.65087号

比特币 62，第4期，1945-1982（2022）.
摘要：我们为结构化数据开发了一类分层低秩、可扩展的最优传输相异性度量，使当前最先进的最优传输求解器达到更高的性能水平。给定（{mathbb{R}}^d）中两个结构网格上支持的二维离散概率测度，我们提出了一种快速计算熵正则最优传输距离的方法，称为衰减Sinkhorn距离。该方法将Sinkhorn矩阵缩放迭代与缩放矩阵的低秩层次表示相结合，以实现近线性复杂度（{{mathscr{O}}}（n\ln^4n））。这为计算一类最优运输差异测度提供了一种快速、可扩展且易于实现的算法，使其适用于经典Wasserstein度量计算不可行的大规模优化问题。我们对所提出的算法进行了严格的错误复杂性分析，并给出了几个数值示例，以验证该算法的准确性和效率，并证明其在处理实际问题中的适用性。

MSC公司：

65层55 低阶矩阵逼近的数值方法；矩阵压缩
65年20月 数值算法的复杂性和性能
35克49 输运方程

关键词：

最佳运输;瓦瑟斯坦公制;凹陷背离;熵正则化;分层矩阵;优化问题

软件：

Wasserstein甘;EMD公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Motamed}，BIT 621945年至1982年第4期（2022年；Zbl 1507.65087）
全文： 内政部

参考文献：

[1] Altschuler，J.，Weed，J.，Rigollet，P.：通过Sinkhorn迭代实现最优运输的近线性时间近似算法。收录人：Guyon，I.、Luxburg，U.V.、Bengio，S.、Wallach，H.、Fergus，R.、Vishwanathan，S.和Garnett，R.（编辑）《神经信息处理系统进展》，第30卷，1961-1971页（2017）
[2] Ambrosio，L.，Gigli，N.：最佳交通用户指南。在：网络上流量的建模和优化，第1-155页。施普林格（2013）
[3] Ambrosio，L。；Gigli，N。；Savaré，G.，《度量空间和概率测度空间中的梯度流》（2005），纽约：Birkhäser Verlag出版社，纽约·邮编1090.35002
[4] Anderson，DG，非线性积分方程的迭代程序，J.ACM，12547-560（1965）·Zbl 0149.11503号
[5] Arjovsky，M.，Chintala，S.，Bottou，L.：瓦瑟斯坦生成性对抗网络。摘自：《第34届机器学习国际会议论文集》，第70卷，第214-223页（2017年）
[6] 巴林豪斯，L。；Franz，C.，关于一种新的多元双样本检验，J.Multivar。分析。，88, 190-206 (2004) ·Zbl 1035.62052号
[7] Basu，S.，Kolouri，S..，Rohde，G.K.：使用基于运输的形态计量学从显微镜图像中检测和可视化细胞表型差异。摘自：《美国国家科学院院刊》，第3448-3453页（2014年）
[8] Benamou，J-D；Carlier，G。；库图里，M。；Nenna，L。；Peyré，G.，正则化运输问题的迭代Bregman预测，SIAM J.Sci。计算。，37，A1111-A1138（2015）·Zbl 1319.49073号
[9] Benamou，J-D；佛罗泽，BD；Oberman，AM，使用Monge-Ampère方程求解最优运输问题，J.Compute。物理。，260, 107-126 (2014) ·Zbl 1349.65554号
[10] Bertsimas，D。；Tsitsiklis，J.，《线性优化导论》（1997），纽约：雅典娜科学出版社，纽约
[11] Beukema，P.，Verstynen，T.D.：OpenNeuro数据集ds001597:v1.0.0（multiFingerRSA）。OpenNeuro（2018）
[12] Burkard，R.、Dell'Amico，M.、Martello，S.：作业问题：修订再版。工业和应用数学学会（SIAM）（2012）·Zbl 1256.90001号
[13] 切拉博伊纳，V。；Haddad，WM，Frobenius矩阵范数是诱导的吗？，IEEE传输。自动。控制，40，2137-2139（1995）·Zbl 0871.47049号
[14] Chizat，L.，Roussillon，P.，Léger，F.，Vialard，F.-X.，Peyré，G.：利用辛霍恩散度进行更快的Wasserstein距离估计。arXiv:2006.08172（2020）
[15] Cuturi，M.，《Sinkhorn距离：最优传输的光速计算》，高级神经信息处理。系统。，2622292-2300（2013）
[16] Dvurechensky，P.，Gasnikov，A.，Kroshnin，A.：计算最优传输：加速梯度下降的复杂性优于Sinkhorn算法。In:Dy，J.，Krause，A.（编辑）第35届国际机器学习会议论文集，PMLR 80，pp.1367-1376（2018）
[17] Engquist，B。；Froese，BD，Wasserstein度量在地震信号中的应用，Commun。数学。科学。，12, 5, 979-988 (2014) ·Zbl 1305.86006号
[18] Engquist，B。；弗罗泽，BD；Yang，Y.，地震全波形反演的最佳传输，Commun。数学。科学。，14, 8, 2309-2330 (2016) ·Zbl 1353.49049号
[19] Ferradans，S.，Xia，G.-S.，Peyré，G.，Aujol，J.-F.：使用最佳传输的静态和动态纹理混合。In:计算机视觉中的尺度空间和变分方法，第137-148页（2013）
[20] Feydy，J.、Vialard，F.-X.、Séjourné，T.、Amari，S.、Trouvé，A.、Peyré，G.：使用Sinkhorn发散在最优运输和MMD之间插值。摘自：第22届国际人工智能与统计会议，第2681-2690页（2019年）
[21] 富兰克林，J。；Lorenz，J.，关于多维矩阵的标度，线性代数应用。，114, 717-735 (1989) ·Zbl 0674.15001号
[22] Frogner，C。；张，C。；Mobahi，H。；阿拉亚，M。；Poggio，TA，Wasserstein失学，高级神经信息处理。系统。，2053-2061年28日（2015年）
[23] Genevay，A.、Cuturi，M.、Peyré，G.、Bach，F.：大规模最优运输的随机优化。摘自：《神经信息处理系统进展》，第3432-3440页（2016年）
[24] Genevay，A.、Peyré，G.、Cuturi，M.：学习具有Sinkhorn分歧的生成模型。摘自：第21届国际人工智能与统计会议，第1608-1617页（2018）
[25] Gottschlich，C.，Schuhmacher，D.：快速计算推土机距离和寻找运输问题最佳解决方案的短名单方法。PLOS ONE 9（2014）
[26] Gramfort，A.、Peyré，G.、Cuturi，M.：神经影像数据的快速最佳传输平均。收录人：Ourselin，S.、Alexander，D.、Westin，C.F.、Cardoso，M.（编辑）《医学成像中的信息处理》，IPMI 2015，第261-272页（2015）
[27] 格雷顿，A。；博格沃德，KM；拉什，M。；Schölkopf，B。；Smola，AJ，两样本问题的核心方法，高级神经信息处理。系统。，19, 513-520 (2006) ·Zbl 1283.62095号
[28] Hackbusch，W.，《层次矩阵：计算数学中的算法和分析——施普林格系列》（2015），柏林：施普林格，柏林·Zbl 1336.65041号
[29] 喇叭，RA；Johnson，CR，矩阵分析（2012），剑桥：剑桥大学出版社，剑桥
[30] Joyce，DC，《数值分析中外推过程的调查》，SIAM Rev.，13，435-490（1971）·兹比尔0229.65005
[31] 卡兰塔里，B。；Khachiyan，L.，关于非负矩阵标度的复杂性，线性代数应用。，240, 87-103 (1996) ·Zbl 0849.15003号
[32] Kantorovich，LV，《大众翻译（俄语）》，Doklady Acad。科学。苏联，37，199-201（1942）·Zbl 0061.09705号
[33] 德国Keyes；Ltaief，H。；Turkiyyah，G.，层次结构上的层次算法，Philos。事务处理。R.Soc.A数学。物理学。工程科学。，378, 2166, 20190055 (2020) ·Zbl 1462.65048号
[34] 宾夕法尼亚州奈特，《Sinkhorn-Knopp算法：收敛与应用》，SIAM J.矩阵分析。申请。，30, 261-275 (2008) ·Zbl 1166.15301号
[35] 科洛里，S。；南帕克。；索普，M。；斯莱普切夫，D。；Rohde，GK，《最佳质量运输：信号处理和机器学习应用》，IEEE信号处理。Mag.，34，43-59（2017）
[36] Lellmann，J。；Lorenz，DA；Schönlieb，C.教授。；Valkonen，T.，《Kantorovich-Rubinstein差异成像》，SIAM J.《成像科学》。，7, 2833-2859 (2014) ·Zbl 1308.49043号
[37] Léonard，C.，Schrödinger问题及其与最优运输的一些联系的调查，离散Contin。动态。系统。A、 34、1533-1574（2014）·Zbl 1277.49052号
[38] Li，P.，Wang，Q.，Zhang，L.：一种新的推土机距离方法，用于高斯混合模型的图像匹配。摘自：IEEE计算机视觉国际会议记录，第1689-1696页（2013）
[39] Mérigot，Q.：优化运输的多尺度方法。摘自：《计算机图形论坛》，第30卷，第1583-1592页。威利（2011）
[40] Monge，G.：梅莫尔（Mémoire sur la théorie des déblais et des remblais）。《皇家帝国勋章》（1781）
[41] 蒙塔冯，G。；穆勒，K-R；Cuturi，M.，《受限Boltzmann机器的Wasserstein训练》，《高级神经信息处理》。系统。，29，3718-3726（2016）
[42] Moselhy，ETA；Marzouk，YM，贝叶斯推理与最优映射，J.Compute。物理。，231, 7815-7850 (2012) ·Zbl 1318.62087号
[43] 莫塔米德，M。；Appelö，D.，Wasserstein度量驱动贝叶斯反演及其在信号处理中的应用，《国际不确定性杂志》。数量。，9, 395-414 (2019) ·Zbl 1498.62070号
[44] 内米洛夫斯基，A。；关于矩阵标度的复杂性，线性代数应用。，302, 435-460 (1999) ·Zbl 0952.15005号
[45] Oberman，A.M.，Ruan，Y.：优化运输的有效线性规划方法。arXiv:1509.03668（2015）
[46] 帕纳雷托斯，VM；Zemel，Y.，《瓦瑟斯坦距离的统计方面》，《统计应用年鉴》。，6, 405-431 (2019)
[47] 佩雷，G。；Cuturi，M.，《计算最优运输》，Found。趋势马赫。学习。，11, 355-607 (2019) ·Zbl 1475.68011号
[48] A.拉姆达斯。；特里罗斯，NG；Cuturi，M.，关于Wasserstein两样本检验和非参数检验的相关家族，熵，19，47（2017）
[49] Richardson，LF，包含微分方程的物理问题的有限差分近似算术解，及其在砌石坝应力中的应用，Philos。事务处理。R.Soc.伦敦。序列号。A、 210、307-357（1911）
[50] Rubner，Y。；托马西，C。；Guibas，LJ，The earth mover’s distance as a metric for image retrieval，国际计算机杂志。视觉。，40, 99-121 (2000) ·Zbl 1012.68705号
[51] Rubner，Y。；托马西，C。；Guibas，LJ，The earth mover’s distance as a metric for image retrieval，国际计算机杂志。视觉。，40, 99-121 (2000) ·Zbl 1012.68705号
[52] Salimans，T.，Zhang，H.，Radford，A.，Metaxas，D.：使用最佳传输改进GAN。参加：学习代表国际会议（2018年）
[53] Sanjabi，M.，Ba，J.，Razaviyayn，M，Lee，J.D.：关于训练具有正则最优传输的GAN的收敛性和鲁棒性。主题：神经信息处理系统进展31（2018）
[54] Santambrogio，F.，《应用数学家的最佳运输》（2015），纽约：Birkäuser，纽约·Zbl 1401.49002号
[55] 施密特，M。；Le Roux，N。；Bach，F.，用随机平均梯度最小化有限和，数学。程序。，162, 83-112 (2017) ·Zbl 1358.90073号
[56] Schmitzer，B.，密集最优传输的稀疏多尺度算法，J.Math。成像视觉。，56, 238-259 (2016) ·Zbl 1351.49037号
[57] Schrödinger，E.：Uber die umkehrung der naturgesetze。Sitzungsberichte Preuss公司。阿卡德。威斯。柏林。物理学。数学。144:144-153 (1931)
[58] Scieur，D。；d'Aspremont，A。；Bach，F.，正则化非线性加速度，高级神经信息处理。系统。，29, 712-720 (2016) ·Zbl 1434.90198号
[59] Sinkhorn，R.，《任意正矩阵和双随机矩阵之间的关系》，《数学年鉴》。Stat.，35，876-879（1964）·Zbl 0134.25302号
[60] R.Sinkhorn。；Knopp，P.，关于非负矩阵和双随机矩阵，Pac。数学杂志。，21, 343-348 (1967) ·Zbl 0152.01403号
[61] 所罗门，J。；德戈斯，F。；佩雷，G。；库图里，M。；Butscher，A。；Nguyen，A。；杜，T。；Guibas，L.，卷积Wasserstein距离：几何域上的有效最优传输，ACM Trans。图表。，34, 66:1-66:11 (2015) ·Zbl 1334.68267号
[62] Székely，G.J.，Rizzo，M.L.：高维均匀分布测试。国际统计局（2004）
[63] Thibault，A.，Chizat，L.，Dossal，C.H.，Papadakis，N.：正则化最优运输的过度松弛Sinkhorn-Knopp算法。参加：美国长滩NIPS’17最佳运输和机器学习研讨会（2017年）
[64] 维拉尼，C.：《最佳交通专题》，《数学研究生课程》第58卷。美国数学学会（2003）·Zbl 1106.90001号
[65] 维拉尼（Villani，C.）：《最佳交通：新旧》（Optimal Transport:Old and New），第338卷，《德国数学杂志》（Grundlehren der mathematischen Wissenschaften）。施普林格（2009）·兹比尔1156.53003
[66] 严，J。；邓，C。；罗，L。；王，X。；姚，X。；沈，L。；Huang，H.，使用基于Wasserstein距离的矩阵回归识别用于预测认知评估的成像标记，Front。神经科学。，13, 668 (2019)
[67] Yang，Y。；Engquist，B。；孙，J。；Hamfeldt，BF，最佳传输和二次Wasserstein度量在全波形反演中的应用，地球物理学，83，1，R43-R62（2018）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。