Antonin Chambolle；胡安·巴勃罗·孔特雷拉斯 加速Bregman原对偶方法应用于最优运输和Wasserstein重心问题。 （英语） Zbl 1514.65079号 SIAM J.数学。数据科学。 第4期，1369-1395（2022）. 摘要：本文讨论了混合原对偶（HPD）型算法在有熵正则化和无熵正则化的情况下近似求解离散最优传输（OT）和Wasserstein重心（WB）问题的效率。我们的第一个贡献是分析表明，这些方法在理论和实践上都能产生最先进的收敛速度。接下来，我们用下面提出的线性搜索扩展了HPD算法Y.马利茨基和T.波克[SIAM J.Optim.28，第1期，411-432（2018；Zbl 1390.49033号)]在2018年，对偶空间具有Bregman发散性，对偶函数对Bregman核是相对强凸的。这种扩展产生了一种基于目标平滑的OT和WB问题的新方法，该方法也达到了最先进的收敛速度。最后，我们引入了一种新的基于标度熵函数的Bregman散度，使算法在数值上稳定，并减少了平滑，从而导致OT和WB问题的稀疏解。我们用数值实验和比较来补充我们的发现。 引用于1文件 MSC公司： 65K99美元 数学规划、优化和变分技术的数值方法 65年20月 数值算法的复杂性和性能 第49季度22 最佳运输 90C05（二氧化碳） 线性规划 90摄氏度06 数学规划中的大尺度问题 90C08型 线性规划的特殊问题（运输、多指标、数据包络分析等） 90立方厘米 数学规划中的极小极大问题 关键词：原对偶方法；最佳运输；瓦瑟斯坦重心；鞍点 引文：Zbl 1390.49033号 软件：Wasserstein甘；电位计 PDF格式BibTeX公司 XML格式引用 \textit{A.Chambolle}和\textit{J.P.Contreras}，SIAM J.数学。数据科学。4，编号4，1369--1395（2022；兹bl 1514.65079） 全文： DOI程序 arXiv公司 参考文献： [1] Allen-Zu，Z.，Li，Y.，Oliveira，R.和Wigderson，A.，《矩阵缩放的更快算法》，载于2017年IEEE第58届计算机科学基础研讨会论文集，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2017年，第890-901页，doi:10.1109/FOCS.2017.87。 [2] Altschuler，J.、Niles-Weed，J.和Rigollet，P.，通过sinkhorn迭代实现最优运输的近线性时间近似算法，摘自《神经信息处理系统进展》2017年第30期，https://proceedings.neurips.cc/paper/2017/file/491442df5f88c6aa018e86dac21d3606-paper.pdf。 [3] Arjovsky，M.、Chintala，S.和Bottou，L.，Wasserstein生成对抗性网络，载于《第34届机器学习国际会议论文集-第70卷》，ICML'172017，第214-223页。 [4] Bauschke，H.H.，Bolte，J.和Teboulle，M.，超越Lipschitz梯度连续性的下降引理：一阶方法重访与应用，数学。操作。研究，42（2017），第330-348页，doi:10.1287/moor.2016.0817·Zbl 1364.90251号 [5] Bauschke，H.H.、Borwein，J.M.和Combettes，P.L.，《基本光滑性、基本严格凸性和巴拿赫空间中的勒让德函数》，Commun。康斯坦普。数学。，3（2001），第615-647页，doi:10.1142/S02199701000524·Zbl 1032.49025号 [6] Benamou，J.-D.、Carlier，G.、Cuturi，M.、Nenna，L.和Peyré，G.，正则化运输问题的迭代Bregman预测，SIAM J.Sci。计算。，37（2015），第A1111-A1138页，doi:10.1137/141000439·Zbl 1319.49073号 [7] Bigot，J.、Gouet，R.、Klein，T.和López，A.，通过凸PCA在Wasserstein空间中进行测地PCA，Ann.Inst.H.PoincaréProbab。统计人员。，53（2017），第1-26页，doi:10.1214/15-AIHP706·Zbl 1362.62065号 [8] Blanchet，J.、Jambulapati，A.、Kent，C.和Sidford，A.，《迈向最佳运输运行时间》，预印本，https://arxiv.org/abs/1810.07717，2018年。 [9] Blondel，M.、Seguy，V.和Rolet，A.，《平滑和稀疏最优运输》，载于《第二十届第一届国际人工智能与统计会议论文集》，2018年，第880-889页，https://proceedings.mlr.press/v84/blondel18a.html。 [10] Bonneel，N.，Rabin，J.，Peyré，G.和Pfister，H.，Sliced和Radon-Wasserstein测量重心，J.数学。《成像视觉》，51（2015），第22-45页，doi:10.1007/s10851-014-0506-3·兹比尔1332.94014 [11] Bonneel，N.、Van De Panne，M.、Paris，S.和Heidrich，W.，使用拉格朗日质量传输的位移插值，《2011年SIGGRAPH亚洲会议论文集》，2011年，第1-12页。 [12] Chambolle，A.和Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。《成像视觉》，40（2011），第120-145页，doi:10.1007/s10851-010-0251-1·Zbl 1255.68217号 [13] Chambolle，A.和Pock，T.，关于一阶原对偶算法的遍历收敛速度，数学。程序。，159（2016），第253-287页，doi:10.1007/s10107-015-0957-3·Zbl 1350.49035号 [14] Chen，G.和Teboulle，M.，使用Bregman函数的近似最小化算法的收敛性分析，SIAM J.Optim。，3（1993），第538-543页，doi:10.1137/0803026·Zbl 0808.90103号 [15] Cohen，M.B.、Madry，A.、Tsipras，D.和Vladu，A.，通过框约束牛顿法和内点法进行矩阵缩放和平衡，收录于IEEE第58届计算机科学基础年会（FOCS）会议记录，2017年，第902-913页，doi:10.1109/FOCS.2017.88。 [16] Cuturi，M.，《Sinkhorn距离：最优传输的光速计算》，摘自《第26届神经信息处理系统国际会议论文集》，2013年，第2292-2300页，https://proceedings.neurips.cc/paper/2013/file/af21d0c97db2e27e13572cbf59eb343d-paper.pdf。 [17] Dvinskikh，D.和Tiapkin，D.，《Wasserstein重心问题的改进复杂性界限》，《人工智能与统计国际会议论文集》，PMLR，2021年，第1738-1746页。 [18] Dvurechensky，P.、Gasnikov，A.和Kroshnin，A.，《计算最优传输：加速梯度下降的复杂性优于Sinkhorn算法》，载《国际机器学习会议论文集》，PMLR，2018年，第1367-1376页。 [19] Essid，M.和Solomon，J.，图上的二次正则最优传输，SIAM J.科学。计算。，40（2018），第A1961-A1986页，doi:10.1137/17M1132665·Zbl 1394.65041号 [20] Flamary，R.、Courty，N.、Gramfort，A.、Alaya，M.Z.、Boisbunon，A.、Chambon，S.、Chapel，L.、Corenflos，A.、Fatras，K.、Fornier，N.，Gautheron，L.，Gayraud，N.T.、Janati，H.、Rakotomamonjy，A.、Redko，I.、Rolet，A.、Schutz，A.、Seguy，V.、Sutherland，D.J.、Tavenard，R.，Tong，A.和Vayer，T.，Pot:Python最优运输，J.Mach。学习。Res.，22（2021），第1-8页，http://jmlr.org/papers/v22/20-451.html。 ·Zbl 07370595号 [21] Guminov，S.、Dvurechensky，P.、Tupitsa，N.和Gasnikov，A.，《交替最小化和Nesterov动量的组合》，《机器学习国际会议论文集》，PMLR，2021年，第3886-3898页。 [22] Guo，W.，Ho，N.和Jordan，M.，计算最优运输的快速算法和Wasserstein重心，《国际人工智能与统计会议论文集》，PMLR，2020年，第2088-2097页。 [23] Ho，N.，Nguyen，X.，Yurochkin，M.，Bui，H.H.，Huynh，V.，and Phung，D.，《通过Wasserstein方法进行多级聚类》，《机器学习国际会议论文集》，PMLR，2017年，第1501-1509页。 [24] Jambulapati，A.、Sidford，A.和Tian，K.，优化运输的直接迭代并行算法，收录于《神经信息处理系统进展》，2019年。 [25] Jiang，X.和Vandenberghe，L.，Bregman原对偶一阶方法及其在稀疏半定规划中的应用，计算。最佳方案。申请。，81（2022），第127-159页，doi:10.1007/s10589-021-00339-7·Zbl 1484.90065号 [26] Kroshnin，A.、Tupitsa，N.、Dvinskikh，D.、Dvurechensky，P.、Gasnikov，A.和Uribe，C.，《关于逼近Wasserstein重心的复杂性》，《机器学习国际会议论文集》，PMLR，2019年，第3530-3540页。 [27] Kusner，M.、Sun，Y.、Kolkin，N.和Weinberger，K.，《从单词嵌入到文档距离》，《机器学习国际会议论文集》，PMLR，2015年，第957-966页。 [28] Lan，G.和Zhou，Y.，最优随机增量梯度法，数学。程序。，171（2018），第167-215页，doi:10.1007/s10107-017-1173-0·兹比尔1432.90115 [29] Lee，C.、Luo，H.、Wei，C.和Zhang，M.，约束鞍点优化中的线性最后迭代收敛，预印本，https://arxiv.org/abs/2006.09517, 2020. [30] Lee，C.-W.，Kroer，C.和Luo，H.，《扩展形式游戏中的最后迭代收敛》，预印本，https://arxiv.org/abs/2106.14326, 2021. [31] Lee，Y.T.和Sidford，A.，《线性规划的高效逆维护和快速算法》，载于IEEE第56届计算机科学基础年度研讨会论文集，IEEE，2015年，第230-249页。 [32] Lin，T.，Ho，N.，Chen，X.，Cuturi，M.和Jordan，M.，《固定支撑Wasserstein重心：计算硬度和快速算法》，in，Curran Associates，2020年，第5368-5380页，https://proceedings.neurips.cc/paper/2020/file/3a029f04d76d32e79367c4b3255dda4d-paper.pdf。 [33] Lin，T.，Ho，N.和Jordan，M.，《关于有效的最优运输：贪婪和加速镜像下降算法的分析》，第36届机器学习国际会议论文集，2019年，第3982-3991页。 [34] Lu，H.，Freund，R.M.和Nesterov，Y.，采用一阶方法的相对光滑凸优化及其应用，SIAM J.Optim。，28（2018），第333-354页，doi:10.1137/16M1099546·Zbl 1392.90090号 [35] Malitsky，Y.和Pock，T.，带线性搜索的一阶原对偶算法，SIAM J.Optim。，28（2018），第411-432页，doi:10.1137/16M1092015·Zbl 1390.49033号 [36] Nemirovski，A.，关于Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的具有收敛速度（O（1/t））的Prox方法，SIAM J.Optim。，15（2004），第229-251页，doi:10.1137/S1052623403425629·Zbl 1106.90059号 [37] Nesterov，Y.，非光滑函数的平滑最小化，数学。程序。，103（2005），第127-152页，doi:10.1007/s10107-004-0552-5·Zbl 1079.90102号 [38] Nesterov，Y.，对偶外推及其在求解变分不等式和相关问题中的应用，数学。程序。，109（2007），第319-344页，doi:10.1007/s10107-006-0034-z·Zbl 1167.90014号 [39] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM J.Optim。，22（2012），第341-362页，doi:10.1137/100802001·Zbl 1257.90073号 [40] Peyré，G.和Cuturi，M.，《计算最优运输》，预印本，https://arxiv.org/abs/1803.00567, 2018. [41] Rabin，J.、Ferradans，S.和Papadakis，N.，《放松最佳传输的自适应颜色传输》，载于2014年IEEE图像处理国际会议（ICIP）论文集，IEEE，2014年，第4852-4856页。 [42] Rockafellar，R.T.，《凸分析》，普林斯顿大学出版社，新泽西州普林斯顿，1997年；重印1970年原版《普林斯顿平装本》·Zbl 0932.90001号 [43] Rüschendorf，L.和Uckelmann，L.，关于n耦合问题，《多元分析杂志》。，81（2002），第242-258页，doi:10.1006/jmva.2001.2005·Zbl 1011.62052号 [44] Sherman，J.，区域凸性，正则化和无向多商品流，《第49届ACM SIGACT计算理论研讨会论文集》，2017年，第452-460页·Zbl 1370.90050 [45] Silveti Falls，A.，Molinari，C.和Fadili，J.，用于组合优化的随机Bregman原始对偶分裂算法，预印本，https://arxiv.org/abs/112.11928, 2021. [46] Tseng，P.，《凸凹优化的加速近端梯度方法》，未出版，2008年，https://www.mit.edu/～dimitrib/PTseng/papers/apgm.pdf。 [47] Tsybakov，A.B.，《非参数估计导论》，施普林格，纽约，2009年，doi:10.1007/b13794，由Vladimir Zaiats翻译，从2004年法语原文修订和扩展而来·Zbl 1029.62034号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。