×

计算Wasserstein重心的快速全局线性收敛算法。 (英语) Zbl 07370538号

摘要:我们考虑一组有限支持度离散概率分布的Wasserstein重心计算问题,该问题在统计学、机器学习和图像处理等领域有许多应用。当预先指定重心的支撑点时,该问题可以建模为一个规模非常大的线性规划(LP)问题。为了处理这个大规模LP问题,我们分析了其对偶问题的结构,可以想象,它更容易处理,可以重新表示为一个结构良好的凸问题,具有3种块变量和耦合的线性等式约束。然后,我们采用基于对称高斯-赛德尔的交替方向乘法器方法(sGS-ADMM)来解决由此产生的对偶问题,并建立其全局收敛性和全局线性收敛速度。作为高效计算的关键组成部分,我们还展示了如何准确有效地解决所有涉及的子问题。这使得我们的方法适用于计算大规模数据集上的Wasserstein重心,而无需像通常那样引入熵正则化项。此外,我们的sGS-ADMM可以用作交替最小化方法中的子程序,在未预先指定支撑点的情况下计算重心。在合成数据集和图像数据集上的数值结果表明,与现有的两种代表性方法和商业软件Gurobi相比,我们的方法在求解大规模Wasserstein重心问题上具有很强的竞争力。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] M.Agueh和G.Carlier。瓦瑟斯坦空间的重心。SIAM数学分析杂志,43(2):904-9242011·Zbl 1223.49045号
[2] E.Anderes、S.Borgwardt和J.Miller。离散Wasserstein重心:离散数据的最佳传输。运筹学的数学方法,84(2):389-4092016·Zbl 1353.90074号
[3] H.H.Bauschke和P.L.Combettes。希尔伯特空间中的凸分析和单调算子理论,第408卷。施普林格,2011年·Zbl 1218.47001号
[4] J.-D.Benamou、G.Carlier、M.Cuturi、L.Nenna和G.Peyre’e。正则化运输问题的迭代Bregman投影。SIAM科学计算杂志,37(2):A1111-A11382015·Zbl 1319.49073号
[5] J.Bigot和T.Klein。通过平均最优输运图表征Wasserstein空间中的重心。ESAIM:概率与统计,22:35-572018·Zbl 1409.62049号
[6] S.博格沃德。稀疏Wasserstein重心的基于LP的强多项式2-近似算法。发表于《运筹学》2020年。
[7] S.博格沃德和S.帕特森。离散重心的改进线性规划。INFORMS优化杂志,2(1):14-332020。
[8] G.Carlier、A.Oberman和E.Oudet。团队和Wasserstein重心匹配的数值方法。ESAIM:数学建模与数值分析,49(6):1621-16422015·Zbl 1331.49042号
[9] C.Chen、B.He、Y.Ye和X.Yuan。多块凸最小化问题的ADMM的直接推广不一定是收敛的。数学规划,155(1):57-792016·Zbl 1332.90193号
[10] L.Chen、D.F.Sun和K.-C.Toh。一种高效的基于非精确对称高斯-赛德尔的优化ADMM,用于高维凸组合锥规划。数学规划,161(1-2):237-2702017·Zbl 1356.90105号
[11] L.Chen、X.Li、D.F.Sun和K.-C.Toh。关于一类凸组合规划的不精确近似ALM和ADMM的等价性。出现在2019年《数学规划》杂志上·Zbl 1458.90509号
[12] S.Claici、E.Chien和J.Solomon。随机Wasserstein重心。第35届机器学习国际会议论文集,第80卷,第999-1008页,2018年。
[13] L.康达特。快速投影到单工和1号球上。数学规划,158(1-2):575-5852016·Zbl 1347.49050号
[14] M.Cuturi,《陷坑距离:最佳运输的光速计算》。神经信息处理系统进展,第2292-2300页,2013年。
[15] M.Cuturi和A.Doucet。Wasserstein重心的快速计算。2014年,在机器学习国际会议上,第685-693页。
[16] M.Cuturi和G.Peyr´e。变分Wasserstein问题的光滑对偶方法。SIAM成像科学杂志,9(1):320-3432016·Zbl 1421.49027号
[17] J.A.De Loera和E.D.Kim。组合数学和运输多面体的几何:更新。《当代数学》,625:37-762014·Zbl 1360.90169号
[18] A.Dessein、N.Papadakis和J.-L.Rouas。规则化的最佳运输和搬运距离。机器学习研究杂志,19(1):590-6422018·Zbl 1444.49017号
[19] M.Essid和J.Solomon。图上的二次正则最优传输。SIAM科学计算杂志,40(4):A1961-A19862018·Zbl 1394.65041号
[20] M.Fazel、T.K.Pong、D.F.Sun和P.Tseng。Hankel矩阵秩最小化及其在系统辨识和实现中的应用。SIAM矩阵分析与应用杂志,34(3):946-9772013·Zbl 1302.90127号
[21] D.Gabay和B.Mercier。通过有限元近似求解非线性变分问题的对偶算法。计算机与数学应用,2(1):17-401976·Zbl 0352.65034号
[22] R.Glowinski和A.Marroco。在近似条件下,部分完成了“秩序”等解决方案,部分实现了“二元性”,“非林区Dirichlet问题的统一分类”。法国自动化评论,Informatique,Recherche Op´erationelle,9(R-2):41-761975·Zbl 0368.65053号
[23] 古罗比优化公司。Gurobi Optimizer参考手册,2018年。统一资源定位地址网址://www。gurobi.com。
[24] D.Han、D.F.Sun和L.Zhang。凸组合规划交替方向乘子法的线性速度收敛性。运筹学数学,43(2):622-6372018·Zbl 1440.90047号
[25] B.He、M.Tao和X.Yuan。可分离凸规划的高斯反代换交替方向法。SIAM优化杂志,22(2):313-3402012·Zbl 1273.90152号
[26] X.Y.Lam、J.S.Marron、D.F.Sun和K.-C.Toh。大规模广义距离加权判别的快速算法。计算与图形统计杂志,27(2):368-3792018·Zbl 07498954号
[27] Y.LeCun、L.Bottou、Y.Bengio和P.Haffner。基于梯度的学习应用于文档识别。IEEE会议记录,86(11):2278-23241998。
[28] J.Li和J.Z.Wang。实时计算机化图片注释。IEEE模式分析和机器智能汇刊,30(6):985-10022008。
[29] M.Li、D.F.Sun和K.-C.Toh。具有一个强凸块的凸最小化问题的一个收敛的三块半近端ADMM。《亚洲太平洋运筹学杂志》,32(3):1550024(19p),2015年·Zbl 1327.90214号
[30] X.Li、D.F.Sun和K.-C.Toh。一种基于Schur补码的凸二次锥规划半近似ADMM及其扩展。数学规划,155(1-2):333-3732016·Zbl 1342.90134号
[31] X.Li、D.F.Sun和K.-C.Toh。QSDPNAL:凸二次半定规划的两阶段增广拉格朗日方法。数学规划计算,10(4):703-7432018·Zbl 1411.90213号
[32] R.J.McCann。相互作用气体的凸性原理。数学进展,128(1):153-1791997·Zbl 0901.49012号
[33] A.M.Oberman和Y.Ruan。优化运输的有效线性规划方法。arXiv预印本arXiv:1509.036682015。
[34] G.Peyr´e和M.Cuturi。计算最优运输。基础与趋势机器学习,11(5-6):355-6072019。
[35] J.Rabin、G.Peyr´e、J.Delon和M.Bernot。Wasserstein重心及其在纹理混合中的应用。2011年,在计算机视觉中的尺度空间和变分方法国际会议上,第435-446页。
[36] S.M.Robinson。多面体多函数的一些连续性。Oberwolfach的数学编程,《数学编程研究》第14卷,第206-214页,1981年·Zbl 0449.90090号
[37] R.T.Rockafellar公司。凸分析。普林斯顿大学出版社,普林斯顿,1970年·Zbl 0193.18401号
[38] R.T.Rockafellar和R.J-B.Wets。变异分析。斯普林格,1998年·Zbl 0888.49001号
[39] A.Ruszczy´nski。非线性优化。普林斯顿大学出版社,普林斯顿,2006年·Zbl 1108.90001号
[40] M.A.Schmitz、M.Heitz、N.Bonneel、F.Ngole、D.Coeurjolly、M.Cuturi、G.Peyr´e和J.-L.Starck。Wasserstein字典学习:基于最优传输的无监督非线性字典学习。SIAM成像科学杂志,11(1):643-6782018·兹比尔1437.94027
[41] B.施密策。熵正则传输问题的稳定稀疏缩放算法。SIAM科学计算杂志,41(3):A1443-A14812019·兹比尔1422.49034
[42] J.Solomon、F.De Goes、G.Peyr´e、M.Cuturi、A.Butscher、A.Nguyen、T.Du和L.Guibas。卷积Wasserstein距离:几何域上的有效最优传输。ACM图形交易,34(4):1-112015·Zbl 1334.68267号
[43] D.F.Sun、K.-C.Toh和L.Yang。四类约束二次规划的收敛三块半近似交替方向乘子法。SIAM优化杂志,25(2):882-9152015·Zbl 1328.90083号
[44] C.A.Uribe、D.Dvinskikh、P.Dvurechensky、A.Gasnikov和A.Nedi’C。网络上Wasserstein重心的分布式计算。IEEE决策与控制会议,第6544-6549页,2018年。
[45] 塞德里克·维拉尼。最佳交通:新旧,容量338。施普林格科学与商业媒体,2008年。
[46] H.Wang和A.Banerjee。Bregman交替方向乘数法。《神经信息处理系统进展》,第2816-2824页,2014年。
[47] 谢颖、王晓红、王瑞敏和查浩。计算精确Wasserstein距离的快速近点方法。《机器学习研究论文集》,第115卷,第433-453页,2020年。
[48] J.Ye和J.Li。使用ADMM扩大离散分布聚类。2014年IEEE国际图像处理会议,第5267-5271页。
[49] J.Ye,P.Wu,J.Z.Wang,J.Li。使用稀疏支持的Wasserstein重心进行快速离散分布聚类。IEEE信号处理汇刊,65(9):2317-23322017·Zbl 1414.94709号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。