×

计算具有未知支撑的Wasserstein重心的不精确PAM方法。 (英语) Zbl 1476.90268号

小结:Wasserstein重心是离散概率分布集合的质心,该集合最小化了(ell_2)-Wassersstein距离的平均值。本文主要研究支持点自由的情况下Wasserstein重心的计算,由于支持点的大规模和非凸性,这是D2聚类中的一个严重瓶颈。我们提出了一种计算近似Wasserstein重心的非精确近似交替极小化(iPAM)方法,并给出了其全局收敛性分析。当重心的未知支撑点基数较低时,该方法可以在降低计算成本的情况下获得较好的精度。与3块B-ADMM的数值比较[J.叶等,IEEE Trans。信号处理。65,第9期,2317–2332(2017年;Zbl 1414.94709号)]一种涉及合成数据和实际数据的LP子问题的交替最小化方法表明,所提出的iPAM可以在更少的CPU时间内产生可比较甚至更好的目标值,因此,计算出的重心将在D2-聚类中发挥更好的作用。

MSC公司:

90C26型 非凸规划,全局优化
49J52型 非平滑分析
65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Attouch,H。;波尔特,J。;Redont,P。;Soubeyran,A.,《非凸问题的近似交替极小化和投影方法:基于Kerdyka-Łojasiewicz不等式的方法》,Math Oper Res,35,438-457(2010)·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[2] Attouch,H。;博尔特,J。;Svaiter,BF,《半代数和驯服问题下降方法的收敛性:近似算法、前向-后向分裂和正则化高斯-赛德尔方法》,数学程序,137,91-129(2013)·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[3] 博尔特,J。;Danilidis,A。;Lewis,A.,非光滑子分析函数的Lojasiewicz不等式及其在次梯度动力系统中的应用,SIAM J Optim,17,1205-1223(2006)·Zbl 1129.26012号 ·doi:10.1137/050644641
[4] 博尔特,J。;萨巴赫,S。;Teboulle,M.,非凸和非光滑问题的近似交替线性化最小化,数学程序,146,459-494(2014)·Zbl 1297.90125号 ·doi:10.1007/s10107-013-0701-9
[5] 陈,CH;He,理学学士;Ye,YY;Yuan,XM,多块凸极小化问题ADMM的直接扩展不一定收敛,数学程序,155,57-79(2016)·Zbl 1332.90193号 ·doi:10.1007/s10107-014-0826-5
[6] Cuturi M(2013)《下沉喇叭距离:最佳运输的光速计算》。摘自:《神经信息处理系统进展学报》,26:2292-2300
[7] 库图里,M。;Doucet,A.,Wasserstein重心的快速计算,机器学习国际会议论文集,32,685-693(2014)
[8] 法泽尔,M。;Pong,TK公司;孙,DF;Tseng,P.,Hankel矩阵秩最小化及其在系统识别和实现中的应用,SIAM J matrix Ana,34,946-977(2013)·Zbl 1302.90127号 ·doi:10.1137/110853996
[9] 加贝,D。;Mercier,B.,通过有限元近似解非线性变分问题的对偶算法,计算数学应用,217-40(1976)·Zbl 0352.65034号 ·doi:10.1016/0898-1221(76)90003-1
[10] 格洛温斯基,R。;Marrocco,A.,《Sur l’approximation paréléments finish d’ordre un,etla résolution,par pénalisation quality,'une class de problèmes de dirichlet nonéares,Revue Francaise d’Automatique,Informatique et Recherche Opérationelle,9,41-76(1975)·Zbl 0368.65053号 ·doi:10.1051/m2安/197509R200411
[11] 古罗比优化公司(2020)古罗比优化器参考手册,网址:http://www.gurobi.com
[12] 韩博士;孙,DF;Zhang,LW,凸组合规划的交替方向乘数法的线性速度收敛性,Math Oper Res,43,622-637(2017)·Zbl 1440.90047号 ·doi:10.1287/门.2017.0875
[13] 洪,M。;拉扎维亚因,M。;罗,ZQ;Pang,JS,《涉及大数据的块结构优化的统一算法框架:在机器学习和信号处理中的应用》,IEEE signal Process Mag,33,57-77(2016)·doi:10.1109/MSP.2015.2481563
[14] 李,J。;Wang,JZ,实时计算机图像注释,IEEE Trans-Pattern Ana Mach Intell,30985-1002(2008)·doi:10.1109/TPAMI.2007.70792
[15] Mallows,CL,关于渐近联合正态性的注记,《数学统计年鉴》,43,508-515(1972)·Zbl 0238.60017号 ·doi:10.1214/aoms/1177692631
[16] 贝利·O、沃曼·M(2009)《快速而稳健的推土机距离》。摘自:IEEE计算机视觉国际会议论文集,1:460-467
[17] 拉扎维亚因,M。;洪,M。;Luo,ZQ,非光滑优化的块连续最小化方法的统一收敛性分析,SIAM J Optim,2311126-1153(2013)·Zbl 1273.90123号 ·doi:10.1137/120891009
[18] Rockafellar,RT,凸分析(1970),普林斯顿:普林斯顿大学出版社,普林斯顿·Zbl 0932.90001号 ·doi:10.1515/9781400873173
[19] Rockafellar,RT公司;Wets,RJ-B,变分分析(1998),柏林:施普林格出版社,柏林·Zbl 0888.49001号 ·doi:10.1007/978-3-642-02431-3
[20] Rubner,Y。;托马西,C。;Guibas,LJ,The Earth mover’s distance as a metric for image retrieval,国际计算机视觉杂志,40,99-121(2000)·Zbl 1012.68705号 ·doi:10.1023/A:1026543900054
[21] Shen L,Pan SH(2016)凸组合优化中KKT残差上sPADMM的加权迭代复杂度。arXiv公司:1611.03167
[22] Tseng,P.,不可微极小化的块坐标下降法的收敛性,最优化理论应用杂志,109,475-494(2001)·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[23] 曾,P。;Yun,SW,非光滑可分离极小化的坐标梯度下降法,数学程序,117387-423(2009)·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0
[24] 维拉尼,C.,《最佳交通:新旧》(2008),纽约:施普林格,纽约·Zbl 1156.53003号
[25] Wang H,Banerjee A(2014)Bregman交替方向乘数法。摘自:神经信息处理系统进展论文集,2:2816-2824
[26] 徐,YY;Yin,WT,正则化多凸优化的块坐标下降方法及其在非负张量分解和补全中的应用,SIAM J Imaging Sci,61758-1789(2013)·Zbl 1280.49042号 ·数字对象标识代码:10.1137/120887795
[27] 徐,YY;Yin,WT,基于块坐标更新的非凸优化的全局收敛算法,科学计算杂志,72,700-734(2017)·Zbl 1378.65126号 ·doi:10.1007/s10915-017-0376-0
[28] Yang L,Li J,Sun DF,Toh KC(2018)计算Wasserstein重心的快速全局线性收敛算法。arXiv:1809.04249
[29] Ye JB,Li J(2014)使用ADMM扩大离散分布聚类。摘自:图像处理国际会议记录,第5267-5271页
[30] 叶,JB;吴,公关;王,JZ;Li,J.,使用稀疏支持的Wasserstein重心快速离散分布聚类,IEEE Trans-Signal Process,652317-2332(2017)·Zbl 1414.94709号 ·doi:10.1010/TSP.2017.2659647
[31] Zhang,Y。;王,JZ;Li,J.,离散分布的并行大规模聚类,ACM Trans Multimedia Compute Commun Appl,11,49:1-49:24(2015)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。