×

最小化拟凸函数和的增量拟次梯度方法。 (英语) Zbl 1432.90112号

摘要:比率总和问题在经济和管理科学中有着各种重要的应用,但很难在全球范围内解决这个问题。在本文中,我们考虑了闭凸集上许多不可微拟凸分量函数之和的最小化问题。拟凸分量函数的和不一定是拟凸的,因此,本研究超越了拟凸优化。利用和最小问题的结构,我们提出了一种新的增量拟次梯度方法,并研究了在齐次假设和Hölder条件下,当使用常数、递减或动态步长规则时,该方法收敛到全局最优值/解的性质。为了节省大量分量函数次梯度的计算成本,我们进一步提出了一种随机增量拟次梯度方法,在每次迭代中只随机选择一个分量函数来构造次梯度方向。根据函数值获得了收敛性,并以概率1迭代。将所提出的增量拟次梯度方法应用于求解拟凸可行性问题、比率和问题以及多重Cobb-Douglas生产效率问题,数值结果表明所提出的方法对于求解大规模比率和问题是有效的。

MSC公司:

90立方厘米25 凸面编程
90C26型 非凸规划,全局优化

软件:

阿达格拉德
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Almology,Y。;Levin,O.,多阶段随机运输问题的参数分析,Oper。决议,69,359-370(1970)
[2] 澳大利亚银行。;Teboulle,M.,不可微凸极小化和变分不等式的非欧几里德距离投影次梯度方法,数学。程序。,120, 27-48 (2009) ·Zbl 1190.90118号
[3] Aussel博士。;Danilidis,A.,拟凸函数主要类的正规刻划,集值分析。,8, 219-236 (2000) ·Zbl 0968.52001
[4] Avriel,M.,Diewert,W.E.,Schaible,S.,Zang,I.:广义凹面。纽约Plenum出版社(1988)·Zbl 0679.90029号
[5] Bauschke,HH;Borwein,JM,《关于求解凸可行性问题的投影算法》,SIAM Rev.,38,367-426(1996)·Zbl 0865.47039号
[6] Benson,H.,比率和分式程序的分枝定界外近似算法,J.Optim。理论应用。,146,1-18(2010年)·Zbl 1206.90188号
[7] Bertsekas,D.P.:凸优化算法。雅典娜科技,贝尔蒙特(2015)·Zbl 1347.90001号
[8] Bertsekas,DP,大型凸优化的增量近似方法,数学。程序。,129163-195(2011年)·Zbl 1229.90121号
[9] Bertsekas,D.P.,Tsitsiklis,J.N.:神经动力学编程。雅典娜科学,贝尔蒙特(1996)·Zbl 0924.68163号
[10] 布拉德利,SP;Frey,SC,齐次函数分数编程,Oper。研究,22350-357(1974)·Zbl 0282.90044号
[11] Censor,Y。;Segal,A.,拟凸可行性问题的算法,J.Compute。申请。数学。,185, 34-50 (2006) ·Zbl 1080.65047号
[12] 科兰托尼,CS;马内斯,RP;Whinston,A.,《编程、利润率和定价决策》,Account。修订版,44,467-481(1969)
[13] Crouzeix,J.-P.,Martinez-Legaz,J.-E.,Volle,M.(编辑):广义凸性,广义单调性。Kluwer学术出版社,Dordrecht(1998)·Zbl 0931.90036号
[14] 杜奇,J。;哈赞,E。;Singer,Y.,在线学习和随机优化的自适应次梯度方法,J.Mach。学习。第12号决议,2121-2159(2011年)·兹比尔1280.68164
[15] Ermoliev,YM,非线性极值问题的求解方法,Cybern。系统。分析。,2, 1-14 (1966)
[16] 弗伦德,RW;Jarre,F.,用内点法求解比率和问题,J.Glob。最佳。,1983-102(2001)·Zbl 1168.90644号
[17] HJ格林伯格;Pierskalla,WP,拟共轭函数和代理对偶,Cahiers Centre Etures Recherche Opérationnelle,15437-448(1973)·Zbl 0276.90051号
[18] 戈芬,J-L;罗,Z-Q;Ye,Y。;Hager,WW(编辑);Hearn,DW(编辑);Pardalos,PM(ed.),关于凸或拟凸可行性问题列生成算法的复杂性,182-191(1994),Dordrecht·Zbl 0818.90086号
[19] Hadjisavvas,N.,Komlósi,S.,Schaible,S.(编辑):广义凸性和广义单调性手册。施普林格,纽约(2005)·Zbl 1070.26002号
[20] 胡,Y。;李,C。;杨,X.,关于凸组合优化线性化近似算法的收敛速度及其应用,SIAM J.Optim。,26, 1207-1235 (2016) ·兹比尔1338.65159
[21] 胡,Y。;杨,X。;Sim,C-K,拟凸优化问题的非精确次梯度方法,Eur.J.Oper。Res.,240,315-327(2015)·Zbl 1357.90116号
[22] 胡,Y。;Yu,CKW;李,C.,拟凸优化问题的随机次梯度方法,J.非线性凸分析。,17, 711-724 (2016) ·Zbl 1339.65077号
[23] 胡,Y。;Yu,CKW;李,C。;杨,X.,约束拟凸优化问题的条件次梯度方法,J.非线性凸分析。,17, 2143-2158 (2016) ·兹比尔1356.65153
[24] 黄,X。;杨,X.,对偶和精确惩罚的统一增广拉格朗日方法,数学。操作。决议,28,533-552(2003)·Zbl 1082.90135号
[25] Johansson,B。;拉比,M。;Johansson,M.,网络系统分布式优化的随机增量次梯度方法,SIAM J.Optim。,20, 1157-1170 (2009) ·Zbl 1201.65100号
[26] Kiwiel,KC,拟凸极小化的次梯度方法的收敛性和效率,数学。程序。,90, 1-25 (2001) ·兹比尔0986.90034
[27] Kiwiel,KC,凸优化近似和增量次梯度方法的收敛性,SIAM J.Optim。,14, 807-840 (2004) ·Zbl 1063.90039号
[28] 科诺,H。;Inoi,M.,《基于双线性分式规划的债券投资组合优化》,J.Oper。Res.Soc.Jpn.公司。,32, 143-158 (1989) ·Zbl 0675.90011号
[29] Konnov,IV,《关于支持向量和拟支持向量的性质》,J.Math。科学。,712760-2763(1994年)·Zbl 1264.90141号
[30] Konnov,IV,关于次梯度方法的收敛性,Optim。方法软件。,18, 53-62 (2003) ·Zbl 1062.90048号
[31] 拉尔森,T。;帕特里克森,M。;Strömberg,A-B,条件次梯度优化:理论与应用,欧洲期刊Oper。研究,88,382-403(1996)·Zbl 0913.90225号
[32] Mairal,J.,《应用于大规模机器学习的增量优化-最小化优化》,SIAM J.Optim。,25, 829-855 (2015) ·Zbl 1320.90047号
[33] Nedić,A。;Bertsekas,DP,不可微优化的增量次梯度方法,SIAM J.Optim。,12, 109-138 (2001) ·Zbl 0991.90099号
[34] Nedić,A。;Bertsekas,DP,次梯度方法中确定性噪声的影响,数学。程序。,125, 75-99 (2010) ·Zbl 1205.90225号
[35] Nesterov,Y.,凸问题的原对偶次梯度方法,数学。程序。,120, 221-259 (2009) ·Zbl 1191.90038号
[36] Neto、ESH;Pierro,ARD,约束凸优化的增量次梯度:统一框架和新方法,SIAM J.Optim。,20, 1547-1572 (2009) ·Zbl 1207.65082号
[37] 尼马纳,N。;美联社Farajzadeh;Petrot,N.,分裂拟凸可行性问题的自适应次梯度方法,优化,651885-1898(2016)·兹比尔1358.90099
[38] Polyak,BT,解决极值问题的一般方法,Sov。数学。道克。,8, 593-597 (1967) ·Zbl 0177.15102号
[39] MG拉巴特;Nowak,RD,分布式优化的量化增量算法,IEEE J.Sel。公共区域。,23, 798-808 (2005)
[40] 闸板,不锈钢;Nedić,A。;Veeravalli,VV,凸优化的增量随机次梯度算法,SIAM J.Optim。,2009年6月20日至17日·Zbl 1231.90312号
[41] Schaible,S。;Shi,J.,《分数规划:比率总和案例》,Optim。方法软件。,18, 219-229 (2003) ·Zbl 1070.90115号
[42] 石青(Shi,Q.)。;他,C。;蒋,L.,归一化增量次梯度算法及其应用,IEEE Trans。信号处理。,57, 3759-3774 (2009) ·Zbl 1391.90480号
[43] Shor,N.Z.:不可微函数的最小化方法。施普林格,纽约(1985)·Zbl 0561.90058号
[44] Stancu-Minasian,I.M.:分数编程。Kluwer学术出版社,Dordrecht(1997)·Zbl 0899.90155号
[45] Tan,C.,Ma,S.,Dai,Y.-H.,Qian,Y.:随机梯度下降的Barzilai-Borwein步长。In:NIPS(2016)
[46] 肖,L。;Zhang,T.,带逐步方差缩减的近似随机梯度法,SIAM J.Optim。,24, 2057-2075 (2014) ·Zbl 1321.65016号
[47] Yu,CKW;胡,Y。;杨,X。;Choy,SK,拟凸优化问题的抽象收敛定理及其应用,最优化(2019)·Zbl 1422.90057号 ·doi:10.1080/02331934.2018.1455831
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。