×

黎曼优化的Broyden类拟Newton方法。 (英语) Zbl 1461.65156号

摘要:本文发展并分析了Broyden类拟Newton方法对黎曼流形上光滑目标函数最小化问题的推广。导出了一个关于矢量传输和收缩的条件,该条件保证了收敛性并有助于有效计算。实验证据表明,与现有的黎曼BFGS方法相比,该方法在某些问题上具有更好的性能,特别是那些依赖于差异收缩的问题,从而证明了对黎曼Broyden类的扩展的价值。

MSC公司:

65千5 数值数学规划方法
90立方厘米 抽象空间中的编程
90元53 拟Newton型方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] P.-A.Absil、C.G.Baker和K.A.Gallivan,《黎曼流形上的信赖域方法》,发现。计算。数学。,7(2007),第303-330页·Zbl 1129.65045号
[2] P.-A.Absil、R.Mahony和R.Sepulchre,《矩阵流形上的优化算法》,普林斯顿大学出版社,新泽西州普林斯顿,2008年·Zbl 1147.65043号
[3] R.L.Adler、J.-P.Dedieu、J.Y.Margulies、M.Martens和M.Shub,《关于黎曼流形和人类脊椎几何模型的牛顿方法》,IMA J.Numer。分析。,22(2002),第359-390页·Zbl 1056.92002号
[4] B.Afsari,R.Tron,R.Vidal,{关于寻找黎曼质心的梯度下降收敛性},SIAM J.控制优化。,51(2013),第2230-2260页·Zbl 1285.90031号
[5] C.G.Baker,P.-A.Absil和K.A.Gallivan,《黎曼流形上的隐式信任域方法》,IMA J.Numer。分析。,28(2008),第665-689页·Zbl 1158.65320号
[6] D.A.Bini和B.Iannazzo,{计算对称正定矩阵的Karcher平均},线性代数应用。,438(2013),第1700-1710页·Zbl 1268.15007号
[7] W.M.Boothby,《可微流形和黎曼几何导论》,第二版,学术出版社,佛罗里达州奥兰多,1986年·Zbl 0596.53001号
[8] N.Boumal和P.-A.Absil,{it RTRMC:低秩矩阵完成的黎曼信任区域方法},神经信息处理系统(NIPS)进展,24(2011),第406-414页。
[9] I.Brace和J.H.Manton,{计算加权低阶近似的改进BFGS-on-manfold算法},第17届网络与系统数学理论国际研讨会论文集,2006年,第1735-1738页。
[10] R.H.Byrd、D.C.Liu和J.Nocedal,{关于Broyden类拟Newton方法的行为},SIAM J.Optim。,2(1992年),第533-557页·Zbl 0770.90063号
[11] R.H.Byrd,J.Nocedal,Y.-X.Yuan,{凸问题上一类拟Newton方法的全局收敛性},SIAM J.Numer。分析。,24(1987),第1171-1190页·Zbl 0657.65083号
[12] W.Dai、E.Kerman和O.Milenkovic,{低秩矩阵完成的几何方法},IEEE Trans。通知。《理论》,58(2012),第237-247页·Zbl 1365.15037号
[13] W.C.Davidon,{无线搜索的最优条件优化算法},数学。编程,9(1975),第1-30页·Zbl 0328.90055号
[14] J.E.Dennis,Jr.和R.B.Schnabel,{无约束优化和非线性方程的数值方法},普伦蒂斯·霍尔,恩格尔伍德悬崖,新泽西州,1983年·Zbl 0579.65058号
[15] D.Gabay,{\it最小化微分流形上的可微函数},J.Optim。理论应用。,37(1982),第177-219页·Zbl 0458.90060号
[16] A.Griewank和P.L.Toint,{分区拟Newton更新的局部收敛分析},Numer。数学。,29(1982),第429-448页·Zbl 0505.65018号
[17] W.Huang,{黎曼流形上的优化算法及其应用},佛罗里达州立大学数学系博士论文,佛罗里达州塔拉哈西,2013年。
[18] W.Huang,P.-A.Absil和K.A.Gallivan,《黎曼对称秩一信任域方法》,数学。程序。,150(2015),第179-216页·Zbl 1314.65083号
[19] C.Liu和S.A.Vander Wiel,《统计准纽顿:至少改变的新视角》,SIAM J.Optim。,18(2007年),第1266-1285页·Zbl 1207.65086号
[20] D.G.Luenberger,{沿测地线的梯度投影法},管理科学。,18(1972年),第620-631页·Zbl 0253.90050号
[21] B.Mishra、G.Meyer和R.Sepulchre,{距离矩阵完成的低秩优化},《第50届IEEE决策与控制会议和欧洲控制会议论文集》,IEEE,新泽西州皮斯卡塔韦,2011年,第4455-4460页。
[22] J.Nocedal和S.J.Wright,{数值优化},第二版,Springer,纽约,2006年·Zbl 1104.65059号
[23] C.Qi,{黎曼流形上的数值优化方法},佛罗里达州立大学数学系博士论文,佛罗里达州塔拉哈西,2011年。
[24] C.Qi,K.A.Gallivan和P.-A.Absil,{一种有效的黎曼优化BFGS算法},《第19届网络与系统数学理论国际研讨会论文集》(MTNS 2010),2010年,第2221-2227页。
[25] C.Qi、K.A.Gallivan和P.-A.Absil,{黎曼BFGS算法及其应用},《优化及其在工程中的应用的最新进展》,柏林斯普林格出版社,海德堡,2010年,第183-192页。
[26] W.Ring和B.Wirth,{黎曼流形上的优化方法及其在形状空间中的应用},SIAM J.Optim。,22(2012),第596-627页·Zbl 1250.90111号
[27] O.Sander,{Cosserat杆的测地有限元},国际。J.数字。方法工程,82(2010),第1645-1670页·Zbl 1193.74157号
[28] B.Savas和L.H.Lim,{关于Grassmannians和张量的多线性近似的拟Newton方法},SIAM J.Sci。计算。,32(2010年),第3352-3393页·Zbl 1226.65058号
[29] M.Seibert、M.Kleinsteuber和K.Huöper,{黎曼流形上BFGS方法的性质},《数学系统理论C纪念乌维·赫尔姆克六十岁生日的节日》,2013年,第395-412页。
[30] S.E.Selvan、U.Amato、K.A.Gallivan和C.Qi,{源自适应ICA对比斜流形上的下降算法},IEEE Trans。神经网络。学习。系统。,23(2012),第1930-1947页。
[31] H.Shen、K.Hu¨per和M.Kleinsteuber,{关于fastICA算法和一些推广},《信号、系统和控制中的数值线性代数》80,施普林格,荷兰,2011年,第403-432页·Zbl 1251.65007号
[32] S.T.Smith,{黎曼流形上的优化技术},哈密顿和梯度流,算法和控制,3(1994),第113-136页·Zbl 0816.49032号
[33] B.Vandereycken,{利用黎曼优化完成低秩矩阵},SIAM J.Optim。,23(2013),第1214-1236页·Zbl 1277.15021号
[34] Y.Zhang和R.P.Tewarson,{具有Broyden家族预凸部分更新的准Newton算法},IMA J.Numer。分析。,8(1988年),第487-509页·Zbl 0661.65061号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。