×

非凸优化问题的无微分收缩的黎曼BFGS方法。 (英语) Zbl 1382.65177号

摘要:基于谨慎更新的黎曼推广和弱线搜索条件,定义了黎曼流形上光滑函数最小化的黎曼BFGS方法。证明了黎曼BFGS方法在不假设目标函数为凸函数的情况下全局收敛到稳定点,并且超线性收敛到非退化极小值。使用弱线搜索条件消除了对差异化收回信息的需要。选择联合矩阵对角化问题来演示算法在不同参数、线搜索条件、收缩和向量传输对下的性能。初步版本见[作者,Lect.Notes Compute.Sci.Eng.112,627–634(2016;Zbl 1352.65153号)].

MSC公司:

65千5 数值数学规划方法
90立方厘米 抽象空间中的编程
90元53 拟Newton型方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] R.L.Adler、J.-P.Dedieu和J.Y.Margulies,《关于黎曼流形的牛顿方法和人类脊椎的几何模型》,IMA J.Numer。分析。,22(2002),第359-390页·Zbl 1056.92002号
[2] P.-A.Absil、R.Mahony和R.Sepulchre,《矩阵流形上的优化算法》,普林斯顿大学出版社,新泽西州普林斯顿,2008年·Zbl 1147.65043号
[3] N.Boumal和P.-A.Absil,{通过格拉斯曼流形上的信赖域完成低秩矩阵},线性代数应用。,475(2014),第200-239页·Zbl 1312.90092号
[4] I.Brace和J.H.Manton,{计算加权低阶近似的改进BFGS-on-manfold算法},第17届网络与系统数学理论国际研讨会论文集,2006年,第1735-1738页。
[5] R.H.Byrd和J.Nocedal,{\it一种用于分析拟牛顿方法并应用于无约束最小化的工具},SIAM J.Numer。分析。,26(1989),第727-739页·Zbl 0676.65061号
[6] W.M.Boothby,《可微流形和黎曼几何导论》,第二版,学术出版社,纽约,1986年·Zbl 0596.53001号
[7] A.Cherian和S.Sra,{正定矩阵的黎曼字典学习和稀疏编码},CoRR,2015年。
[8] Y.-H.Dai,{它是BFGS方法的完美示例},数学。程序。,138(2013),第501-530页·Zbl 1262.49040号
[9] J.E.Dennis和R.B.Schnabel,《无约束优化和非线性方程的数值方法》,Springer,纽约,1983年·Zbl 0579.65058号
[10] D.Gabay,{最小化微分流形上的可微函数},J.Optim。理论应用。,37(1982),第177-219页·Zbl 0458.90060号
[11] K.A.Gallivan、C.Qi和P.-A.Absil,{\it A Riemannian Dennis-MoreíCondition},《高性能科学计算》,M.W.Berry、K.A.Garlivan、E.Gallopulos、A.Grama、B.Philippe、Y.Saad和F.Saied主编,纽约斯普林格出版社,2012年,第281-293页。
[12] W.Huang,P.-A.Absil和K.A.Gallivan,{it A黎曼对称秩一信任域方法},《数学规划》,150(2015),第179-216页·Zbl 1314.65083号
[13] W.Huang,P.-A.Absil和K.A.Gallivan,{非凸优化问题的黎曼BFGS方法},《数值数学与高级应用:ENUMATH 2015》,《计算科学与工程讲义》,112(2016),第627-634页·Zbl 1352.65153号
[14] W.Huang,P.-A.Absil和K.A.Gallivan,{矩阵流形上切向量和向量输运的内在表示},数值。数学。,136(2016),第523-543页·Zbl 1366.65062号
[15] W.Huang,P.-A.Absil,K.A.Gallivan和P.Hand,{it ROPTLIB:黎曼流形优化的面向对象(C++)库},技术报告FSU16-14,佛罗里达州立大学,2016年·Zbl 1484.65142号
[16] W.Huang,K.A.Gallivan和P.-A.Absil,黎曼优化的Broyden类拟Newton方法,SIAM J.Optim。,25(2015),第1660-1685页·兹比尔1461.65156
[17] W.Huang,K.A.Gallivan,A.Srivastava和P.-A.Absil,《弹性形状分析中曲线配准的黎曼优化》,J.Math。成像视觉。,54(2015),第320-343页·Zbl 1338.49088号
[18] W.Huang,K.A.Gallivan和X.Zhang,{用低阶黎曼优化方法求解复杂半定约束的相位提升},SIAM J.Sci。计算。,39(2017年),第B840-B859页·Zbl 1373.65044号
[19] W.Huang,{黎曼流形上的优化算法及其应用},佛罗里达州立大学数学系博士论文,2013年。
[20] 李德华和福岛,{一种改进的BFGS方法及其在非凸极小化中的全局收敛性},J.Compute。申请。数学。,129(2001),第15-35页·Zbl 0984.65055号
[21] 李德华,福岛,{关于非凸无约束优化问题BFGS方法的全局收敛性},SIAM J.Optim。,11(2001),第1054-1064页·Zbl 1010.90079号
[22] B.Mishra,{it A Riemannian Approach to Large-Scale Constrained Least-Squares with Symmetries},列日大学博士论文,2014年。
[23] J.Nocedal和S.J.Wright,{数值优化},第二版,Springer,纽约,2006年·Zbl 1104.65059号
[24] C.Qi,K.A.Gallivan和P.-A.Absil,{\it R}iemannian BFGS算法及其应用,《优化的最新进展及其在工程中的应用》,2010年,纽约斯普林格出版社,第183-192页。
[25] W.Ring和B.Wirth,{黎曼流形上的优化方法及其在形状空间中的应用},SIAM J.Optim。,22(2012),第596-627页·Zbl 1250.90111号
[26] H.Sato和T.Iwai,{矩阵奇异值分解的黎曼优化方法},SIAM J.Optim。,23(2013),第188-212页·Zbl 1267.65070号
[27] M.Seibert、M.Kleinsteuber和K.Huöper,{黎曼流形上BFGS方法的性质},《数学系统理论:纪念尤·赫尔姆克六十岁生日的节日》,K.Hu.per和J.Trumpf,编辑,2013年,第395-412页。
[28] B.Savas和L.H.Lim,{关于Grassmannians和张量的多线性近似的拟Newton方法},SIAM J.Sci。计算。,32(2010年),第3352-3393页·Zbl 1226.65058号
[29] F.J.Theis、T.P.Cason和P.-A.Absil,{通过Stiefel流形上的联合对角化实现ICA的软维数约简},《第八届独立分量分析和信号分离国际会议论文集》,《计算讲义》。科学。5441,Springer,纽约,2009年,第354-361页。
[30] B.Vandereycken,{利用黎曼优化完成低秩矩阵},SIAM J.Optim。,23(2013),第1214-1236页·Zbl 1277.15021号
[31] Z.Wei,G.Li,and L.Qi,{无约束优化问题的新拟Newton方法},Appl。数学。计算。,175(2006),第1156-1188页·Zbl 1100.65054号
[32] Z.Wei,G.Yu,G.Yean,and Z.Lian,{\it.无约束优化的修正BFGS型方法的超线性收敛性},计算。最佳方案。申请。,29(2004),第315-332页·Zbl 1070.90089
[33] X.Yuan,W.Huang,P.-A.Absil,K.A.Gallivan,{计算对称正定矩阵Karcher均值的黎曼拟Newton方法},技术报告FSU17-02,佛罗里达州立大学,2017。
[34] Y.You,W.Huang,K.A.Gallivan和P.A.Absil,{弹性形状分析中计算测地线的黎曼方法},《IEEE信号和信息处理全球会议论文集》,2015年,第727-731页。
[35] X.Zhu,用于Stiefel流形优化的黎曼共轭梯度方法,计算。最佳方案。申请。,67(2017),第73-110页·Zbl 1401.90230号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。