×
Frank E.柯蒂斯。；小村魁

非凸、非光滑优化问题的拟Newton算法具有全局收敛性保证。 （英语） Zbl 1333.49042号

数学。程序。计算。 7，第4号，399-428（2015）.
作者提出了一种新的算法，用于最小化实向量空间的开稠密子集中连续可微的局部Lipschitz函数。该算法只需优化成本函数的一阶导数，基于Broyden、Fletcher、Goldfarb和Shanno之前提出的方法。首先描述了该算法，然后作者对其全局收敛性进行了随机分析，最后给出了该方法的实现以及数值实验来说明这一点。该算法主要由线搜索技术支持。
审核人：Guy Jumarie（蒙特利尔）

引用于10文件

MSC公司：

49英里15 牛顿型方法
4.95亿 基于必要条件的数值方法
65千5 数值数学规划方法
65克10 数值优化和变分技术
90元53 拟Newton型方法
90C26型 非凸规划，全局优化
90立方 非线性规划
93B40码 系统理论中的计算方法（MSC2010）

关键词：

拟牛顿算法；非光滑优化；非凸优化；无约束优化；梯度采样；行搜索方法

软件：

HIFOO公司；不明飞行物；广场广场；汉索；PLCP公司；L-BFGS公司；GradSamp公司；犰狳；LDGB公司
PDF格式BibTeX公司 XML格式引用
\textit｛F.E.Curtis｝和\textit｛X.Que｝，数学。程序。计算。7，编号4399-428（2015年；兹bl 1333.49042）
全文： 内政部

参考文献：

[1] Anstreicher，K.M.，Lee，J.：最大熵采样的屏蔽谱界。摘自：MODA 7-面向模型的设计和分析进展，柏林，第1-10页（2004）·Zbl 0225.65073号
[2] Ben-Tal，A.，Nemirovski，A.：稳健优化方法和应用。数学。程序。序列号。B 92（3），453-480（2002）·Zbl 1007.90047号 ·doi:10.1007/s101070100286
[3] Bertsekas，D.P.：凸优化理论。雅典娜科技，纳舒亚（2009）·Zbl 1242.90001号
[4] Bonnans，J.F.，Gilbert，J.C.，Lemaréchal，C.，Sagastizábal，C.A.：数值优化：理论和实践方面。柏林施普林格出版社（2006）·Zbl 1108.65060号
[5] Broyden，C.G.：一类双秩最小化算法的收敛性。J.Inst.数学。申请。6(1), 76-90 (1970) ·Zbl 0223.65023号 ·doi:10.1093/imamat/6.1.76
[6] Burke，J.V.，Lewis，A.S.，Overton，M.L.：通过梯度随机抽样近似次微分。数学。操作。第27（3）号决议，567-584（2002）·Zbl 1082.49019号 ·doi:10.1287/门27.3.567.317
[7] Burke，J.V.，Lewis，A.S.，Overton，M.L.：用于非光滑、非凸优化的稳健梯度采样算法。SIAM J.Optim公司。15(3), 751-779 (2005) ·兹比尔1078.65048 ·doi:10.1137/030601296
[8] Candès，E.J.，Tao，T.：随机投影的近最优信号恢复：通用编码策略。IEEE传输。《信息论》52（12），5406-5425（2006）·Zbl 1309.94033号 ·doi:10.1109/TIT.2006.885507
[9] Chartrand，R.：非凸压缩传感的快速算法：从极少数据重建MRI。摘自：IEEE生物医学成像国际研讨会（ISBI'09），第262-265页（2009）·Zbl 1205.90230号
[10] Chen，X.：非光滑、非凸优化的平滑方法。数学。程序。序列号。B 134（1），71-99（2012）·Zbl 1266.90145号 ·doi:10.1007/s10107-012-0569-0
[11] Chen，X.，Niu，L.，Yuan，Y.：非Lipschitz优化的最优性条件和光滑信赖域牛顿法。SIAM J.Optim公司。23(3), 1528-1552 (2013) ·Zbl 1291.90238号 ·doi:10.1137/120871390
[12] Clarke，F.H.：优化和非光滑分析。收录于：加拿大数学学会专著和高级文本系列。威利，纽约（1983年）·Zbl 0582.49001号
[13] Curtis，F.E.，Overton，M.L.：非凸、非光滑约束优化的序列二次规划算法。SIAM J.Optim公司。22(2), 474-500 (2012) ·Zbl 1246.49031号 ·doi:10.1137/090780201
[14] Curtis，F.E.，Que，X.：非光滑优化的自适应梯度采样算法。最佳方案。方法软件。(2012). doi:10.1080/10556788.2012.714781·Zbl 1284.49036号
[15] Dolan，E.，Moré，J.：用性能曲线对优化软件进行基准测试。数学。程序。91, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[16] Donoho，D.L.：压缩传感。IEEE传输。Inf.理论52（4），1289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[17] Fletcher，R.：可变度量算法的新方法。计算。J.13（3），317-322（1970）·Zbl 0207.17402号 ·doi:10.1093/comjnl/13.3317
[18] Goldfarb，D.：通过变分方法导出的一系列可变度量更新。数学。计算。24(109), 23-26 (1970) ·Zbl 0196.18002号 ·doi:10.1090/S0025-5718-1970-0258249-6
[19] Goldfarb，D.，Iyengar，G.：稳健投资组合选择问题。数学。操作。第28（1）号决议，1-38（2003）·兹比尔1082.90082 ·doi:10.1287/门28.1.1.14260
[20] Goldstein，A.A.：Lipschitz连续函数的优化。数学。程序。13(1), 14-22 (1977) ·兹伯利03949.0088 ·doi:10.1007/BF01584320
[21] Greif，C.，Varah，J.：最小化小秩修改的条件数。SIAM J.矩阵分析。申请。29(1), 82-97 (2006) ·Zbl 1143.65341号 ·doi:10.1137/050647554
[22] Guenter，S.，Sempf，M.，Merkel，P.，Strumberger，E.，Tichmann，C.：使用伪谱对电阻壁模式进行鲁棒控制。新物理学杂志。11(053015), 1-40 (2009)
[23] Gumussoy，S.、Henrion，D.、Millstone，M.、Overton，ML.：采用HIFOO 2.0的多目标鲁棒控制。摘自：IFAC鲁棒控制设计研讨会论文集，海法（2009）·Zbl 1082.49019号
[24] Haarala，M.：大规模非光滑优化：内存有限的可变度量束方法。Jyväskylä大学博士论文（2004年）·Zbl 1068.90101号
[25] Haarala，M.，Miettinen，K.，Mäkelä，M.M.：用于大规模非光滑优化的新的有限内存束方法。最佳方案。方法软件。19(6), 673-692 (2004) ·Zbl 1068.90101号 ·doi:10.1080/1055678041001689225
[26] Hare，W.，Macklem，M.：有限极大极小问题的无导数优化方法。最佳方案。方法软件。28(2), 300-312 (2013) ·Zbl 1270.90099 ·网址：10.1080/10556788.2011.638923
[27] Hare，W.，Nutini，J.：有限极大极小问题的无导数近似梯度采样算法。计算。最佳方案。申请。56(1), 1-38 (2013) ·Zbl 1300.90064号 ·doi:10.1007/s10589-013-9547-6
[28] Hiriart-Urruti，J.B.，Lemaréchal，C.：凸分析和最小化算法II。在：数学综合系列研究。施普林格，纽约（1993）·兹比尔0795.49002
[29] Karmitsa，N.：有限内存捆绑方法（2014年）。http://napsu.karmitsa.fi/lmbm/。2014年5月12日查阅·Zbl 1309.94033号
[30] Kiwiel，K.C.：不可微优化的下降方法。在：数学讲义。施普林格，纽约（1985）·Zbl 0561.90059号
[31] Kiwiel，K.C.：一种求解非光滑优化中出现的某些二次规划问题的方法。IMA J.数字。分析。6(2), 137-152 (1986) ·Zbl 0603.65041号 ·doi:10.1093/imanum/6.2.137
[32] Kiwiel，K.C.：非光滑非凸优化梯度采样算法的收敛性。SIAM J.Optim公司。18(2), 379-388 (2007) ·Zbl 1149.65043号 ·doi:10.1137/050639673
[33] Kiwiel，K.C.：非光滑非凸优化梯度采样算法的非导数版本。SIAM J.Optim公司。20(4), 1983-1994 (2010) ·Zbl 1205.90230号 ·doi:10.1137/090748408
[34] Lemaréchal，C.：线搜索视图。摘自：《优化和最优控制：1980年3月16日至22日在奥伯沃法赫举行的会议记录》，柏林，第59-78页（1981）·Zbl 1007.90047号
[35] Lewis，A.S.，Overton，M.L.：通过拟Newton方法进行非光滑优化。数学。程序。141(1-2), 135-163 (2013) ·Zbl 1280.90118号 ·doi:10.1007/s10107-012-0514-2
[36] Lukšan，L.，Tůma，M.，Šiška，M.、Vlček，J.、Ramešová，N.：UFO 2002：通用函数优化的交互系统。捷克共和国科学院计算机科学研究所技术代表883（2002年）·兹伯利03949.0088
[37] Mifflin，R.：带半光滑函数的约束优化算法。数学。操作。191-207年第2（2）号决议（1977年）·Zbl 0395.90069号 ·doi:10.1287/门2.2.191
[38] Nocedal，J.：用有限存储更新拟Newton矩阵。数学。计算。35(151), 773-782 (1980) ·Zbl 0464.65037号 ·doi:10.1090/S0025-5718-1980-0572855-7
[39] Nocedal，J.，Wright，S.J.：《数值优化》，第二版。施普林格，纽约（2006）·Zbl 1104.65059号
[40] Overton，M.L.:HANSO：非光滑优化的混合算法（2014）。http://www.cs.nyu.edu/cafulty/overton/software/hanso/。2014年5月12日查阅
[41] Rockafellar，RT公司；Birge，JR（编辑）；Murty，KG（编辑），《非光滑优化》，248-258（1994），安娜堡
[42] Sanderson，C.，Curtin，R.：犰狳\[C++\]++线性代数库（2014）。http://arma.sourceforge.net/。2014年5月12日查阅·Zbl 0207.17402号
[43] Shanno，D.F.：函数最小化的拟Newton方法的条件。数学。计算。24(111), 647-656 (1970) ·Zbl 0225.65073号 ·doi:10.1090/S0025-5718-1970-0274029-X
[44] Skajaa，A.：用于非光滑优化的有限内存BFGS。纽约大学硕士论文（2010年）
[45] Vanbiervliet，J.，Verheyden，K.，Michiels，W.，Vandewalle，S.：时滞系统稳定性的非光滑优化方法。ESAIM控制优化。计算变量14（3），478-493（2008）·Zbl 1146.65056号 ·doi:10.1051/cocv:2007060
[46] Vanbiervliet，J.、Vandereycken，B.、Michiels，W.、Vandewalle，S.、Diehl，M.：稳健稳定性优化的平滑谱横坐标。SIAM J.Optim公司。20(1), 156-171 (2009) ·兹比尔1185.93110 ·doi:10.1137/070704034
[47] Watson，G.A.：数据中存在有界不确定性的数据拟合问题。SIAM J.矩阵分析。申请。22（4），1274-1293（2001）·Zbl 0983.65019号 ·doi:10.1137/S08954798993566
[48] Wolfe，P.：最小化不可微函数的共轭次梯度方法。数学。程序。螺柱3145-173（1975）·Zbl 0369.90093号 ·doi:10.1007/BFb0120703
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。