×
Razak O·Alli-Oke。;威廉·希思。

凸函数的基于正割的Nesterov方法。 （英语） Zbl 1373.90100号

最佳方案。莱特。 11，第1期，81-105（2017）.
摘要：针对目标函数为凸且定义明确的问题，提出了一种简单的基于割线的快速梯度法。该算法扩展了经典的Nesterov梯度法，尽可能用正割信息更新估计序列参数。这是通过对搜索点的选择施加割线条件来实现的。此外，该算法包含一个“重置更新规则”，该规则与最近在[B.奥多诺休和E.坎迪斯，找到。计算。数学。第15期，第3期，715–732页（2015年；Zbl 1320.90061号)]. 该算法适用于机器学习文献中常见的一大类问题，包括逻辑损失和最小二乘损失。数值结果证明了该算法的有效性，并结合性能曲线进行了分析。

理学硕士：

90C25型 凸面编程

关键词：

凸优化;快速梯度法;Nesterov梯度法

引文：

Zbl 1320.90061号

软件：

ParNes公司;全氟辛烷磺酸;NETLIB LP测试集
PDF格式BibTeX公司 XML格式引用
\textit{R.O.Alli-Oke}和\textit{W.P.Heath}，Optim。莱特。11，编号1，81--105（2017；Zbl 1373.90100）
全文： 内政部 链接

参考文献：

[1] Amini，K.，Ahookhosh，M.，Nosratipour，H.：使用改进的非单调策略进行无约束优化的不精确线搜索方法。数字。算法66（1），49-78（2013）·Zbl 1293.65087号 ·doi:10.1007/s11075-013-9723-x
[2] Barzilai，J.，Borwein，J.：两点步长梯度法。IMA J.数字。分析。8, 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[3] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1), 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[4] Becker，S.R.，Candes，E.J.，Grant，M.C.：凸锥问题的模板及其在稀疏信号恢复中的应用。数学。程序。计算。3（3），165-218（2011）·Zbl 1257.90042号 ·doi:10.1007/s12532-011-0029-5
[5] Bhaya，A.，Kaszkurewicz，E.：二次函数动量最速下降法是共轭梯度法的一个版本。神经网络。17(1), 65-71 (2004) ·Zbl 1082.68093号 ·doi:10.1016/S0893-6080（03）00170-9
[6] Birgin，E.G.，Martinez，J.M.，Raydan，M.：凸集上的非单调谱投影梯度方法。SIAM J.Optim公司。10(4), 1196-1211 (2000) ·Zbl 1047.90077号 ·doi:10.1137/S1052623497330963
[7] Boyd，S.，Vandenberghe，L.：凸优化。剑桥大学出版社，剑桥（2009）·兹比尔1058.90049
[8] Collins，M.，Schapire，R.E.，Singer，Y.：逻辑回归。Adaboost和Bregman距离。机器。学习。48, 253-285 (2002) ·Zbl 0998.68123号 ·doi:10.1023/A:1013912006537
[9] Dolan，E.D.，More，J.J.：用性能曲线对优化软件进行基准测试。数学。程序。91(2), 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[10] 弗莱彻，R。；Qi，L.（编辑）；Teo，K.（编辑）；Yang，X.（编辑），《关于Barzilai-Borwein方法》，第96期，235-256（2005），美国·Zbl 1118.90318号 ·doi:10.1007/0-387-24255-4_10
[11] Goldstein，T.，O’Donoghue，B.，Setzer，S.：快速交替方向优化方法。加州大学洛杉矶分校技术报告（2012年5月（2014年1月修订）·Zbl 1314.49019号
[12] Gonzaga，C.C.，Karas，E.W.：针对可微凸规划微调Nesterov的最速下降算法。数学。程序。序列号。A 138、141-166（2013）·Zbl 1297.90118号 ·doi:10.1007/s10107-012-0541-z
[13] Gu，M.，Lim，L.H.，Wu，C.：ParNes：精确恢复稀疏和近似稀疏信号的快速收敛算法。数字。算法64（2），321-347（2013）·Zbl 1284.65055号 ·doi:10.1007/s11075-012-9668-5
[14] He，R.，Tan，T.，Wang，L.：利用隐式正则化器稳健恢复受损低秩矩阵。IEEE传输。模式分析。机器。因特尔。36(4), 770-783 (2014) ·doi:10.10109/TPAMI.2013.188
[15] Hu，S.L.，Huang，Z.H.，Lu，N.：一种无约束优化的非单调线性搜索算法。科学杂志。计算。42, 38-53 (2010) ·Zbl 1203.90146号 ·doi:10.1007/s10915-009-9314-0
[16] Kozma，A.，Conte，C.，Diehl，M.：大型分布式凸二次规划算法的基准测试。最佳方案。方法软件。30(1), 191-214 (2015) ·Zbl 1321.49046号 ·doi:10.1080/10556788.2014.911298
[17] Kozma，A.，Frasch，J.V.，Diehl，M.：分布式系统最优控制中出现的凸二次规划问题的分布式方法。摘自：第52届IEEE决策与控制会议记录，意大利佛罗伦萨（2013年12月）·Zbl 0998.68123号
[18] Lan，G.，Monteiro，R.D.：凸规划一阶惩罚方法的迭代复杂性。数学。程序。138(1-2), 115-139 (2013) ·Zbl 1282.90129号 ·doi:10.1007/s10107-012-0588-x
[19] Lin，Q.，Xiao，L.：用于稀疏优化的自适应加速近端梯度法及其同伦延拓。摘自：第31届机器学习国际会议论文集，中国北京（2014）·Zbl 1341.90102号
[20] Maros，I.，Meszaros，C.：凸二次规划问题库。最佳方案。方法软件。11(1-4), 671-681 (1999) ·Zbl 0973.90520号 ·doi:10.1080/10556789908805768
[21] Meng，X.，Chen，H.：加速Nesterov方法求解具有Lipschitz梯度的强凸函数。数学。最佳方案。控制90C25，1-13（2011）。arXiv：1109.6058v1·Zbl 0973.90520号
[22] Nemirovski，A.S.：凸规划中的有效方法，讲稿，以色列理工学院（1994）·Zbl 0820.68058号
[23] Nesterov，Y.：一种求解收敛速度为\[（1/k^21\]/k2）的凸规划问题的方法。Sov公司。数学。Doklady 27（2），372-376（1983）·Zbl 0535.90071号
[24] Nesterov，Y.：凸规划入门讲座：基础课程。Kluwer学术出版社，Dordrecht（2004）·兹比尔1086.90045
[25] Nesterov，Y.：最小化复合目标函数的梯度方法。核心讨论文件（2007年）
[26] Nicolas，L.R.，Mark，S.，Francis，B.：有限训练集的指数收敛率随机梯度法。数学。最佳方案。控制1-34（2013）。arXiv：1202.6258版本4
[27] Nocedal，J.，Wright，S.J.：数值优化。施普林格，纽约（2006）·Zbl 1104.65059号
[28] O'Donoghue，B.，Candes，E.：加速梯度方案的自适应重启。已找到。计算。数学。(2013) ·Zbl 1320.90061号
[29] Patrinos，P.，Bempoad，A.：线性模型预测控制的加速双梯度投影算法。摘自：第51届IEEE决策与控制会议记录。美国毛伊岛（2012年12月）·Zbl 1360.93400号
[30] Pedregosa，F.：逻辑回归的数值优化器（2013）。http://fa.bianp.net/blog/2013/numerical-optimizers-for-logistic-regression/#fn:2
[31] Polyak，B.：加速迭代方法收敛的一些方法。苏联计算。数学。数学。物理学。4(5), 1-17 (1964) ·Zbl 0147.35301号 ·doi:10.1016/0041-5553（64）90137-5
[32] Richter，S.、Jones，C.N.、Morari，M.：使用快速梯度方法的实时输入约束MPC。在：第48届IEEE决策与控制会议和第28届中国控制会议记录，中国上海（2009年12月）
[33] Shah，B.，Buehler，R.，Kempthorne，O.：最小化多变量函数的一些算法。J.Soc.Ind.申请。数学。12(1), 74-92 (1964) ·Zbl 0127.33902号 ·doi:10.1137/0112007
[34] Telgarsky，M.：具有严格凸惩罚的非正则线性预测的最速下降分析。In:第四届机器学习优化国际研讨会（OPT）会议记录，作为NIPS研讨会系列的一部分（2011年12月）
[35] Torii，M.，Hagan，M.T.：二次函数动量最速下降的稳定性。IEEE传输。神经网络。13(3), 752-756 (2002) ·doi:10.1109/TNN.2002.1000143
[36] Vogl，T.P.，Mangis，J.，Rigler，A.，Zink，W.，Alkon，D.：加速反向传播方法的收敛。生物、网络。59(4-5), 257-263 (1988) ·doi:10.1007/BF000332914
[37] 沃辛顿，P.L.，汉考克，E.R.：使用形状-颜色阴影的表面地形。模式识别。34(4), 823-840 (2001) ·Zbl 0970.68764号 ·doi:10.1016/S0031-3203（00）00036-4
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。