×

无约束优化问题的随机信赖域方法。 (英语) Zbl 1435.90094号

摘要:本文提出了一种求解具有随机目标的无约束极小化问题的随机信赖域方法。特别是,这种方法可以用于处理非凸问题。在每次迭代时,我们构造目标函数的二次模型。在该模型中,用随机梯度代替确定性梯度来确定下降方向和逼近目标函数的黑森函数。在一些合理的条件下,讨论了该方法的性能和收敛性。一些初步的数值结果表明,我们的方法可能是有效的。

MSC公司:

90立方厘米 随机规划
90C26型 非凸规划,全局优化
90 C55 连续二次规划类型的方法
65千5 数值数学规划方法

软件:

帕伽索斯
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 莫赫塔里,A。;Ribeiro,A.,《大规模支持向量机的准Newton方法》,《声学、语音和信号处理国际会议论文集》,ICASSP 2014
[2] 博图,L。;Le Cun,Y.,超大数据集的在线学习,《商业和工业应用随机模型》,21,2,137-151(2005)·Zbl 1091.68063号 ·doi:10.1002/asmb.538
[3] Bottou,L.,《随机梯度下降的大规模机器学习》,《2010年COMPSTAT会议论文集》,Physica-Verlag/Springer·Zbl 1436.68293号
[4] 莫赫塔里,A。;Ribeiro,A.,无线系统最优资源分配的双重随机DFP算法,第14届无线通信信号处理进展研讨会论文集(SPAWC 2013)·doi:10.1109/SPAWC.2013.6612004
[5] Ribeiro,A.,无线通信和网络的遍历随机优化算法,IEEE信号处理汇刊,58,12,6369-6386(2010)·Zbl 1392.94424号 ·doi:10.1109/TSP.2010.2057247
[6] 内米洛夫斯基,A。;朱迪茨基,A。;兰·G。;Shapiro,A.,随机规划的稳健随机近似方法,SIAM优化杂志,19,4,1574-1609(2009)·Zbl 1189.90109号 ·doi:10.1137/070704277
[7] 沙列夫·施瓦茨,S。;Srebro,N.,SVM优化:对训练集大小的反向依赖,第25届机器学习国际会议论文集
[8] 沙列夫·施瓦茨,S。;辛格,Y。;Srebro,N.,Pegasos:支持向量机的原始估计子梯度解算器,第24届机器学习国际会议论文集(ICML'07)·数字对象标识代码:10.1145/1273496.1273598
[9] Zhang,T.,使用随机梯度下降算法解决大规模线性预测问题,第二十一届机器学习国际会议论文集·doi:10.1145/1015330.1015332
[10] 施密特,M。;Le Roux,N。;Bach,F.,用随机平均梯度最小化有限和,数学规划,162,5,1-30(2017)·兹比尔1358.90073 ·doi:10.1007/s10107-016-1030-6
[11] Konecny,J。;刘,J。;Richtarik,P。;Takac,M.,《近距离设置中的小批量半随机梯度下降》,IEEE信号处理选定主题期刊,10,2,242-255(2016)·doi:10.1109/JSTSP.2015.2505682
[12] 张,L。;马哈达维,M。;Jin,R.,完全梯度的条件数无关访问的线性收敛,神经信息处理系统的进展,980-988(2013)
[13] Birge,J.R。;陈,X。;齐,L。;Wei,Z.,《资源随机二次规划的随机牛顿法》,第113-141页,美国密歇根州安娜堡:密歇根大学
[14] 莫赫塔里,A。;Ribeiro,A.,正则化随机BFGS算法,信号和信息处理全球会议IEEE,62,23,6089-6104(2014)·Zbl 1394.94405号 ·doi:10.1109/TSP.2014.2357775
[15] Toint,P.L.,Hilbert空间中非凸极小化的一类信赖域方法的全局收敛性,IMA数值分析杂志(IMAJNA),8,2,231-252(1988)·Zbl 0698.65043号 ·doi:10.1093/imanum/8.2.231
[16] 伯德·R·H。;施纳贝尔(R.B.Schnabel)。;Shultz,G.,非线性约束优化的信赖域算法,SIAM数值分析杂志,24,5,1152-1170(1987)·Zbl 0631.65068号 ·doi:10.1137/0724076
[17] Sun,W。;袁毅,优化理论与方法。非线性规划(2006),美国纽约州纽约市:施普林格,纽约州纽约州美国·兹比尔1129.90002
[18] Nocedal,J。;Wright,S.J.,《数值优化》(1999),美国纽约州纽约市:施普林格,纽约州纽约州美国·兹伯利0930.65067
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。