×
Farzad Yousefian先生;安吉莉亚·奈迪奇;乌代五世香巴格。

关于具有自适应步长序列的随机梯度和次梯度方法。 （英语） Zbl 1244.93178号

自动化 48，第1号，56-67（2012）.
概述：传统上，随机逼近（SA）方案是解决随机优化问题的常用方法。然而，标准SA实现的性能可能会因步长序列的选择而发生显著变化，一般来说，对正确的选择提供的指导很少。基于这个缺口，我们针对强凸可微随机优化问题提出了两种自适应步长方案，并配备了收敛理论，目的是克服对用户特定参数的一些依赖。第一种方案被称为递归步长随机近似（RSAA）方案，它优化了误差界，从而导出一条规则，将给定迭代的步长表示为前一迭代步长和某些问题参数的简单函数。第二种方案称为级联步长随机逼近（CSSA）方案，它将步长序列保持为分段常数递减函数，当满足适当的误差阈值时，步长会减少。然后，我们允许不可微分的目标，但在某个域上具有有界次梯度。在这种情况下，我们提出了一种基于目标函数的随机局部扰动的局部平滑技术，该技术导致函数的可微近似。假设局部随机性服从均匀分布，我们建立了近似梯度的Lipschitz性质，并证明了所得到的Lipshitz界随问题大小以适度的速率增长。这有助于开发自适应步长随机近似框架，该框架现在需要在原始度量和人工引入的分布的乘积空间中采样。

引用于32文件

MSC公司：

93E20型 最优随机控制
93E25型 随机控制中的计算方法（MSC2010）
90立方厘米 随机规划

关键词：

随机优化;凸优化;随机近似;自适应步长;随机平滑技术

软件：

苏蒂尔
PDF格式BibTeX公司 XML格式引用
\textit{F.Yousefian}等人，Automatica 48，第1期，第56-67页（2012年；Zbl 1244.93178）
全文： 内政部 arXiv公司

参考文献：

[1] Bertsekas，D.P.，具有不可微代价泛函的随机优化问题，优化理论与应用杂志，12，2，218-231（1973）·Zbl 0248.90043号
[2] Bertsekas，D.P。；Tsitsiklis，J.N.，梯度方法中的梯度收敛，SIAM优化杂志，10，3，627-642（2000）·Zbl 1049.90130号
[3] Birge，J.R。；Louveaux，F.（《随机规划导论》，《随机规划概论》，运筹学史普林格系列（1997），史普林格）·Zbl 0892.90142号
[4] Borkar，V.S.，《随机近似：动力系统观点》（2008），剑桥大学出版社·兹比尔1181.62119
[5] 博卡尔，V.S。；Meyn，S.P.，随机逼近和强化学习收敛的O.D.E.方法，SIAM控制与优化杂志，38，2，447-469（2000），（电子版）·Zbl 0990.62071号
[6] Ermoliev，Y.M.，关于随机拟粒度方法和随机拟费耶尔序列，Kibernetika，Kiev，273-83（1969）·Zbl 0219.60048号
[7] Ermoliev，Y.M.，随机拟梯度方法，（随机优化的数值技术（1983），Springer-Verlag），141-185·Zbl 0666.90072号
[8] 法奇尼，F。；姜浩。；齐，L.，平衡约束数学规划的平滑方法，数学规划。系列A，85，1，107-134（1999）·Zbl 0959.65079号
[9] 法奇尼，F。；Pang，J.-S.，《有限维变分不等式与互补问题》（Springer series in operations research，Vols.I and II（2003），Springer-Verlag:Springer-Verlag New York）·Zbl 1062.90002号
[10] Gupal，A.M.，求解非光滑极值问题的随机方法（1979），Naukova Dumka，（俄语）·Zbl 0451.90089号
[11] 姜浩。；Ralph，D.，具有非线性互补约束的数学程序的光滑SQP方法，SIAM优化期刊，10，3779-808（2000）·兹比尔0955.90134
[12] 姜浩。；Xu，H.，随机变分不等式问题的随机近似方法，IEEE Transactions Automatic Control，53，6，1462-1475（2008）·Zbl 1367.90072号
[13] Juditsky，A.，Nemirovski，A.，&Tauvel，C.（2008）用随机镜像算法求解变分不等式，http://arxiv.org/abs/0809.0815; Juditsky，A.，Nemirovski，A.，&Tauvel，C.（2008）用随机镜像算法求解变分不等式，http://arxiv.org/abs/0809.0815 ·Zbl 1291.49006号
[14] 基弗，J。；Wolfowitz，J.，回归函数最大值的随机估计，《数理统计年鉴》，23，3，462-466（1952）·Zbl 0049.36601号
[15] Koshal，J.、Nedić，A.和Shanbhag，U.V.（2010年）。不确定单调Nash对策的单时间尺度正则化随机逼近方案。在IEEE决策与控制会议记录; Koshal，J.、Nedić，A.和Shanbhag，U.V.（2010年）。不确定单调Nash对策的单时间尺度正则化随机逼近方案。在IEEE决策与控制会议记录
[16] Kulkarni，A.和Shanbhag，U。基于资源的随机非线性规划：特性和Benders-SQP算法。计算优化与应用doi:10.1007/s10589-010-9316-8）；Kulkarni，A.和Shanbhag，U。基于资源的随机非线性规划：特性和Benders-SQP算法。计算优化与应用doi:10.1007/s10589-010-9316-8）·兹比尔1270.90038
[17] Lakshmanan，H。；Farias，D.，动态代理网络中的分散资源分配，SIAM优化杂志，19，2，911-940（2008）·Zbl 1176.90460号
[18] Nedić，A.凸集相交问题的随机投影算法。在第四十九届IEEE决策与控制会议; Nedić，A.凸集相交问题的随机投影算法。在第四十九届IEEE决策与控制会议
[19] Nedić，A。；Bertsekas，D.P.，增量算法的收敛速度，随机优化：算法和应用，223-264（2001）·Zbl 0984.90033号
[20] Nedić，A。；Bertsekas，D.P。；Borkar，V.，《分布式异步增量次梯度方法》（Butnariu，D.；Censor，Y.；Reich，S.，2000年3月海法研讨会论文集，“可行性和优化中的固有并行算法及其应用”（2001），Elsevier:Elsevier Amsterdam）·Zbl 0997.90102号
[21] 内米洛夫斯基，A。；朱迪茨基，A。；兰·G。；Shapiro，A.，随机规划的鲁棒随机逼近方法，SIAM优化期刊，19，41574-1609（2009）·兹比尔1189.90109
[22] Polyak，B.，《优化导论》（1987），optimization Software，Inc:optimization-Software，Inc纽约
[23] 波利亚克，B。；Juditsky，A.，通过平均加速随机近似，SIAM控制与优化杂志，30，4，838-855（1992）·Zbl 0762.62022号
[24] 波利亚克，B.T。；Tempo，R.，线性二次调节器的概率稳健设计，《系统与控制快报》，43，343-353（2001）·Zbl 0974.93070号
[25] 拉姆，S.S。；Nedić，A。；Veeravalli，V.V.，凸优化的增量随机次梯度算法，SIAM优化杂志，20，2，691-717（2009）·Zbl 1231.90312号
[26] 拉姆，S.S。；Nedić，A。；Veeravalli，V.V.，凸优化的分布式随机次梯度投影算法，优化理论与应用杂志，147，3，516-545（2010）·Zbl 1254.90171号
[27] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学和统计年鉴》，22400-407（1951）·Zbl 0054.05901号
[28] Ruszczyñski，A.，《分解方法》（《运筹学和管理科学手册》，第10卷（2003），爱思唯尔科学：阿姆斯特丹爱思唯尔科学），141-212·兹比尔1115.90001
[29] Ruszczynski，A。；Syski，W.，无约束问题的梯度平均随机近似方法，IEEE自动控制汇刊，28，12，1097-1105（1983）·Zbl 0533.62076号
[30] Shanbhag，U.V。；Infanger，G。；Glynn，P.W.，《不确定性下远期合同的互补框架》，运筹学，59，4，810-834（2011）·Zbl 1235.91074号
[31] Shapiro，A.，《蒙特卡洛抽样方法》（《运筹学和管理科学手册》，第10卷（2003），爱思唯尔科学：爱思唯尔科学阿姆斯特丹），353-426·Zbl 1115.90001号
[32] Spall，J.C.，使用同时扰动梯度近似的多元随机近似，IEEE自动控制汇刊，37，3，332-341（1992）·Zbl 0745.60110号
[33] Van Slyke，R.M。；Wets，R.，L形线性规划及其在最优控制和随机规划中的应用，SIAM应用数学杂志，17，638-663（1969）·Zbl 0197.45602号
[34] Yousefian，F.、Nedić，A.和Shanbhag，U.V.（2011年）。关于具有自适应步长序列的随机梯度和次梯度方法。arXiv:1105.4549；Yousefian，F.、Nedić，A.和Shanbhag，U.V.（2011年）。关于具有自适应步长序列的随机梯度和次梯度方法。arXiv:1105.4549
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。