阿尔弗雷多·N·尤塞姆（Alfredo N.Iusem）。;亚历杭德罗·乔弗雷;罗伯托·奥利维拉。;菲利普·汤普森 随机变分不等式的基于方差的线搜索外梯度方法。 （英语） Zbl 1415.65145号 SIAM J.Optim公司。 29，第1期，175-206（2019）. 摘要：在本文中，我们针对随机变分不等式（SVI）提出了动态抽样随机近似（DS-SA）外梯度方法，其中坚固耐用的关于未知Lipschitz常数\（L\）。据我们所知，我们建议首先证明收敛坚固耐用的沙特阿拉伯方差减少法，对于SVI或随机优化，假设在大样本范围内只有一个无偏随机预言机。这扩大了适用性，并提高了之前方差减少方法的预期有效加速，直至常数，所有这些方法都假定已知（L）（因此，对其估计不可靠）。准确地说，与以往采用小步长策略的稳健方法的迭代和预言复杂性相比，我们的稳健方法使用DS-SA线搜索方案，获得了迭代复杂性更快的（mathcal O（epsilon{-1}），预言复杂性为（ln L）mathcal O（d\epsilon^{-2}）\)（d维空间的）（在（epsilon^{-1}）上最多记录因子）。这与样本平均近似估计量的样本复杂度匹配，直至常数，样本平均近似估计器不假设额外的问题信息（例如\（L\））。与以前针对病态问题的稳健方法不同，我们允许一个无界可行集和一个带有乘性噪声（MN）其方差不一定一致有界。这些特性在我们的复杂性估计中得到了认可，它只依赖于（L）和地方的方差或解的四阶矩。我们的DS-SA线搜索方案的鲁棒性和方差减少特性以牺牲非类马氏依赖关系（NMD），因为需要对\（L\）的下限进行内部统计估计。为了处理NMD和MN，我们的证明依赖于一部小说迭代定位基于经验过程理论的论证。 引用于1审查引用于31文件 MSC公司： 65K15码 变分不等式及相关问题的数值方法 90立方厘米 互补、平衡问题和变分不等式（有限维）（数学规划方面） 90立方厘米 随机规划 62L20型 随机近似 关键词：随机变分不等式;随机近似;外梯度法;方差减少;动态取样;行搜索;经验过程理论 PDF格式BibTeX公司 XML格式引用 \textit{A.N.Iusem}等人，SIAM J.Optim。29，第1号，175--206（2019；Zbl 1415.65145） 全文： 内政部 arXiv公司 参考文献： [1] A.Agarwal、P.Barlett、P.Ravikumar和M.J.Wainwright，{随机凸优化预言复杂性的信息论下限}，IEEE Trans。通知。《理论》，58（2012），第3235-3249页·Zbl 1365.94132号 [2] L.Armijo，{具有Lipschitz连续一阶偏导数的函数的最小化}，太平洋数学杂志。，16（1966年），第1-3页·Zbl 0202.46105号 [3] F.Bach和E.Moulines，《机器学习随机近似算法的非症状分析》，摘自《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2011年，第451-459页。 [4] L.Bottou、F.E.Curtis和J.Nocedal，《大规模机器学习的优化方法》，SIAM Rev.，60（2018），第223-311页·Zbl 1397.65085号 [5] S.Boucheron、G.Lugosi和P.Massart，《浓度不等式：独立性的非渐近理论》，牛津大学出版社，英国牛津，2013年·Zbl 1279.60005号 [6] R.H.Byrd、G.M.Chin、J.Nocedal和Y.Wu，{机器学习优化方法中的样本大小选择}，数学。程序。，134（2012），第127-155页·Zbl 1252.49044号 [7] Y.Chen，G.Lan和Y.Ouyang，{一类变分不等式的加速格式}，数学。程序。，165（2017），第113-149页·Zbl 1386.90102号 [8] F.Facchini和J.-S.Pang，{有限维变分不等式和互补问题}，Springer，纽约，2003年·Zbl 1062.90001号 [9] J.-B.Hiriart-Urruti，{算法随机de re解d'eк方程et d'ineк方程variationnelles}，Z.Wahrsch。版本。Gebiete，33（1975/76），第167-186页·Zbl 0305.49040号 [10] D.Hsu，S.M.Kakade，and T.Zhang，{亚高斯随机向量二次型的尾部不等式}，Electron。Commun公司。概率。，17（2012），第1-6页·Zbl 1309.60017号 [11] A.N.Iussem、A.Jofré、R.I.Oliveira和P.Thompson，｛\it随机变分不等式的方差约简外梯度方法｝，SIAM J.Optim。，27（2017），第686-724页·兹比尔1365.65179 [12] A.N.Iusem、A.Jofreí和P.Thompson，{单调随机变分不等式的增量约束投影方法}，数学。操作。Res.，以显示·Zbl 1477.65101号 [13] A.N.Iusem和B.F.Svaiter，{\it Korpelevich变分不等式方法的一种变体，新搜索策略}，《优化》，42（1997），第309-321页·Zbl 0891.90135号 [14] 姜浩，徐浩，{随机变分不等式问题的随机逼近方法}，IEEE Trans。自动化。控制，53（2008），第1462-1475页·Zbl 1367.90072号 [15] A.Juditsky、A.Nemirovski和C.Tauvel，{用随机镜像算法求解变分不等式}，Stoch。系统。，1（2011年），第17-58页·Zbl 1291.49006号 [16] A.Kannan和U.V.Shanbhag，{伪单调随机变分不等式问题及其变量的最优随机外梯度方案}，预印本，2017年·Zbl 1439.90069号 [17] E.N.Khobotov，{解变分不等式和某些优化问题的外梯度法的修正}，美国科学院计算。数学。和数学。物理。，27（1987），第120-127页·Zbl 0665.90078号 [18] J.Koshal，A.Nedicí和U.V.Shanbhag，{随机变分不等式问题的正则化迭代随机逼近方法}，IEEE Trans。自动化。控制，58（2013），第594-609页·Zbl 1369.49012号 [19] N.Krejicí，Z.Luzanin，F.Nikolovski，and I.Stojkovska，{噪声最小化的非单调线搜索方法}，Optim。莱特。，9（2015），第1371-1391页·Zbl 1327.90396号 [20] N.Krejicí，Z.Luzanin，Z.Ovcin，和I.Stojkovska，{噪声环境下无约束优化的直线搜索下降方向法}，Optim。方法软件。，30（2015），第1164-1184页·Zbl 1328.90091号 [21] D.Maclaurin、D.Duvenaud和R.P.Adams，《通过可逆学习实现基于梯度的超参数优化》，载于《ICML’15：第32届国际机器学习会议论文集》，2015年第37卷，第2113-2122页。 [22] M.Mahsereci和P.Hennig，{随机优化的概率线搜索}，《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2015年，第181-189页·兹比尔1441.90110 [23] C.Marinelli和M.Roáckner，《关于伯克霍尔德、戴维斯和冈迪的最大不等式》，Expo。数学。，34（2016），第1-26页·Zbl 1335.60064号 [24] P.-Y.Masseí和Y.Ollivier，《飞行中的速度学习》，预印本，2015年。 [25] A.Nemirovski、A.Juditsky、G.Lan和A.Shapiro，{随机规划的稳健随机近似方法}，SIAM J.Optim。，19（2009），第1574-1609页·Zbl 1189.90109号 [26] D.Panchenko，{经验过程集中不等式的对称化方法}，Ann.Probab。，31（2003），第2068-2081页·兹比尔1042.60008 [27] B.T.Polyak和A.B.Juditsky，{通过平均加速随机逼近}，SIAM J.控制优化。，30（1992），第838-855页·Zbl 0762.62022号 [28] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。《统计学》，22（1951），第400-407页·Zbl 0054.05901号 [29] R.T.Rockafellar和R.J.-B.Wets，{变分分析}，施普林格，柏林，1998年·Zbl 0888.49001号 [30] T.Schaul、S.Zhang和Y.Lecun，《不再有令人讨厌的学习率》，载于《ICML’13：第30届机器学习国际会议论文集》，2013年第28卷，第343-351页。 [31] A.Shapiro、D.Dentcheva和A.Ruszczynáski，《随机编程讲座：建模和理论》，SIAM，费城，2009年·邮编：1183.90005 [32] V.A.Steklov，{\it Sur les expressions symplantiques de certaines foctions definies par les equations differentielles du second ordre，et leurs applications au problème du developmentd’une foction arbiire en series proce-dant suivant les-dites foctions}，Comm.Charkov Math。《社会学杂志》，第2卷（1907年），第97-199页。 [33] C.Tan、S.Ma、Y.-H.Dai和Y.Qian，{随机梯度下降的Barzilai-Borwein步长}，预印本，2016年。 [34] Y.Wardi，{函数最小化的Armijo步长随机算法}，J.Optim。理论应用。，64（1990年），第399-417页·Zbl 0687.90086号 [35] F.Yousefian、A.Nedicí和U.V.Shanbhag，{关于具有自适应步长序列的随机梯度和次梯度方法}，Automatica J.IFAC，48（2012），第56-67页·Zbl 1244.93178号 [36] F.Yousefian，A.Nedicí，和U.V.Shanbhag，{关于随机变分不等式问题的随机近似方法中的平滑、正则化和平均化}，数学。程序。，165（2017），第391-431页·Zbl 1457.90102号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。