斯特凡妮娅·贝拉维亚；纳塔沙·克雷克·杰林基奇；格雷塔·马拉斯皮纳 亚采样非单调谱梯度方法。 （英语） Zbl 1439.49056号 Commun公司。申请。Ind.数学。 11、1号、19-34（2020年）。 小结：本文讨论最小化有限和的子采样谱梯度方法。为了降低经典谱梯度方法的总体计算成本，采用了子样本函数和梯度近似。全局收敛是通过非单调线搜索过程实现的。如果函数和梯度的逼近精度提高，则证明了全局收敛性。研究了强凸目标函数的R-线性收敛性和最坏情况下的迭代复杂性。对已知的二元分类问题给出了数值结果，以证明该框架的有效性，并分析了由于该过程的可变样本性质而产生的不同谱系数近似的影响。 引用于2文件 MSC公司： 49立方米 基于非线性规划的数值方法 65千5 数值数学规划方法 68T05型 人工智能中的学习和自适应系统 68瓦40 算法分析 关键词：光谱梯度法；子采样策略；全球收敛；非单调线搜索 软件：UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit{S.Bellavia}等人，Commun。申请。Ind.数学。11，编号1，19-34（2020；兹bl 1439.49056） 全文： 内政部 arXiv公司 参考文献： [1] 1.S.Bellavia、G.Gurioli和B.Morini，具有动态不精确hessian信息的自适应立方正则化方法的理论研究，arXiv:1808.062392018·Zbl 1460.65076号 [2] 2.S.Bellavia、N.Krejić和N.Krklec Jerinkić，最小化大量凸函数的次采样不精确牛顿方法，IMA J.数值分析，2019年·Zbl 1417.90109号 [3] 3.A.Berahas、R.Bollapragada和J.Nocedal，《牛顿-ketch和子样本牛顿法的研究》，arXiv:1705.06211v32018·Zbl 1454.90112号 [4] 4.E.Birgin、N.Krejić和J.Martínez，《关于使用不精确恢复最小化函数的问题》，《计算数学》，第87卷，第1307-13262018页·Zbl 1383.65060号 [5] 5.D.Blatt、A.O.Hero和H.Gauchman，恒定步长的收敛增量梯度法，SIAM优化杂志，第18卷，第1期，第29-51页，2007年·Zbl 1154.90015号 [6] 6.R.Bollapragada、R.R.Byrd和J.Nocedal，优化的精确和不精确子采样牛顿方法，IMA期刊数值分析，2018年·Zbl 1461.65131号 [7] 7.L.Bottou、F.E.Curtis和J.Nocedal，《大规模机器学习的优化方法》，SIAM Review，第60卷，第2期，第223-311页，2018年·Zbl 1397.65085号 [8] 8.L.Bottou，神经网络中的随机梯度学习，《神经时间学报》，第91卷，第8期，第12页，1991年。 [9] 9.R.Byrd、G.Chin、J.Nocedal和Y.Wu，《机器学习优化方法中的样本大小选择》，《数学规划》，第134卷，第1期，第127-155页，2012年·Zbl 1252.49044号 [10] 10.M.P.Friedlander和M.Schmidt，数据拟合的混合确定性随机方法，SIAM科学计算杂志，第34卷，第3期，第1380-1405页，2012年·Zbl 1262.90090号 [11] 11.R.Johnson和T.Zhang，使用预测方差减少加速随机梯度下降，神经信息处理系统进展，2013年。 [12] 12.N.Krejić和N.Krklec Jerinkić，可变样本大小的非单调线搜索方法，《数值算法》，第68卷，第4期，第711-739页，2015年·Zbl 1316.65062号 [13] 13.F.Roosta-Khorasani和M.Mahoney，子样本牛顿法，数学规划，第174卷，第293-326页，2019年·兹伯利1412.49059 [14] 14.N.Schraudolph、J.Yu和S.Günter，在线凸优化的随机拟牛顿方法，SAIS人工智能与统计国际会议，第436-443页，2007年。 [15] 15.C.Tan、S.Ma、Y.H.Dai和Y.Qian，随机梯度下降的Barzilai-borwein步长，神经信息处理系统进展，第29卷，第685-693页，2016年。 [16] 16.Z.Yang，C.Wang，Z.Zhang，and J.Li，《微型支撑算法的随机barzilai-borwein步长》，《人工智能的工程应用》，第72卷，第124-135页，2018年。 [17] 17.J.Barzilai和J.M.Borwein，两点步长梯度法，IMA J.数值分析，第8卷，第1期，第141-148页，1988年·Zbl 0638.65055号 [18] 18.E.G.Birgin、J.M.Martínez和M.Raydan，《光谱投影梯度方法：回顾与展望》，《统计软件杂志》，第60卷，2014年。 [19] 19.Y.H.Dai、W.W.Hager、K.Schittkowski和H.Zhang，无约束优化的循环barzilai-borwein方法，IMA期刊《数值分析》，第26卷，第3期，第604-627页，2006年·Zbl 1147.65315号 [20] 20.R.Fletcher，《关于barzilai-borwein梯度法》，载《应用优化的优化和控制》（L.Qi、K.Teo和X.Yang编辑），第96卷，第235-256页，Springer，2005年·Zbl 1118.90318号 [21] 21.D.di Serafino、V.Ruggiero、G.Toraldo和L.Zanni，《关于无约束优化梯度方法中的步长选择》，《应用数学与计算》，第318卷，第176-195页，2006年·Zbl 1426.65082号 [22] 22.M.Raydan，大规模无约束极小化问题的barzilai和borwein梯度法，SIAM Journal Optimization，第7卷，第1期，第26-33页，1997年·Zbl 0898.90119号 [23] 23.N.Krejić和N.Krklec-Jerinkić，随机优化的谱投影梯度法，《全局优化杂志》，第73卷，第59-812018页·Zbl 1417.90109号 [24] 24.D.H.Li和M.Fukushima，非线性方程的broyden类方法的无导数线搜索和全局收敛，《优化方法与软件》，第13卷，第3期，第181-201页，2000年·Zbl 0960.65076号 [25] 25.G.N.Grapiglia和E.Sachs，《关于非单调线搜索算法的最坏情况评估复杂性》，《计算优化与应用》，第68卷，第3期，第555-577页，2017年·Zbl 1388.90111号 [26] 26.因果工作台团队，营销数据集。http://www.causality.inf.ethz.ch/data/CINA.html, 2008. [27] 27.M.Lichman，Uci机器学习库。https://archive.ics.uci.edu/ml/index.php网站，2013年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。