诺金，V.I。 动态优化、最优控制和机器学习问题中的广义梯度。 （英语。俄语原件） Zbl 1464.49016号 赛博。系统。分析。 56，第2期，243-258（2020年）; 翻译自Kibern。修女。分析。2020年，第2期，第89-107页（2020年）。 摘要：从一个共同的角度考虑了非光滑非凸动态优化、最优控制（离散时间）（包括反馈控制）和机器学习等问题。跟踪了控制离散动力系统和具有非光滑目标泛函和连接的多层神经网络学习问题之间的类比。基于Hamilton-Protryagin函数，提出了计算此类系统广义梯度的方法。将最优控制和学习的梯度（随机）算法推广到非凸非光滑动态系统。 引用于1文件 MSC公司： 49公里21 非微分方程关系问题的最优性条件 第49页第52页 非平滑分析 68T05型 人工智能中的学习和自适应系统 90C26型 非凸规划，全局优化 93C55美元 离散时间控制/观测系统 关键词：动态优化;最优控制;机器学习;多层神经网络;深度学习;非光滑非凸优化;随机优化;随机广义梯度;随机平滑 软件：GradSamp公司 PDF格式BibTeX公司 XML格式引用 \textit{V.I.Norkin}，Cybern。系统。分析。56，第2号，243--258（2020；Zbl 1464.49016）；翻译自Kibern。修女。分析。2020年，第2期，89--107（2020年） 全文： 内政部 参考文献： [1] A.E.Bryson和Ju-Shi Ho，应用最优控制。优化、估计和控制，CRC出版社（2017）。 [2] Ermoliev，YM，《随机编程方法（俄语）》（1976年），莫斯科：瑙卡，莫斯科 [3] 埃莫利耶夫，YM；副总裁Gulenko；Tsarenko，TI，最优控制问题的有限差分法[俄语]（1978），基辅：Naukova Dumka，基辅·Zbl 0408.49037号 [4] Vasil’ev，FP，《解决极端问题的方法》（俄语）（1981年），莫斯科：瑙卡，莫斯科 [5] 于。G.Evtushenko，优化和快速自动微分[俄语]，VTs im。A.A.Dorodnitsyna RAN，莫斯科（2013）。http://dx.doi.org/10.1016/j.neunet.2014.09.003。 [6] J.Schmidhuber，“神经网络的深度学习：概述”，《神经网络》，第61卷，第85-117页（2015年）。http://dx.doi.org/10.1016/j.neunet.2014.09.003。 [7] Nurminskii，EA，解随机极小极大问题的数值方法[俄语]（1979），基辅：Naukova Dumka，基辅·兹比尔0452.65041 [8] 彭特里亚金，LS；博尔扬斯基，VG；甘克雷利泽，RV；Mishchenko，EF，《最优化过程的数学理论》（1961年），莫斯科：菲兹马特吉兹，莫斯科·兹伯利0102.31901 [9] Boltyanskii，VG，离散系统的最优控制[俄语]（1973），莫斯科：瑙卡，莫斯科 [10] D.E.Rumelhart、G.E.Hinton和R.J.Williams，“反向传播错误的学习表征”，《自然》，第323卷，第533-536页（1986年）。https://doi.org/10.1038/323533a0。 ·Zbl 1369.68284号 [11] Y.LeCun、Y.Bengio和G.Hinton，“深度学习”，《自然》，第521卷，第436-444页（2015年）。https://doi.org.10.1038/nature14539。 [12] I.Goodfellow、Y.Bengio和A.Courville，《深度学习、自适应计算和机器学习系列》，麻省理工学院出版社（2016）·Zbl 1373.68009号 [13] 诺金，VI，广义可微函数，控制论，16，1，10-12（1980）·doi:10.1007/BF01099354 [14] Demyanov，VF，极值条件和变分演算[俄语]（2005），莫斯科：Vysshaya Shkola，莫斯科 [15] Daduna，H。；诺波夫，PS；Tur，LP，具有一般形式成本函数的库存系统的最优策略，Cybern。系统。分析，35，4，602-618（1999）·Zbl 0972.90002号 ·doi:10.1007/BF02835856 [16] 于。M.Ermoliev和V.I.Norkin，“随机广义梯度法在保险风险管理中的应用”，中期报告IR-97-021，国际应用研究所。系统。分析。奥地利拉克森堡（1997年）。URI（URI）：http://pure.iiasa.ac.at/5270。 [17] Pshenichnyi，BN，必要极端条件[俄语]（1982），莫斯科：瑙卡，莫斯科 [18] 德米扬诺夫，VF，最优化和控制理论的非光滑问题[俄语]（1982），列宁格勒：Izd。列宁格勒。列宁格勒大学·Zbl 0547.49001号 [19] FH Clarke，《优化与非光滑分析》（1983），纽约：威利出版社·兹伯利0582.49001 [20] Mordukhovich，BS，优化和控制问题中的近似方法[俄语]（1988），莫斯科：瑙卡，莫斯科·Zbl 0643.49001号 [21] Rockafellar，RT公司；Wets，RJ-B，变分分析（1998），柏林-海德堡：施普林格，柏林-海德堡·Zbl 0888.49001号 [22] H-S.Ahn、K.L.Moore和Y.Q.Chen，《迭代学习控制》。区间系统的鲁棒性和单调收敛，Springer-Verlag，伦敦（2007）·Zbl 1162.93025号 [23] Aubin，J-P，《神经网络与定性物理》（1996），剑桥：剑桥大学出版社，剑桥·兹比尔0920.68100 [24] Nikolenko，S。；卡杜林，A。；Arkhangel’skaya，E.，《深度学习》（2018），圣彼得堡：皮特 [25] A.Griewank和A.Walther，《衍生品评估》。算法微分原理与技术，工业社会。和应用程序。《费城数学》第二版（2008年）·Zbl 1159.65026号 [26] Hardt，M。；Recht，B。；Singer，Y.，训练更快，概括更好：随机梯度下降的稳定性，Proc。机器学习研究，481225-1234（2016） [27] C.Zhang、Q.Liao、A.Rakhlin、B.Miranda、N.Golowich和T.Poggio，深度学习理论IIb：SGD的优化特性，CBMM备忘录第072号，麻省理工学院麦戈文大脑研究所，剑桥（2018）。arXiv:1801.02254v1[cs.LG]2018年1月7日。 [28] D.Soudry、E.Hoffer、M.S.Nacson、S.Gunasekar和N.Srebro，可分离数据梯度下降的隐含偏差。arXiv:1710.10345v3[stat.ML]2018年3月21日·Zbl 1477.62192号 [29] L.Bottou、F.E.Curtisy和J.Nocedalz，“大规模机器学习的优化方法”，《SIAM评论》，第60卷，第2期，223-311页（2018年）。https://doi.org.10.1137/16m1080173。 ·Zbl 1397.65085号 [30] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数理统计年鉴》，22，3，400-407（1951）·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586 [31] A.Nemirovski、A.Juditsky、G.Lan和A.Shapiro，“随机规划的稳健随机近似方法”，SIAM J.on Optimization，第19卷，第4期，1574-1609（2009）。https://doi.org/10.1137/070704277。 ·Zbl 1189.90109号 [32] A.Shapiro、D.Dentcheva和A.Ruszczynski，《随机编程讲座：建模与理论》，SIAM，费城（2009）·邮编：1183.90005 [33] 埃莫尔·埃夫（YM Ermol’ev）；诺金，VI，求解非凸非光滑随机优化的随机广义梯度法，Cybern。系统。分析，34，2，196-215（1998）·Zbl 0930.90074号 ·doi:10.1007/BF02742069 [34] D.Davis、D.Drusvyatskiy、S.Kakade和J.D.Lee，“随机次梯度方法收敛于驯服函数”，Found。计算。数学。，1-36 (2019). https://doi.org/10.1007/s10208-018-09409-5。 ·兹比尔1433.65141 [35] A.Ruszczynski，《非光滑非凸约束优化的随机子梯度平均法的收敛性》，arXiv Preprint（2019）。arXiv:1912.07580v1[math.OC]2019年12月16日。https://arxiv.org/abs/1912.07580。 [36] R.Mifflin，“半光滑函数约束优化算法”，数学。操作。研究，第2卷，第2期，191-207（1977）。网址：www.jstor.org/stable/3689654·Zbl 0395.90069号 [37] R.Mifflin，约束优化中的半光滑和半凸函数，“SIAM J.Contr。选择。，第15卷，第6期，959-972页（1977年）。https://doi.org/10.1137/0315061。 ·兹伯利0376.90081 [38] Gupal，AM，解决非光滑极值问题的随机方法[俄语]（1979），基辅：Naukova Dumka，基辅 [39] R.Mifflin，“Lemarechal非光滑最小化算法的修改和扩展”，摘自：D.C.Sorensen和J.B.Wets（编辑），优化中的非微分和变分技术，第2部分，数学。掠夺。研究，第17卷，77-90（1982）·Zbl 0476.65047号 [40] 新西兰肖尔，《不可微函数的最小化方法》（1985），柏林-海德堡：施普林格，柏林-海德堡·Zbl 0561.90058号 [41] Dorofeyev，PA，关于广义梯度法的一些性质，J.Vych。Mat.Mat.Fiz.，材料Fiz。，25, 2, 181-189 (1985) ·Zbl 0567.90082号 [42] Mikhalevich，副总裁；古帕尔，AM；诺金，VI，非凸优化方法[俄语]（1987），莫斯科：瑙卡，莫斯科·Zbl 0635.90054号 [43] 斯洛伐克，扎夫里夫；Perevozchikov，AG，求解有界变量极小极大问题的广义梯度下降随机方法，Vych。Mat.Mat.Fiz.，材料Fiz。，30, 4, 491-500 (1990) ·Zbl 0708.90061号 [44] Uryas'ev，SP，随机优化和博弈论的自适应算法[俄语]（1990），莫斯科：瑙卡，莫斯科·Zbl 0709.90073号 [45] 希里亚特·乌鲁蒂，J-B；Lemarechal，C.，凸分析与最小化算法，第二卷（1993年），柏林-海德堡：斯普林格-弗拉格出版社·兹比尔0795.49001 [46] M.Fukushima和L.Qi（编辑），《重整：非光滑、分段光滑、半光滑和平滑方法》，Kluwer Acad。出版物。，Dordrecht-Boston-London（1999）。 [47] Stetsyuk，PI，Shor r算法的理论和程序实现，Cybern。系统。分析，53，5，43-57（2017）·Zbl 1382.65181号 ·doi:10.1007/s10559-017-9971-1 [48] V.I.Norkin，“解决非凸随机规划问题的随机方法及其应用”，作者论文摘要，V.M.Glushkov控制论研究所，NAS Ukr。，基辅（1998）。网址：http://library.nuft.edu.ua/ebook/file/01.05.01 [49] 埃莫利耶夫，YM；诺金，VI，非凸非光滑随机优化问题的求解，Cybern。系统。分析，39，5，701-715（2003）·Zbl 1066.90071号 ·doi:10.1023/B:CASA.000001091.84864.65 [50] 诺金，VI，不可微函数的非局部最小化算法，控制论，14，5，704-707（1978）·兹比尔0433.65030 [51] J.Bolt、A.Danilidis和A.Lewis，“Tame函数是半光滑的”，数学。程序。，序列号。B、 第117卷，5-19页（2009年）。https://doi.org.10.1007/s10107-007-0166-9。 ·Zbl 1158.49030号 [52] 诺金，VI，非凸非光滑随机优化问题中的随机广义可微函数，控制论，22，6，804-809（1986）·Zbl 0693.90074号 ·doi:10.1007/BF01068698 [53] S.Miricö，“关于映射广义可微性的注记”，Nonl。分析。理论，方法，应用，第4卷，第3期，567-575（1980）。https://doi.org/10.1016/0362-546x网址(80)90092-9. ·Zbl 0437.26004号 [54] 利亚什科，II；Emel'yanov，心室颤动；博亚祖克，俄克拉何马州，《数学分析（乌克兰语）》，第1部分（1992年），基辅：Vyshcha Shkola，基辅·Zbl 1103.26300号 [55] L.Qi和J.Sun，“牛顿方法的非光滑版本”，《数学规划》，第58卷，353-368（1993）。https://doi.org/10.1007/bf01581275。 ·Zbl 0780.90090号 [56] L.Qi，“求解非光滑方程的一些算法的收敛性分析”，《运筹学数学研究》，第18卷，227-244（1993）。https://doi.org/10.1287/moor.18.1.227。 ·Zbl 0776.65037号 [57] Polyak，BT，《优化导论（俄语）》（1983年），莫斯科：瑙卡，莫斯科·Zbl 0652.49002号 [58] S.Sternberg，微分几何讲座，AMSE（1999）·Zbl 0129.13102号 [59] J.Burke、A.Lewis和M.Overton，“非光滑非凸优化的稳健梯度采样算法”，SIAM J.on Opt。，第15卷，第3期，751-779（2005）。https://doi.org/10.1137/030601296。 ·Zbl 1078.65048号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。