马丁·本宁；埃琳娜·塞莱多尼；马蒂亚斯·埃哈特（Matthias J.Ehrhardt）。；布伦朱尔夫·奥雷恩；卡罗拉·比比安·施恩利布 作为最优控制问题的深度学习：模型和数值方法。 （英语） Zbl 1429.68249号 J.计算。动态。 171-198（2019）第2期第6页. 摘要：我们认为E.哈伯和卢瑟托【反向问题34，第1号，文章ID 014004，22 p.（2018；Zbl 1426.68236号)]和B.张等，[“任意深度剩余神经网络的可逆结构”，载于：2018年第32届AAAI人工智能会议论文集。加利福尼亚州帕洛阿尔托：人工智能促进协会（AAAI）。2811–2818（2018）]，其中深度学习神经网络被解释为受常微分方程约束的最优控制问题的离散化。我们回顾了最优性的一阶条件，以及离散化后确保最优性所需的条件。这导致了一类求解离散最优控制问题的算法，该算法保证了相应的离散最优必要条件得到满足。微分方程设置有助于学习其他参数，如时间离散化。我们结合自然约束（例如，时间步长位于单纯形中）探讨了这种扩展。我们从诱导流和泛化能力方面对这些深度学习算法进行了数值比较。 引用于1审查引用于18文件 MSC公司： 68T07型 人工神经网络与深度学习 49甲15 常微分方程最优控制问题的存在性理论 49平方米25 最优控制中的离散逼近 65K10码 数值优化和变分技术 65升10 常微分方程边值问题的数值解 65页第10页 含辛积分器哈密顿系统的数值方法 关键词：深度学习；最优控制；龙格-库塔方法；哈密顿边值问题 引文：兹比尔1426.68236 软件：AlphaGo公司；火炬差异；PRMLT公司；深度愚人；阳极 PDF格式BibTeX公司 XML格式引用 \textit{M.Benning}等人，J.Compute。动态。6，编号2，171--198（2019；Zbl 1429.68249） 全文： 内政部 arXiv公司 参考文献： [1] H.D.Abarbanel；P.J.Rozdeba；S.Shirman，《机器学习：作为统计数据同化问题的深度学习》，神经计算。，30, 2025-2055 (2018) ·Zbl 1472.68127号 ·doi:10.1162/necoa_01094 [2] A.A.Agrachev和Y.Sachkov，《几何观点的控制理论》，《数学科学百科全书》，87，施普林格-弗拉格出版社，柏林，2004年·Zbl 1062.93001号 [3] M.Benning；M.Burger，反问题的现代正则化方法，数值学报。，27, 1-111 (2018) ·Zbl 1431.65080号 ·doi:10.1017/S0962492918000016 [4] C.M.Bishop，《模式识别和机器学习》，信息科学与统计，Springer，纽约，2006年·Zbl 1107.68072号 [5] S.Blanes公司；F.Casas，关于二阶以上算子分裂格式负系数的必要性，应用。数字。数学。，54, 23-37 (2005) ·Zbl 1071.65097号 ·doi:10.1016/j.apnum.2004.10.005 [6] R.Bucy，线性哈密顿系统的两点边值问题，SIAM J.Appl。数学。，15, 1385-1389 (1967) ·Zbl 0155.13104号 ·doi:10.1137/0115121 [7] M.汉堡；G.Gilboa；S.Osher；徐军等，非线性逆尺度空间方法，Commun。数学。科学。，4, 179-212 (2006) ·Zbl 1106.68117号 ·doi:10.4310/CMS.2006.v4.n1.a7文件 [8] M.Burger、S.Osher、J.Xu和G.Gilboa，图像恢复的非线性逆尺度空间方法，计算机视觉中的变分、几何和水平集方法国际研讨会，计算机科学讲稿，3752，Springer-Verlag，柏林，2005，25-36·Zbl 1159.68585号 [9] B.Chang，L.Meng，E.Haber，L.Ruthotto，D.Begert和E.Holtham，任意深度剩余神经网络的可逆结构，第32届AAAI人工智能会议，2018年。 [10] T.Q.Chen、Y.Rubanova、J.Bettencourt和D.K.Duvenaud，神经常微分方程，《神经信息处理系统进展》，2018年，6572-6583。 [11] Y.N.Dauphin、R.Pascanu、C.Gulcehre、K.Cho、S.Ganguli和Y.Bengio，识别和解决高维非凸优化中的鞍点问题，《神经信息处理系统进展》，2014年，2933-2941。 [12] A.L.Dontchev；W.W.Hager，状态约束最优控制中的欧拉近似，数学。公司。，70173-203（2001年）·Zbl 0987.49017号 ·doi:10.1090/S0025-5718-00-01184-4 [13] J.Duchi、S.Shalev-Shwartz、Y.Singer和T.Chandra，《高维学习中对（begin{document}、ell\end{document}1）球的有效投影》，第25届国际机器学习会议论文集，2008年，272-279。 [14] W.E.，关于通过动态系统进行机器学习的建议，Commun。数学。统计，5，1-11（2017）·兹比尔1380.37154 ·文件编号：10.1007/s40304-017-0103-z [15] F.盖伊-巴尔马；T.S.Ratiu，力学中的Clebsch最优控制公式，J.Geom。机械。，3, 41-79 (2011) ·Zbl 1233.49005号 ·doi:10.3934/jgm.2011.3.41 [16] A.Ghoma、K.Keutzer和G.Biros，《阳极：神经ODE的无条件精确记忆效率梯度》，预印本，arXiv:math/1902.10298。 [17] I.Goodfellow，J.Shlens和C.Szegedy，解释和利用对抗性示例，预印本，arXiv:math/1412.6572。 [18] E.哈伯；L.Ruthotto，深度神经网络的稳定架构，逆问题，34，22页（2018）·Zbl 1426.68236号 ·doi:10.1088/1361-6420/aa9a90 [19] W.W.Hager，最优控制中的Runge-Kutta方法和变换的伴随系统，Numer。数学。，87247-282（2000年）·Zbl 0991.49020号 ·doi:10.1007/s002110000178 [20] E.Hairer、C.Lubich和G.Wanner，《几何-数值积分：常微分方程的结构保持算法》，计算数学中的Springer级数，31，Springer-Verlag，柏林，2006年·Zbl 1094.65125号 [21] K.He，X.Zhang，S.Ren和J.Sun，深度剩余网络中的身份映射，欧洲计算机视觉会议，计算机科学讲稿，9908，Springer，Cham，2016，630-645。 [22] K.He，X.Zhang，S.Ren和J.Sun，图像识别的深度剩余学习，IEEE计算机视觉和模式识别会议，内华达州拉斯维加斯，2016，770-778。 [23] C.F.Higham和D.J.Higham.《深度学习：应用数学家简介》，预印本，arXiv:math/1801.05894·Zbl 1440.68214号 [24] M.Igami，《作为结构估计的人工智能：深蓝、Bonanza和AlphaGo的经济解释》，预印本，arXiv:math/1710.10967·Zbl 07546371号 [25] A.Kurakin、I.Goodfellow和S.Bengio，《物理世界中的对抗性例子》，预印本，arXiv:math/1607.02533。 [26] W.Kutta，Beitrag zur näherungsweisen integration totaler differentials gleichungen，Z.Math。物理。，46, 435-453 (1901) ·JFM 32.0316.02号文件 [27] Y.LeCun；Y.Bengio；G.Hinton，深度学习，自然，521436-444（2015）·doi:10.1038/nature14539 [28] Y.LeCun、L.Bottou、Y.Bengio和P.Haffner，基于梯度的学习应用于文档识别，IEEE学报，86，1998，2278-2324。 [29] Y.LeCun，反向传播的理论框架，《1988年康涅狄格州模型暑期学校学报》，第1期，CMU，宾夕法尼亚州匹兹堡，1988年，21-28。 [30] Q.Li；L.Chen；C.泰；E.Weinan，深度学习的基于最大原理的算法，J.Mach。学习。研究，18，5998-6026（2017）·Zbl 1467.68156号 [31] Q.Li和S.Hao，深度学习的最优控制方法及其在离散权重神经网络中的应用，预印本，arXiv:math/1803.01299。 [32] Y.Lu，A.Zhong，Q.Li和B.Dong，超越有限层神经网络：桥接深层结构和数值微分方程，第35届国际机器学习会议论文集，机器学习研究论文集，80，瑞典斯德哥尔摩，2018，3276-3285。网址：http://proceedings.mlr.press/v80/lu18d.html。 [33] S.-M Moosavi-Dezfouli、A.Fawzi和P.Frossard，《深度愚弄：愚弄深度神经网络的简单而准确的方法》，《IEEE计算机视觉和模式识别会议论文集》，2016年，2574-2582。 [34] D.L.Phillips，某些第一类积分方程的数值求解技术，J.Assoc.Compute。机器。，9, 84-97 (1962) ·Zbl 0108.29902号 ·doi:10.1145/3211105.321105.321114 [35] D.C.Plaut等人，《反向传播学习实验》正在进行中。 [36] L.Pontryagin等人，《精选作品：最优过程的数学理论》，《苏联数学经典》，4，Gordon&Breach科学出版社，纽约，1986年。 [37] I.M.Ross，《最佳控制路线图：正确的通勤方式》，纽约州科学院安。科学。，1065, 210-231 (2005) ·doi:10.1196/annals.1370.015 [38] F.Santosa；W.W.Symes，带限反射地震图的线性反演，SIAM J.Sci。统计师。计算。，7, 1307-1330 (1986) ·Zbl 0602.73113号 ·数字对象标识代码：10.1137/0907087 [39] J.M.Sanz-Serna，用于伴随方程自动微分、最优控制等的辛Runge-Kutta格式，SIAM Rev.，58，3-33（2016）·Zbl 1339.65243号 ·数字对象标识代码：10.1137/151002769 [40] O.Scherzer和C.Groetsch，反问题的逆尺度空间理论，国际计算机视觉尺度空间理论会议，计算机科学讲义，2106，施普林格，柏林，2001317-325·Zbl 0991.68132号 [41] S.Sonoda和N.Murata，深度神经网络的双连续极限，ICML研讨会深度学习的原则方法，2017年·Zbl 1420.68177号 [42] E.D.Sontag，《数学控制理论：确定性有限维系统》，《应用数学文本》，第6期，Springer-Verlag出版社，纽约，1998年·Zbl 0945.93001号 [43] I.Sutskever、J.Martens、G.E.Dahl和G.E.Hinton，《深度学习中初始化和动力的重要性》，《第30届机器学习国际会议论文集》，第28期，2013年，第1139-1147页。 [44] C.Szegedy、W.Zaremba、I.Sutskever、J.Bruna、D.Erhan、I.J.Goodfellow和R.Fergus，《神经网络的有趣特性》，学习表征国际会议，2014年。 [45] M.Thorpe和Y.van Gennip，剩余神经网络的深度极限，预印本，arXiv:math/1810.11741·Zbl 07643751号 [46] R.Tibshirani，《通过套索进行回归收缩和选择》，J.Roy。统计师。Soc.序列号。B、 58、267-288（1996）·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x [47] A.N.Tikhonov，不正确公式化问题的解决和正则化方法，载于Dokl。阿卡德。恶心。，151, 1963, 1035-1038. ·Zbl 0141.11001号 [48] 渭南东部；J.Han；Q.Li，深度学习的平均场最优控制公式，研究数学。科学。，641页（2019年）·Zbl 1421.49021号 ·doi:10.1007/s40687-018-0172-y 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。