×
E、 渭南;韩洁群;李倩晓

深度学习的平均场最优控制公式。 （英语） 兹比尔1421.49021

Res.数学。科学。 6，第1号，第10号论文，41页（2019年）.
摘要：最近将深层神经网络和动力系统联系起来的工作为分析深层学习开辟了新途径。特别是，可以观察到，通过将深度学习重铸为差分或微分方程的最优控制问题，可以获得新的见解。然而，这种公式的数学方面还没有得到系统的探讨。本文介绍了深度学习中人口风险最小化问题作为平均场最优控制问题的数学表达式。反映了经典最优控制的发展，我们陈述并证明了Hamilton-Jacobi-Bellman型和Pontryagin型的最优性条件。这些平均场结果反映了学习问题的概率性质。此外，通过应用平均场Pontryagin最大值原理，我们在人口和经验学习问题之间建立了一些定量关系。这为研究最优控制和深度学习之间的算法和理论联系奠定了数学基础。

引用于43文件

MSC公司：

49公里21 非微分方程关系问题的最优性条件
92B20型 生物研究、人工生命和相关主题中的神经网络

关键词：

人口风险最小化问题;深度学习;平均场最优控制问题;平均场庞特里亚金最大值原理;人口;经验学习问题

软件：

火炬差异
PDF格式BibTeX公司 XML格式引用
\textit{W.E}等人，《研究数学》。科学。6，第1号，第10号论文，第41页（2019年；Zbl 1421.49021）
全文： 内政部 arXiv公司

参考文献：

[1] Andersson，D.，Djehiche，B.：平均场类型SDE的最大值原理。申请。数学。优化。63(3), 341-356 (2011) ·Zbl 1215.49034号
[2] Arora，S.，Ge，R.，Neyshabur，B.，Zhang，Y.：通过压缩方法实现深网的更强泛化边界。arXiv预印arXiv:1802.05296（2018）
[3] Athans，M.，Falb，P.L.：最优控制：理论及其应用简介。Courier Corporation，Chelmsford（2013）
[4] Bellman，R.：动态编程。Courier Corporation，Chelmsford（2013）·Zbl 1029.90076号
[5] Bengio，Y.：学习人工智能的深层架构。发现。Trends®马赫数。学习。2(1), 1-127 (2009) ·Zbl 1192.68503号
[6] Bensoussan，A.，Frehse，J.，Yam，P.：平均场游戏和平均场类型控制理论，第101卷。柏林施普林格出版社（2013）·Zbl 1287.93002号
[7] Boltyanskii，V.G.，Gamkrelidze，R.V.，Pontryagin，L.S.：最佳过程理论。一、最大原则。TRW空间技术实验室，加利福尼亚州洛杉矶（1960年）
[8] Bongini，M.、Fornasier，M.，Rossi，F.、Solombrino，F.：平均场蓬特里亚金最大值原理。J.优化。理论应用。175(1), 1-38 (2017) ·Zbl 1386.49003号
[9] Bressan，A.，Piccoli，B.：控制数学理论导论，第2卷。美国数学科学研究所，斯普林菲尔德（2007）·Zbl 1127.93002号
[10] Bryson，A.E.：应用最优控制：优化、估计和控制。CRC出版社，博卡拉顿（1975）
[11] Buckdahn，R.，Djehiche，B.，Li，J.：平均场类型SDE的一般随机最大值原理。申请。数学。优化。64(2), 197-216 (2011) ·Zbl 1245.49036号
[12] Caponigro，M.、Fornasier，M.，Piccoli，B.、Trélat，E.：线形模型的稀疏稳定和控制。数学。模型方法应用。科学。25(03), 521-564 (2015) ·Zbl 1331.49003号
[13] Cardaliaguet，P.：关于平均场比赛的笔记（2010）（未出版的笔记）
[14] Carmona，R.，Delarue，F.：正向-反向随机微分方程和受控McKean-Vlasov动力学。安·普罗巴伯。43（5），2647-2700（2015）·兹比尔1322.93103
[15] Chang，B.、Meng，L.、Haber，E.、Ruthotto，L.，Begert，D.、Holtham，E.：任意深度剩余神经网络的可逆结构。在：AAAI人工智能会议论文集（2018）
[16] Chang，B.，Meng，L.，Haber，E.，Tung，F.，Begert，D.：动态系统观点下的多级剩余网络。摘自：《学习表现国际会议论文集》（2018年）
[17] Chen，T.Q.，Rubanova，Y.，Bettencourt，J.，Duvenaud，D.：神经常微分方程。arXiv预印arXiv:1806.07366（2018）
[18] Crandall，M.G.，Ishii，H.，Lions，P.-L.：二阶偏微分方程粘度解的用户指南。牛市。美国数学。Soc.27（1），1-67（1992）·Zbl 0755.35015号
[19] Crandall，M.G.，Lions，P.-L.：哈密尔顿-雅可比方程的粘度解。事务处理。美国数学。Soc.277（1），1-42（1983）·Zbl 0599.35024号
[20] Crandall，M.G.，Lions，P.-L.：无限维Hamilton-Jacobi方程。I.粘度溶液的唯一性。J.功能。分析。62(3), 379-396 (1985) ·Zbl 0627.49013号
[21] Crandall，M.G.，Lions，P.-L.：无限维Hamilton-Jacobi方程。二、。粘度溶液的存在。J.功能。分析。65(3), 368-405 (1986) ·Zbl 0639.49021号
[22] Crandall，M.G.，Lions，P.-L.：无限维Hamilton-Jacobi方程，III.J.Funct。分析。68(2), 214-247 (1986) ·Zbl 0739.49015号
[23] Dziugaite，G.K.，Roy，D.M.：用比训练数据更多的参数计算深度（随机）神经网络的非有效泛化界限。arXiv预印arXiv:1703.11008（2017）
[24] Evans，L.C.：偏微分方程。数学研究生课程。美国数学学会，普罗维登斯（1998）·Zbl 0902.35002号
[25] Fornasier，M.，Solombrino，F.：平均场最优控制。ESAIM控制优化。计算变量20（4），1123-1152（2014）·Zbl 1305.49004号
[26] Friedman，J.，Hastie，T.，Tibshirani，R.：统计学习的要素。斯普林格统计系列，第1卷。施普林格，纽约（2001）·Zbl 0973.62007号
[27] Gangbo，W.，Święch，A.：平均场对策理论中方程解的存在性。J.差异。埃克。259（11），6573-6643（2015）·Zbl 1359.35221号
[28] Glrot，X.，Bordes，A.，Bengio，Y.：大规模情绪分类的领域适应：深度学习方法。收录于：《国际机器学习大会论文集》（2011）
[29] Goodfellow，I.，Bengio，Y.，Courville，A.：深度学习。麻省理工学院出版社，剑桥（2016）·Zbl 1373.68009号
[30] Guéant，O.，Lasry，J.-M.，Lions，P.-L.：平均场游戏和应用。巴黎-普林斯顿数学金融讲座，第205-266页。柏林施普林格出版社（2011）·Zbl 1205.91027号
[31] Haber，E.，Ruthotto，L.：深层神经网络的稳定架构。反向探测。34(1), 014004 (2017) ·Zbl 1426.68236号
[32] He，K.，Zhang，X.，Ren，S.，Sun，J.：图像识别的深度剩余学习。摘自：IEEE计算机视觉和模式识别会议记录（2016年）
[33] Huang，M.，Malhamé，R.P.，Caines，P.E.：大种群随机动态博弈：闭环Mckean-Vlasov系统和Nash确定性等价原理。Commun公司。信息系统。6(3), 221-252 (2006) ·Zbl 1136.91349号
[34] Ioffe，S.，Szegedy，C.：批处理规范化：通过减少内部协变量偏移来加速深层网络训练。摘自：机器学习国际会议论文集（2015）
[35] Jastrzebski，S.、Arpit，D.、Ballas，N.、Verma，V.、Che，T.、Bengio，Y.：剩余连接鼓励迭代推理。摘自：《学习表现国际会议论文集》（2018年）
[36] Keller，H.：非线性问题的近似方法及其在两点边值问题中的应用。数学。计算。29(130), 464-474 (1975) ·Zbl 0308.65039号
[37] Kelley，W.G.，Peterson，A.C.：微分方程理论：经典和定性。柏林施普林格出版社（2010年）·Zbl 1201.34001号
[38] Lasry，J.-M.，Lions，P.-L.：平均场游戏。日本。数学杂志。2(1), 229-260 (2007) ·Zbl 1156.91321号
[39] Lauriere，M.，Pironneau，O.：平均场类型控制的动态编程。C.R.数学。352(9), 707-713 (2014) ·Zbl 1310.90117号
[40] LeCun，Y.：反向传播的理论框架。摘自：康涅狄格州示范暑期学校，第21-28页（1988年）
[41] LeCun，Y.、Bengio，Y.和Hinton，G.：深度学习。《自然》521（7553）、436-444（2015）
[42] Li，F.-F.，Fergus，R.，Perona，P.：对象类别的一次性学习。IEEE传输。模式分析。机器。智力。28(4), 594-611 (2006)
[43] Li，Q.，Chen，L.，Tai，C.，E，W.：基于最大原理的深度学习算法。J.马赫。学习。第18号决议，第1-29号决议（2018年）·Zbl 1467.68156号
[44] Li，Q.，Hao，S.：深度学习的最优控制方法及其在离散权重神经网络中的应用。In:机器学习国际会议论文集（2018）
[45] 李，中，石，中：流形上的深度剩余学习和偏微分方程。arXiv预印arXiv:1708.05115（2017）
[46] Liberzon，D.：变分法和最优控制理论：简介。普林斯顿大学出版社，普林斯顿（2012）·Zbl 1239.49001号
[47] 《狮子》，P.-L.：法国大学：青年冠军莫延斯（2012）
[48] Lu，Y.，Zhong，A.，Li，Q.，Dong，B.：超越有限层神经网络：桥接深层结构和数值微分方程。arXiv预印arXiv:1710.10121（2017）
[49] Neyshabur，B.，Bhojanapalli，S.，McAllester，D.，Srebro，N.：探索深度学习中的泛化。In:神经信息处理系统进展会议录（2017年）
[50] Pan，S.J.，Yang，Q.：关于迁移学习的调查。IEEE传输。知识。数据工程22（10），1345-1359（2010）
[51] Pham，H.，Wei，X.：随机Mckean-Vlasov动力学最优控制的动态规划。SIAM J.控制优化。55(2), 1069-1101 (2017) ·Zbl 1361.93069号
[52] Pham，H.，Wei，X.：平均场随机控制问题的Bellman方程和粘性解。ESAIM控制优化。计算变量24（1），437-461（2018）·兹比尔1396.93134
[53] Pinelis，I.，Sakhanenko，A.：关于大偏差概率不等式的评论。理论问题。申请。30(1), 143-148 (1986) ·Zbl 0583.60023号
[54] Pontryagin，L.S.：优化过程的数学理论。CRC出版社，博卡拉顿（1987）
[55] Sonoda，S.，Murata，N.：深层神经网络的双连续极限。主题：ICML深度学习原则方法研讨会（2017年）·Zbl 1420.68177号
[56] Stegall，C.：Banach空间某些子集上函数的优化。数学。附录236（2），171-176（1978）·Zbl 0365.49006号
[57] Subbotina，N.：Hamilton-Jacobi方程的特征线方法及其在动态优化中的应用。数学杂志。科学。135（3），2955-3091（2006）·Zbl 1184.49032号
[58] Sznitman，AS；Hennequin，P-L（编辑），《混沌传播主题》，165-251（1991），柏林·Zbl 0732.60114号
[59] Veit，A.、Wilber，M.J、Belongie，S.：剩余网络的行为类似于相对浅层网络的集合。摘自：《神经信息处理系统进展》，第550-558页（2016年）
[60] E、 W.：关于通过动态系统进行机器学习的建议。Commun公司。数学。统计5（1），1-11（2017）·Zbl 1380.37154号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。