丹尼尔·文丘里；李仙桃 Mori-Zwanzig深度学习公式。 （英语） Zbl 07696874号 Res.数学。科学。 10，第2号，第23号论文，47页（2023年）. 总结：我们基于不可逆统计力学的Mori-Zwanzig（MZ）形式主义开发了一种新的深度学习公式。新公式建立在深部神经网络和离散动力系统之间众所周知的对偶性的基础上，它允许我们通过精确的线性算子方程直接向前和向后传播感兴趣的量（条件期望和概率密度函数）。这样的新方程可以作为一个起点，开发新的有效的深度神经网络参数化，并为通过操作员理论方法研究深度学习提供一个新的框架。提出的深度学习MZ公式自然引入了一个新概念，即神经网络的记忆，它在低维建模和参数化中起着基础性作用。利用压缩映射理论，我们得到了神经网络记忆随层数衰减的充分条件。这允许我们严格地将深层网络转换为浅层网络，例如，通过减少每层神经元的数量（使用投影操作符），或通过减少总层数（使用内存操作符的衰减属性）。 MSC公司： 68倍 计算机科学 92至XX 生物学和其他自然科学 PDF格式BibTeX公司 XML格式引用 \textit{D.文丘里}和\textit{X.Li}，研究数学。科学。10，第2号，第23号论文，47页（2023；Zbl 07696874） 全文： DOI程序 arXiv公司 OA许可证 参考文献： [1] Bartolucci，F.，De Vito，E.，Rosasco，L.，Vigogna，S.：理解具有再生核Banach空间的神经网络，第1-42页（2021年）。arXiv公司：2109.09710·Zbl 1511.46015号 [2] 博特夫，ZI；JF格罗托夫斯基；Kroese，DP，《通过扩散估算核密度》，《Ann.Stat.》，38，5，2916-2957（2010）·Zbl 1200.62029号 ·doi:10.1214/10-AOS799 [3] 布伦南，C。；文丘里，D.，随机动力系统的数据驱动闭包，J.Compute。物理。，372, 281-298 (2018) ·Zbl 1415.65014号 ·doi:10.1016/j.jcp.2018.06.038 [4] HJ本加兹；Griebel，M.，稀疏网格，Acta Numer。，1347-269（2004年）·Zbl 1118.65388号 ·doi:10.1017/S0962492904000182 [5] 陈，M。；李，X。；Liu，C.，大分子集体动力学广义Langevin模型中记忆函数的计算，J.Chem。Phys，141，6，064112（2014）·数字对象标识代码：10.1063/1.4892412 [6] Cho，H。；文丘里，D。；Karniadakis，GE，Burgers方程中随机冲击的统计分析和模拟，Proc。R.Soc.A，2171，470，1-21（2014）·Zbl 1371.76081号 [7] Chorin，AJ；俄亥俄州哈尔德；Kupferman，R.，不可逆过程的最优预测和Mori-Zwanzig表示，Proc。国家。阿卡德。科学。，97, 7, 2968-2973 (2000) ·Zbl 0968.60036号 ·doi:10.1073/pnas.97.7.2968 [8] 楚·W。；Li，X.，从分子动力学推导波动热传导模型的Mori-Zwanzig形式主义，Commun。数学。科学。，17, 2, 539-563 (2019) ·Zbl 1482.82050 ·doi:10.4310/CMS.2019.v17.n2.a10 [9] Ciccotti，G。；Ryckaert，J-P，关于相互作用布朗粒子的广义朗之万方程的推导，J.Stat.Phys。，26, 1, 73-82 (1981) ·doi:10.1007/BF01106787 [10] 乔尼亚里奇·西奇，N。；Maćešić，S。；Mezić，I.，随机动力系统的Koopman算子谱，J.非线性科学。，30, 2007-2056 (2020) ·兹比尔1467.37084 ·数字对象标识代码：10.1007/s00332-019-09582-z [11] Darve，E。；所罗门，J。；Kia，A.，计算广义Langevin方程和广义Fokker-Planck方程，Proc。国家。阿卡德。科学。，106, 27, 10884-10889 (2009) ·doi:10.1073/pnas.0902633106 [12] De Rick，T。；Lanthaler，S。；Mishra，S.，《关于用tanh神经网络逼近函数》，《数值学报》。，143, 732-750 (2021) ·Zbl 1532.68094号 [13] Dektor，A。；文丘里，D.，高维非线性偏微分方程的动态张量近似，J.Compute。物理。，437, 110295 (2021) ·兹伯利07505902 ·doi:10.1016/j.jp.2021.110295 [14] Dektor，A。；罗杰斯，A。；文丘里，D.，高维非线性PDES的秩自适应张量方法，科学杂志。计算。，88, 36, 1-27 (2021) ·Zbl 1501.65032号 [15] Dick，J。；郭，FY；Sloan，IH，《高维积分：准蒙特卡罗方法》，《数值学报》。，22, 133-288 (2013) ·Zbl 1296.65004号 ·doi:10.1017/S0962492913000044 [16] Domini，JM；Venturi，D.，《Nakajima-Mori-Zwanzig公式中的二重性和条件期望》，J.Math。物理。，58, 8, 082701 (2017) ·Zbl 1376.81037号 ·数字对象标识代码：10.1063/1.4997015 [17] Gibert，S。；Mukherjea，A.，非负幂等核，J.Math。分析。申请。，135, 1, 326-341 (1988) ·Zbl 0665.28002号 ·doi:10.1016/0022-247X（88）90157-6 [18] Gonon，L。；格里戈耶娃，L。；Ortega，J-P，水库计算的风险界限，JMLR，21，240，1-61（2020）·Zbl 1532.68078号 [19] Han，J。；Li，Q.，深度学习的平均场最优控制公式，研究数学。科学。，6, 1-41 (2019) ·Zbl 1421.49021号 [20] 哈里姆·J。；Jiang，西南；Liang，S。；Yang，H.，缺失动力学预测的机器学习，J.Compute。物理。，428, 109922 (2021) ·Zbl 07511409号 ·doi:10.1016/j.jp.2020.109922 [21] He，K.，Zhang，X.，Ren，S.，Sun，J.：图像识别的深度剩余学习。摘自：IEEE计算机学会计算机视觉和模式识别会议记录，第770-778页（2016） [22] He，K.，Zhang，X.，Ren，S.，Sun，J.：深度剩余网络中的同一映射。收录于：ECCV，第630-645页。斯普林格（2016） [23] 赫塞文，JS；哥特利布，S。；Gottlieb，D.，《时间相关问题的谱方法》，剑桥应用和计算数学专著（2007）第21卷，剑桥：剑桥大学出版社，剑桥·Zbl 1111.65093号 [24] 希昂，C。；塞拉诺，M。；Español，P.，《原子系统粗粒度描述中的马尔科夫近似》，J.Chem。物理。，125204101（2006年）·doi:10.1063/12390701 [25] 希昂，C。；埃斯帕诺，P。；Vanden-Eijnden，E。；Delgado-Buscalioni，R.，Mori-Zwanzig形式主义作为一种实用计算工具，法拉第讨论，144301-322（2010）·doi:10.1039/B902479B [26] Izvekov，S。；Voth，GA，《凝聚相系统粗粒度表示中的真实动力学建模》，J.Chem。物理。，125, 151101-151104 (2006) ·数字对象标识代码：10.1063/1.2360580 [27] 詹姆逊，GJO；Pinkus，A.，函数空间中的正投影和最小投影，J.近似理论，37182-195（1983）·Zbl 0508.41026号 ·doi:10.1016/0021-9045（83）90062-X [28] 考兹拉里奇，D。；梅耶，JT；埃斯帕诺，P。；格雷纳，A。；Succi，S.，非马尔科夫粗颗粒的马尔科夫运动方程和石墨烯滴的性质，新物理学杂志。，15, 12, 125015 (2013) ·doi:10.1088/1367-2630/15/12/125015 [29] Khuri，AI，Diracδ函数在统计学中的应用，国际数学杂志。教育部。科学。技术。，35, 2, 185-195 (2004) ·doi:10.1080/0020739031001638313 [30] Kingma，D.P.，Welling，M.：自动编码变分贝叶斯。arXiv预印arXiv:1312.6114（2013） [31] 科比泽夫，I。；王子，SJD；马萨诸塞州布鲁贝克，《规范化流：当前方法的介绍和回顾》，IEEE Trans。模式分析。机器。智力。，43, 11, 3964-3979 (2020) ·doi:10.1109/TPAMI.2020.2992934 [32] Lasota，A。；麦基，MC，《混沌、分形和噪声：动力学的随机方面》（1994），纽约：施普林格，纽约·Zbl 0784.58005号 ·doi:10.1007/978-1-4612-4286-4 [33] Lei，H。；贝克，NA；Li，X.，广义Langevin方程的数据驱动参数化，Proc。国家。阿卡德。科学。，1135014183-14188（2016）·Zbl 1407.62320号 ·doi:10.1073/pnas.1609587113 [34] Li，Q.，Lin，T.，Shen，Z.：通过动力系统进行深度学习：近似观点。欧洲数学杂志。Soc.（2022年） [35] 李强。；Chen，L。；Tai，C.，深度学习的最大原则算法，JMLR，18，1-29（2018）·Zbl 1467.68156号 [36] 林，KK；Lu，F.，数据驱动模型简化，Wiener投影和Koopman-Mori-Zwanzig形式主义，J.Compute。物理。，424, 109864 (2021) ·兹伯利07508469 ·doi:10.1016/j.jp.2020.109864文件 [37] Lu，Y.，Zhong，A.，Li，Q.，Dong，B.：超越有限层神经网络：桥接深层结构和数值微分方程。arXiv:1710.10121（2017） [38] Lu，F。；Lin，K。；Chorin，A.，亚椭圆系统连续和离散时间基于数据建模的比较，Commun。申请。数学。计算。科学。，11, 2, 187-216 (2016) ·doi:10.2140/camcos.2016.11.187 [39] 马，L。；李，X。；Liu，C.，《从朗之万动力学推导和近似粗颗粒动力学》，J.Chem。物理。，145, 20, 204117 (2016) ·doi:10.1063/1.4967936 [40] 马，L。；李，X。；Liu，C.，使用降阶技术的粗粒度Langevin动力学，J.Compute。物理。，380, 170-190 (2019) ·Zbl 1451.65010号 ·doi:10.1016/j.jcp.2018.11.035 [41] Minguzzi，E.：弱可微条件下混合偏导数的等式。真实分析。交易所。40(1), 81-98 (2014/2015) ·Zbl 1393.26010号 [42] Mori，H.，《运输、集体运动和布朗运动》，Prog。西奥。物理。，33, 3, 423-455 (1965) ·Zbl 0127.45002号 ·doi:10.1143/PTP.33.423 [43] 诺瓦克，E。；Ritter，K.，《具有高多项式精度的简单体积公式》，Constr。约，15499-522（1999）·Zbl 0942.41018号 ·doi:10.1007/s003659900119 [44] Nozaki，D。；3月，DJ；格里格，P。；柯林斯，JJ，有色噪声对感觉神经元随机共振的影响，物理学。修订稿。，82140202-2405（1999年）·doi:10.1103/PhysRevLett.82.2402 [45] 潘，SJ；Yang，Q.，迁移学习调查，IEEE Trans。知识。数据工程，22，10，1345-1359（2010）·doi:10.1109/TKDE.2009.191 [46] Papoulis，A.，《概率、随机变量和随机过程》（1991），纽约：McGraw-Hill，纽约 [47] 帕希，R。；Nowak，RD，Banach神经网络和脊样条的空间表示定理，JMLR，22，1-40（2021）·Zbl 1507.68250号 [48] Pavliotis，GA，《随机过程和应用：扩散过程，福克-普朗克和朗之万方程》（2014），纽约：Springer，纽约·Zbl 1318.60003号 [49] 普莱斯，J。；Stinis，P.，用于长时间预测的具有记忆的重整化降阶模型，多尺度模型。同时。，17, 1, 68-91 (2019) ·Zbl 1412.65178号 ·doi:10.1137/17M1151389 [50] Rezende，D.，Mohamed，S.：规范化流的变分推理。摘自：国际机器学习会议，第1530-1538页。PMLR（2015） [51] Sherstinsky，A.，《递归神经网络（RNN）和长短期记忆（LSTM）网络基础》，Phys。D非线性现象。，404, 132306 (2020) ·Zbl 1508.68298号 ·doi:10.1016/j.physd.2019.132306 [52] 塔巴克，EG；Vanden-Eijnden，E.，通过对数似然的双重上升进行密度估计，Commun。数学。科学。，8, 1, 217-233 (2010) ·Zbl 1189.62063号 ·doi:10.4310/CMS.2010.v8.n1.a11 [53] Trefethen，LN，超立方体中的多元多项式逼近，Proc。美国数学。Soc.，145，11，4837-4844（2017）·Zbl 1380.41011号 ·doi:10.1090/proc/13623 [54] 文丘里，D。；Karniadakis，GE，非线性动力系统随机分析的无卷积Nakajima-Zwanzig方程，Proc。R.Soc.A，470，2166，1-20（2014）·Zbl 1371.60119号 ·doi:10.1098/rspa.2013.0754 [55] 文丘里，D。；Cho，H.等人。；通用电气公司Karniadakis；加尼姆，R。；希格顿，D。；Owhadi，H.，《Mori-Zwanzig不确定性量化方法》，《不确定性量化手册》（2016），纽约：施普林格出版社，纽约 [56] Wang，H。；Zhang，L.，超立方体中多元Gegenbauer逼近的分析，Adv.Comp。数学。，46, 53, 1-29 (2020) ·Zbl 1441.41002号 [57] Weinan，E.，《通过动态系统进行机器学习的建议》，Commun。数学。统计，5，1-10（2017）·Zbl 1380.37154号 ·文件编号：10.1007/s40304-017-0103-z [58] Yu，T.，Yang，Y.，Li，D.，Hospedales，T.，Xiang，T.：简单有效的随机神经网络。在：《人工智能创新应用会议论文集》，第35卷，第3252-3260页（2021） [59] 张，H。；Xu，Y.，再生用于机器学习的内核Banach空间，JMLR，102741-2775（2009）·Zbl 1235.68217号 [60] Zhu，Y。；Venturi，D.，Mori-Zwanzig方程的Faber近似，J.Compute。物理。，372, 694-718 (2018) ·Zbl 1415.37074号 ·doi:10.1016/j.jcp.2018.06.047 [61] Zhu，Y。；文丘里，D.，局部相互作用系统的广义朗之万方程，J.Stat.Phys。，178, 5, 1217-1247 (2020) ·Zbl 1437.82019年 ·doi:10.1007/s10955-020-02499-y [62] Zhu，Y。；文丘里，D.，《亚椭圆性与随机微分方程的Mori-Zwanzig公式》，J.Math。物理。，62, 1035051 (2021) ·Zbl 1489.60107号 ·数字对象标识代码：10.1063/5.0035459 [63] Zhu，Y。；Domini，JM；文丘里，D.，关于Mori-Zwanzig记忆积分的估计，J.Math。Phys，59、10、103501（2018）·Zbl 1402.60044号 ·数字对象标识代码：10.1063/1.5003467 [64] Zwanzig，R.，《不可逆热力学中的记忆效应》，物理学。修订版，124、4、983（1961年）·Zbl 0131.45006号 ·doi:10.1103/PhysRev.124.983 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。