渭南E

普林斯顿大学
美国新泽西州普林斯顿08544-1000。
电话：（609）258-3683~传真：（608）258-1735
weinan@math.princeton.edu
SIAM-CSE会议上的演讲幻灯片，“科学的人工智能及其对数学的影响”
NeurIPS AI for Science研讨会上的演讲幻灯片，“科学的人工智能”
Woudschoten会议上的演讲幻灯片，“架起传统算法和基于机器学习的算法的桥梁解偏微分方程：随机特征法”
ICML主题演讲的幻灯片，“走向机器学习的数学理论”
ICM全体演讲的幻灯片，“机器学习的数学观点”
冯康教授诞辰100周年演讲幻灯片，《机器学习与计算数学》
MSML2020演讲幻灯片，“对机器学习的数学理解：我们知道什么和不知道什么”
IPAM演讲幻灯片，“基于机器学习的多尺度建模”
蒙特雷演讲的幻灯片，“基于深度学习的高维PDE和控制算法”
2019年国际文博会演讲幻灯片，“机器学习：数学理论和科学应用”

视角

渭南市E区，“应用数学新时代的曙光” , 美国数学学会公告，2021年4月。

最近的评论文章

渭南市E区，“机器学习和计算数学” , 2020.
Weinan E、Chao Ma、Stephan Wojtowytsch和Lei Wu，“对…的数学理解基于神经网络的机器学习：我们知道什么和不知道什么” , 2020.
魏南娥、杰群·韩、阿努尔夫·詹岑，“求解高维偏微分方程的算法：来自机器学习的非线性蒙特卡罗” , 2020.
魏南娥、韩杰群、张林峰，“将机器学习与基于物理的建模相结合” , 2020.

当前研究兴趣和亮点：

（1） 从数学角度看机器学习


机器学习的持续公式（论文10、17、34）
特别是，论文10提出了一种基于ODE的机器学习模型，现在更为流行被称为“神经ODE”。

泛化误差的Monte Carlo-like估计浅层和深层神经网络模型（论文28、29、30）

基于SDE的随机梯度下降算法分析（论文2、6、7）

深度神经网络的最大原则训练算法（论文19）

（2） 科学计算问题的机器学习


第一个基于机器学习的高维求解算法控制问题（论文4）。

第一个基于机器学习的求解高维非线性偏微分方程的算法（论文8、9、15）

（3） 将机器学习与基于物理的建模相结合


原子间势的端到端神经网络模型（Deep势）和分子动力学（基于深势的分子动力学或DeePMD）（论文14、16、22）。

自动并行学习算法原子间势的数据生成和基于机器学习的模型（DP-GEN）（论文24）。

基于机器学习的力矩闭合水动力模型动力学方程（论文32）。

近期出版物列表：

77.杨洪康、林泽浩、王文锦、吴浩、李志宇、汤波、魏文强、王金波、汤泽云、宋世超、习晨阳、余宇、陈凯、熊飞宇、汤林鹏、渭南E、，“内存^3：具有显式内存的语言建模” , 2024.
76.王明泽和渭南E，“了解变压器的表达能力和机制序列建模”arxiv.org/pdf/2402.00522 , 2024.
75.张铎、刘新梓、张湘玉、张承乾、蔡淳、，毕汉瑞、杜一鸣、秦雪剑、黄佳萌、李伯文、单一凡、，曾金哲、张玉芝、刘思源、李一凡、张俊翰、新颜王、周朔、刘建川、罗晓山、王振宇、蒋万润、，吴静、杨玉迪、杨济源、杨曼毅、龚福强、临双张、史梦超、戴富之、约克、刘石、朱彤、，钟志诚、吕健、程军、贾伟乐、陈默翰、柯国林、，渭南E、张林峰、王汉、，“DPA-2：建立分子和材料的通用大原子模型模拟” , 2023.
74.顾强强、张浩周音、史希尔·库马尔·潘迪、张鹏、张林峰、渭南E、，“DeePTB：基于深度学习的紧密结合方法，具有从头开始的准确性” , 2023.
73.陈一晓、张林峰、渭南E、罗伯托汽车，“分子系统的混合辅助场量子蒙特卡罗”，arxiv.org/pdf/2211.10824 , 2022.
72.谢品晨，Roberto Car，Weinan E，“Ab Initio广义Langevin方程”，arxiv.org/pdf/2211.06558 , 2022.
71.张宣喜、龙继浩、胡伟、鄂渭南、韩洁群、，“闭环最优控制的初值问题增强采样深度神经网络设计” , 2022.
70.陈京润、池旭荣、鄂渭南、杨周旺，“将传统算法和基于机器学习的算法结合起来进行求解PDEs：随机特征法” , 2022.
69.谢品晨、陈一晓、渭南E、罗伯托汽车，“铁电体的从头算多尺度建模：以PbTiO3为例” , 2022.
68.胡伟、龙继浩、臧耀华、渭南E、韩杰群、，“使用混合最小值求解碰撞刚体动力学的最优控制原则” , 2022.
67.文桐琪、张林峰、王汉、魏南E和大卫J斯罗洛维茨，“材料科学的深层潜力” ，马特。期货1（2022）022601。
66.渭南鄂、韩杰群、龙吉浩，“通过机器学习实现最优控制：从模型预测的角度控制“ , 2022.
65.臧耀华、龙继浩、张宣喜、胡伟、渭南E、韩杰群、，“最佳着陆问题的机器学习增强算法” , 2022.
64.方立东、裴戈、张磊、桓磊、渭南E，“DeePN2：基于深度学习的非牛顿流体力学模型” , 2021.
63.韩杰群、杨玉成、渭南E，“DeepHAM：具有聚合冲击的异构Agent模型的全局求解方法” , 2021.
62.张露露、罗涛、张耀宇、渭南E、徐志琴、郑马、，“MOD-Net:一种通过模型算子数据网络求解偏微分方程的机器学习方法” , 2021.
61.张林峰（Linfeng Zhang）、王汉（Han Wang）、玛丽亚·卡罗琳娜·穆尼兹（Maria Carolina Muniz）、阿萨纳西奥斯（Athanassios Z.Panagiotopoulos）、罗伯特·卡尔（Roberto Car）、渭南（Weinan E），“具有长程静电相互作用的深势模型” , 2021.
60.杨洪康、渭南E，“从鉴别器的角度看GAN的泛化错误” , 2021.
59.张林峰、王汉、罗伯托汽车和渭南E，“深势水模型的相图” ，物理。修订稿。126236001–2021年6月9日出版。
《物理纲要》述评“预测水相的有效方法” .
58.吉浩龙、杰群韩、渭南鄂，“基于核和神经网络的高维强化学习的二语分析近似值“ , 2021.
57.王东东、张林峰、王翰、渭南E、，“使用自适应增强技术对高维自由能景观进行高效采样动力学” , 2021.
56.王庆灿和渭南E，“连续时间隐马尔可夫的期望最大化算法模型“ , 2021.
55.渭南E，Stephan Wojtowytsch，“关于神经最后和倒数第二层中四面体对称性的出现网络分类器” , 2020.
54.渭南E，Stephan Wojtowytsch，“关于Barron和多层空间中偏微分方程的一些观察” , 2020.
53.杨洪康、渭南E，“泛化和记忆：偏向势模型” , 2020.
52.Weinan E，Stephan Wojtowytsch，“使用神经网络对分类问题进行先验估计” , 2020.
51.杨玉成、彭岳、黄冠华、渭南E，“的知识图表用替代大数据进行宏观经济分析” , 2020.
50.杨玉成、钟正、渭南E，“面板的可解释神经网络经济学中的数据分析” , 2020.
49.朝马、雷武、渭南E，“自适应动态行为的定性研究梯度算法” , 2020.
48.钟力、韩杰群、渭南E、李倩晓，“关于递归神经网络中记忆的诅咒：近似和优化分析” , 2020.
47.余海军、田新元、渭南E、李倩晓，“OnsagerNet:使用广义Onsager原理” , 2020.
46.赵马、吴磊和渭南E，“泛化错误的缓慢恶化随机特征模型” , 2020.
45.陈一晓、张林峰、王涵、魏南娥，“DeePKS：一种全面的数据驱动化学方法精确密度泛函理论” , 2020.
44.渭南E，Stephan Wojtowytsch，“关于与多层ReLU网络相关的Banach空间：功能表示、近似理论和梯度下降动力学” , 2020.
43.谢品晨，渭南E，“粗粒度光谱投影（CGSP）：可扩展和基于并行深度学习的量子幺正动力学方法” , 2020.
42.朝马、雷武、渭南E、，“梯度下降的淬火激活行为两层神经网络模型的动力学” , 2020.
41.渭南E，Stephan Wojtowytsch，“Barron函数的表示公式和逐点属性” , 2020.
40.Stephan Wojtowytsch，渭南东部，“浅层神经网络能战胜维数的诅咒吗？平均场训练透视图” , 2020.
39.Weinan E，Stephan Wojtowytsch，“机器学习中的Kolmogorov宽度衰减和较差逼近：浅层神经网络，随机特征模型和神经切线核” , 2020.
38.陈一晓、张林峰、王涵、渭南E、，“具有Hartree-Fock效率和化学精度的基态能量功能” , 2020.
37.贾伟乐、王翰、陈默翰、陆登辉、刘继端、林林、罗伯托汽车、渭南E、，张林峰，“用从头算精度将分子动力学的极限推到1亿个原子机器学习” , 2020.
36.桓磊、吴磊和渭南E，“基于机器学习的非牛顿流体模型分子保真度” , 2020.
35.渭南鄂、朝马、雷武，“关于超参数神经网络模型最小范数解的推广性质” , 2019.
34.渭南鄂、朝马、雷武，“从连续的角度进行机器学习” , 2019.
33.渭南鄂、周亚军，“语言共性的数学模型” , 2019.
32.韩洁群、马超、马郑、渭南E、，“基于统一精度机器学习的动力学方程流体动力学模型” , 2019.
31.L.F.Zhang、M.H.Chen、X.F.Wu、H.Wang、W.E和R.Car，“Wannier功能中心的深层神经网络” , 2019.
30.W.E、C.Ma和L.Wu“巴伦空间和神经网络模型的合成函数空间” , 2019.
29.W.E、C.Ma和Q.C.Wang“对剩余网络的人口风险 , 2019.
28.W.E、C.Ma和L.Wu“先验估计两层神经网络” , 2019.
27.W.E、C.Ma、Q.C.Wang和L.Wu“梯度分析具有跳跃连接的深度神经网络模型的下降算法” , 2019.
26.W.E、C.Ma和L.Wu“比较分析双层神经网络的优化与泛化特性和梯度下降动力学下的随机特征模型” , 2019.
25.5.新余高、张林峰、比斯瓦吉特·桑特拉、王汉、渭南E、罗伯特A。小迪斯塔西奥，罗伯托·卡尔“液态水中的同位素效应通过深势分子动力学” 分子物理，即将出现, 2019.
25.L.Zhang、D.-Y.Lin、H.Wang、R.Car和W.E，“活动材料模拟中一致精确原子间势的学习 物理学。修订版材料3023804–2019年2月25日出版.
24.韩洁群、张林峰、渭南E、，“使用求解多电子薛定谔方程深度神经网络“ 计算物理杂志399，108929, 2019.
23.L.Wu、C.Ma和W.E，“SGD如何在超参数学习中选择全局极小值：稳定性视角” NIPS公司, 2018.
22.L.Zhang、J.Han、H.Wang、W.Saidi、R.Car和W.E，“有限和扩展系统的端到端保对称原子间势能模型” NIPS公司, 2018.
21.L.Zhang、J.Han、H.Wang、R.Car和W.E，“DeepPCG：构建基于深度神经网络的粗粒度模型 化学杂志。物理学。 149, 034101 (2018); https://doi.org/10.1063/1.5027645.
20.L.Zhang、W.E和L.Wang“生成的Monge-Ampere流建模“” arxiv.org/abs/1809.101882018
19.Q.Li、L.Chen、C.Tai和W.E，“基于最大原理的深度学习算法” JMLR公司，第18卷，第165号，2018年第1-29页，https://arxiv.org/pdf/1710.09513v1.pdf。
18.C.Ma.J.C.Wang和W.E，“模型简化动态系统的记忆和机器学习 通信计算。物理。，第25卷，第4期，第947-962页，2019年，
17.W.E、J.Han an Q.Li、，“深度学习的平均场最优控制公式” 数学科学研究，第6卷，第10期，2018年。
16.L.F.Zhang、J.Han、R.Car、H.Wang和W.E，“深势分子动力学：具有量子力学准确性的可扩展模型” 物理学。修订稿。，第120卷，第14期，第143001页，2018年。
15.J.Han、A.Jentzen和W.E，“使用深度学习解决高维偏微分方程” 程序。国家。阿卡德。科学。，第115卷，第34期，第8505-8510页，2018年。
14.J.Han、L.F.Zhang、R.Car和W.E，“深层潜力：A多体势能面的一般表示 通信计算。物理学。，第23卷，第3期，第629-639页，2018年
13.W.E和Q.C.Wang“深度神经网络逼近的指数收敛性分析函数“” 科学中国数学，第61卷，第10期，第1733-1740页，2018年
12.L.F.Zhang、H.Wang和W.E，“大型原子和分子系统中增强采样的强化动力学。I.基本方法” 化学杂志。物理学。第148卷，第124113页，2018年。
11.H.Wang、L.F.Zhang、J.Han和W.E，“DeePMD-kit：多体势能表征和分子动力学的深度学习包” 计算。物理学。通信。第228卷，第178-184页，2018年。
10.西经，“关于通过动态系统进行机器学习的提案” 公共数学。斯达。，第5卷，第1期，第1-11页，2017年。
9.W.E和B.Yu，“Deep Ritz方法：一种基于深度学习的数值算法，用于解决变分问题” 公共数学。统计数据。第6卷，第1期，第1-12页。2018
8.W.E.、J.Han和A.Jentzen，“基于深度学习的高维抛物型偏微分方程和后向随机微分方程的数值方法” 公共数学。统计数据。，第5卷，第4期，第349-380页，2017年。
7.Q.Li、C.Tai和W.E，“随机修正方程和随机梯度算法的动力学” JMLR公司，第20卷，第40期，第1-47页，2019年。
6.Q.Li、C.Tai和W.E，“随机修正方程和自适应随机梯度算法” ICML公司, 2017.
5.W.E和Y.Wang，“通用近似误差的最佳收敛速度” 数学科学研究，卷。2017年第2期第4页。
4.J.Han和W.E，“随机控制问题的深度学习近似” arxiv.org/abs/1611.07422，NIPS深度强化学习研讨会, 2016.
3.C.Tai和W.E，“信号的多尺度自适应表示，I” JMLR公司，第17卷，第140期，第1-38页，2016年。
2.Q.Li、C.Tai和W.E，“随机梯度算法的动力学” , 2016
1.C.Tai、T.Xiao、X.Wang和W.E，“低阶卷积神经网络正则化“” ICLR公司, 2016.

多级皮卡德法：

Weinan E、Martin Hutzenthaler、Arnulf Jentzen和Thomas Kruse，“求解光滑半线性抛物型热方程的多级Picard迭代” , 2016.

研究：

我目前的工作重点是机器学习的数学理论以及将机器学习与多尺度建模相结合。

研究总结：我的作品从各种各样的作品中获得灵感在流体动力学、化学、材料等领域产生了影响科学和软凝聚态物理。我为解决一些长期存在的科学问题，例如伯格湍流问题（是伯格提出著名的伯格方程式的最初动机），晶体固体的柯西-伯恩法则（确实可以追溯到柯西，以及为弹性理论提供了微观基础），以及移动接触线路问题（这在很大程度上还没有解决）。一个常见的主题是试图清晰通过数学解决科学问题。第二个主题是多尺度和/或多重物理问题。我还致力于构建数学框架和寻找有效的数值算法来模拟罕见事件涉及多个时间尺度的困难问题（字符串方法，最小值行动方法、过渡路径理论等）。我还研究过多尺度分析和算法（例如异构多尺度方法）对于随机模拟算法，均匀化问题，多时间尺度、复杂流体等问题。我的书（原理《多尺度建模》（Multi-Scale Modeling，Cambridge Univ Press）对此主题进行了广泛介绍。第三个主题是开发和分析一般算法。在计算流体力学中，我参与了基于涡度的方法、投影方法和规范方法的分析和开发。在密度泛函理论（DFT）中，我和我的合作者开发了PEXSI算法，这是迄今为止DFT最有效的算法。

固体平衡熔化的微观机制
长期以来，简单固体熔化过程的微观机理一直是一个突出的问题。林德曼和马克斯·波恩各自提出了自己的熔化标准。经典成核理论也对熔化路径进行了预测。到目前为止，还不可能对这一过程进行直接详细的理论或实验研究。然而，随着先进模拟算法（自由能采样方法、计算过渡路径的字符串方法等）的出现，现在可以通过计算来研究这些问题。

  • PEXSI网页
    • 电子结构分析，例如使用密度泛函理论，是材料科学和化学的核心。这也是计算科学中最具挑战性的问题之一。我们开发了PEXSI算法（极点扩展+选择反演）它第一次带来了密度泛函理论从立方尺度到二次尺度的计算复杂性一般三维系统的缩放。 该算法已在SIESTA中实现。

    以下是我参与的一些工作示例(单击“+”符号阅读更多信息):

    汉堡湍流
    我们已经分析了随机Burgers方程解的统计性质初始数据和随机强制。这一系列工作为一些Burgers在20世纪初提出的问题，以及解决了关于概率分布渐近性的一些争议随机强迫Burgers方程的函数。
    从量子和分子力学到固体宏观理论（柯西-伯恩规则和相关主题）

    这里的目标是在量子力学或分子水平上理解固体力学。作为副产品，我们对固体的宏观连续体模型进行了严格推导。此分析中的一个关键因素是了解不同级别的稳定性条件（量子、经典但在原子级别，经典但在宏观级别）。

    随机PDE
    我们开发了一种研究随机偏微分方程的新方法，通过将平稳解视为随机强迫的泛函。这导致了对固定溶液的非常优雅的描述随机Burgers方程和随机无源标量方程及其遍历性随机Navier-Stokes方程。
    为罕见事件建模
    我在罕见事件建模方面的工作（与任伟庆和埃里克·范登·伊恩登合作）以开发字符串方法，现在在计算中很流行化学并开始流行在材料科学中，以及过渡路径理论复杂系统中过渡事件分析的理论框架。
    多尺度方法
    我们已经开发了异构的框架多尺度方法（HMM）。HMM在随机模拟算法、具有多个时间尺度的ODE以及许多其他领域。它还为分析多尺度方法提供了一个非常好的框架。
    软凝聚态物理学
    我们开发了第一个通用非线性模型用于近晶A液晶，并用于研究有趣的丝状物质各向同性-弥散相变中产生的结构。我们也有膜动力学和聚合物相分离的发展模型这与热力学是一致的。此外，我们还开发了一般非均匀液晶的模型聚合物系统使用单粒子概率分布函数作为序参量。
    计算流体动力学
    刘建国和我谈了很久涡度边界条件和数值边界层的争议对于投影方法。
    后验误差估计
    在我1985年在黄教授的指导下完成的硕士学位论文中洪慈，我建立了一些关于后验误差估计的最早结果用于有限元方法。我介绍了克莱门特插值技术，并证明了局部误差估计的上下界。
    弱KAM理论
    在尤尔根·莫瑟（Jurgen Moser）的影响下，我独立地发展了弱KAM理论。这是PDE方法首次应用于研究动力系统。最有趣的方面是研究哈密顿-雅可比方程弱解对哈密顿系统的启示。这为Aubry-Mather理论提供了另一种观点（并且非常简化）。
    Kohn-Sham密度泛函理论的数值算法
    W.E和王建春，“二维压力驱动通道流的热力学研究”， 离散和连续动力系统2016年，第36卷，第8期，第4349-4366页。
    Q.Li和W.E，“非平衡系统的自由作用”， 《统计物理学杂志》。，第161卷，第2期，300-3252015年。
    我贡献的其他主题包括：Onsager关于三维欧拉方程弱解的能量守恒，均匀化和双尺度收敛，Prandtl方程解的奇异性形成，Ginzburg-Landau涡、微磁学和Landau-Lifshitz方程、随机共振、，等。

  • 字符串方法网页
  • HMM网页

    • 全部签约|全部展开

    多尺度问题的分析与算法

    原子态固体的数学理论和宏观尺度

    主要目标是发展严格的数学理论用于固体。这需要了解电子、原子和连续水平，以及它们之间的关系在这些模型之间。感兴趣的问题包括：（1）。这个结晶问题：为什么固体在零度？ (2).Cauchy-Born规则固体的原子模型和连续模型之间的联系。


    电子结构，密度泛函理论

    主要目标是理解数学基础电子结构分析，开发和分析高效算法。


    多尺度建模中的一般问题

    多时间尺度问题

    随机化学动力学系统

    实体的多尺度建模

    复杂流体的多尺度建模

    多尺度偏微分方程的多尺度方法

    动接触线问题与微流体

    均质化理论

    随机问题的分析与建模

    随机偏微分方程的分析

    罕见事件：字符串方法、最小作用方法和过渡路径理论

    随机化学动力学系统

    ``Burgers湍流和被动标量湍流

    随机建模中的一般问题

    其他主题

    不可压缩流：投影方法、基于涡度的方法和量规方法

    后验误差估计

    在硕士学位论文的指导下完成的工作中国科学院黄洪慈教授。主要重点是角奇异问题的有限元。讨论的问题包括：后验误差估计、直接和局部精化域上的逆误差估计这些领域的多网格方法等。


    其他主题
    Euler方程、边界层问题、Aubry-Mather理论、微磁学和Landau-Lifshitz方程、Ginzburg-Landau理论中的涡旋动力学
    微磁学与Landau-Lifshitz方程

    金兹堡-兰道旋涡

    选定的审查文件