摘要
安恒斌，莫泽耀，刘兴平。 2007.在不精确牛顿法中选择强制项。 J.计算。 申请。 数学。 200, 1 (2007), 47--60. 谷歌学者 
数字图书馆 
罗汉·阿尼尔（Rohan Anil）、维尼特·古普塔（Vineet Gupta）、托默·科伦（Tomer Koren）、凯文·里根（Kevin Regan）和约拉姆·辛格（Yoram Singer）。 2020年，二阶优化变得切实可行。 CoRR公司 abs/2002.09018（2020）。 arXiv:2002.09018号 谷歌学者 萨蒂什·巴莱、施里朗·阿比扬卡、马克·亚当斯、史蒂文·本森、杰德·布朗、彼得·布鲁恩、克里斯·布舍尔曼、埃米尔·康斯坦丁斯库、利桑德罗·达尔辛、阿尔普·德纳、维克托·艾伊霍特、雅各布·法布索维奇、威廉·格罗普、瓦茨拉夫·哈普拉、托宾·艾萨克、皮埃尔·朱利维特、德米特里·卡佩夫、迪内什·考希克、马修·克内普利、范德·孔、斯科特·克鲁格、戴夫·阿·梅， 路易斯·柯夫曼·麦克因斯（Lois Curfman McInnes）、理查德·特兰·米尔斯（Richard Tran Mills）、劳伦斯·米切尔（Lawrence Mitchell）、托德·蒙森（Todd Munson）、何塞·罗曼（Jose E.Roman）、卡尔·鲁普（Karl Rupp）、帕特里克·萨南（Patrick Sanan）、杰森·萨里奇（Ja。 2023 PETSc/TAO用户手册。 技术报告ANL-21/39-版本3.20。 阿贡国家实验室。 谷歌学者 萨蒂什·巴莱、施里朗·阿比扬卡、马克·亚当斯、史蒂文·本森、杰德·布朗、彼得·布鲁恩、克里斯·布舍尔曼、埃米尔·康斯坦丁斯库、利桑德罗·达尔辛、阿尔普·德纳、维克托·艾伊霍特、雅各布·费布索维奇、威廉·格罗普、瓦茨拉夫·哈普拉、托宾·艾萨克、皮埃尔·朱利维特、德米特里·卡佩夫、迪内什·考希克、马修·克奈普利、范德·孔、斯科特·克鲁格、戴夫·A·梅， 路易斯·柯夫曼·麦克因斯（Lois Curfman McInnes）、理查德·特兰·米尔斯（Richard Tran Mills）、劳伦斯·米切尔（Lawrence Mitchell）、托德·蒙森（Todd Munson）、何塞·罗曼（Jose E.Roman）、卡尔·鲁普（Karl Rupp）、帕特里克·萨南（Patrick Sanan）、杰森·萨里奇（Ja。 2023.PETSc网页。 https://petsc.org/ 谷歌学者 卢卡·贝加马奇、何塞·马林和安吉莱斯·马丁内斯。 对称正定线性系统的紧拟牛顿预条件。 数值线性代数及其应用 27、6（2020年），e2322。 谷歌学者 交叉引用 
莱昂·博图（Léon Bottou）、弗兰克·E·柯蒂斯（Frank E.Curtis）和豪尔赫·诺塞达尔（Jorge Nocedal）。 2018.大规模机器学习的优化方法。 SIAM版本。 60, 2 (2018), 223--311. 谷歌学者 交叉引用 尼古拉斯·博莱（Nicolas Boullé）、克里斯托弗·厄尔斯（Christopher J Earls）和亚历克斯·汤森（Alex Townsend）。 2022.通过人类可理解的深度学习，数据驱动发现格林函数。 科学报告 12, 1 (2022), 4824. 谷歌学者 尼古拉斯·博莱、戴安娜·哈利基亚斯和亚历克斯·汤森。 2023.事实证明，椭圆PDE学习具有数据效率。 美国国家科学院院刊 120、39（2023）、e2303904120。 谷歌学者 交叉引用 尼古拉斯·博莱（Nicolas Boullé）、中岛由纪夫（Yuji Nakatsukasa）和亚历克斯·汤森（Alex Townsend）。 2020年，理性神经网络。 神经信息处理系统的研究进展 33 (2020), 14243--14253. 谷歌学者 Peter R Brune、Matthew G Knepley、Barry F Smith和Xuemin Tu.2015。 组成可扩展的非线性代数解算器。 SIAM版本。 57, 4 (2015), 535--565. 谷歌学者 数字图书馆 Steven L Brunton、Joshua L Proctor和J Nathan Kutz。 2016年，通过非线性动力系统的稀疏识别，从数据中发现控制方程。 国家科学院学报 113, 15 (2016), 3932--3937. 谷歌学者 交叉引用 Richard H Byrd、Samantha L Hansen、Jorge Nocedal和Yoram Singer。 2016年，大规模优化的随机拟Newton方法。 SIAM优化杂志 26, 2 (2016), 1008--1031. 谷歌学者 数字图书馆 理查德·伯德（Richard H Byrd）、豪尔赫·诺塞达尔（Jorge Nocedal）和罗伯特·施纳贝尔（Robert B Schnabel）。 拟纽顿矩阵的表示及其在有限记忆方法中的应用。 数学规划 63, 1--3 (1994), 129--156. 谷歌学者 数字图书馆 蔡晓川和大卫·E·凯斯。 2002.非线性预处理不精确牛顿算法。 SIAM科学计算杂志 24, 1 (2002), 183--200. 谷歌学者 数字图书馆 Andrew R Conn、Nicholas IM Gould和Philippe L Toint。 2000 信赖域方法。 暹罗。 谷歌学者 乔治·西本科（George Cybenko）。 1989.通过S形函数的叠加进行近似。 控制、信号和系统数学 2, 4 (1989), 303--314. 谷歌学者 Lisandro D Dalcin、Rodrigo R Paz、Pablo A Kler和Alejandro Cosimo。 2011.使用Python的并行分布式计算。 水资源进展 34, 9 (2011), 1124--1139. 谷歌学者 交叉引用 Sambit Das、Bikash Kanungo、Vishal Subramanian、Gourab Panigrahi、Phani Motamarri、David Rogers、Paul Zimmerman和Vikram Gavini。 2023.量子精度下的大尺度材料建模：金属合金中准晶和相互作用扩展缺陷的从头算模拟。 在 高性能计算、网络、存储和分析国际会议记录 （美国科罗拉多州丹佛市）( SC’23）。 美国纽约州纽约市计算机机械协会，第1条，12页。 谷歌学者 数字图书馆 Maarten V de Hoop、Daniel Zhengyu Huang、Elizabeth Qian和Andrew M Stuart。 2022.使用神经网络进行操作员学习的成本-准确性权衡。 机器学习杂志 (2022). 谷歌学者 Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Deghani、Matthias Minderer、Georg Heigold、Sylvain Gelly等，2020年。 一幅图像相当于16x16个单词：用于大规模图像识别的变形金刚。 arXiv预印arXiv:2010.11929 (2020). 谷歌学者 约翰·杜奇（John Duchi）、伊拉德·哈赞（Elad Hazan）和约拉姆·辛格（Yoram Singer）。 2011.在线学习和随机优化的自适应次梯度方法。 机器学习研究杂志 12, 7 (2011). 谷歌学者 数字图书馆 斯坦利·艾森斯塔特（Stanley C Eisenstat）和荷马·F·沃克（Homer F Walker）。 1996.用不精确牛顿法选择强迫项。 SIAM科学计算杂志 17, 1 (1996), 16--32. 谷歌学者 数字图书馆 Roy Frostig、Matthew James Johnson和Chris Leary。 2018年，通过高级跟踪编写机器学习程序。 机器学习系统 4(9) (2018). 谷歌学者 Donald Goldfarb、Yi Ren和Achraf Bahamou。 2020年。训练深层神经网络的实用准牛顿方法。 在 第34届神经信息处理系统国际会议记录 （加拿大温哥华）( NeurIPS）。 第201条，共11页。 谷歌学者 数字图书馆 Priya Goyal、Piotr Dollár、Ross Girshick、Pieter Noordhuis、Lukasz Wesolowski、Aapo Kyrola、Andrew Tulloch、Yangqing Jia和Kaiming He。 2017年。准确、大批量sgd：1小时内培训imagenet。 arXiv预打印arXiv:1706.02677 (2017). 谷歌学者 Vineet Gupta、Tomer Koren和Yoram Singer。 2018.洗发水：预处理随机张量优化。 谷歌学者 丹·亨德里克斯和凯文·金佩尔。 2016.高斯误差线性单位（GELUs）。 arXiv预打印arXiv:1606.08415 (2016). 谷歌学者 库尔特·霍尼克（Kurt Hornik）、麦克斯韦尔·斯汀科姆（Maxwell Stinchcombe）和哈尔伯特·怀特（Halbert White）。 1989年。多层前馈网络是通用逼近器。 神经网络 2, 5 (1989), 359--366. 谷歌学者 数字图书馆 高黄、刘庄、劳伦斯·范德马滕和基里安·温伯格。 2017年。紧密连接的卷积网络。 在 IEEE计算机视觉和模式识别会议记录。 4700--4708. 谷歌学者 交叉引用 Kazuki Irie、Imanol Schlag、Róbert Csordás和Jürgen Schmidhuber。 2021.超越线性变压器，配备经常性快速称重程序员。 神经信息处理系统研究进展 34 (2021), 7703--7717. 谷歌学者 贾伟乐、王涵、陈墨涵、卢登辉、林琳、Roberto Car、E Weinan和张琳峰。 2020年。利用机器学习将分子动力学的从头算精度极限提高到1亿个原子。 在 SC20：高性能计算、网络、存储和分析国际会议。 IEEE，1-14。 谷歌学者 数字图书馆 Diederik P Kingma和Jimmy Ba.2014年。 ADAM：一种随机优化方法。 arXiv预印本arXiv:1412.6980 (2014). 谷歌学者 尼古拉·科瓦奇奇（Nikola Kovachki）、塞缪尔·兰塔勒（Samuel Lanthaler）和悉达塔·米什拉（Siddhartha Mishra）。 2021.关于傅里叶神经算子的通用逼近和误差界。 机器学习研究杂志 22, 1 (2021), 13237--13312. 谷歌学者 数字图书馆 Nikola B Kovachki、Zongyi Li、Burigede Liu、Kamyar Azizzadenesheli、Kaushik Bhattacharya、Andrew M Stuart和Anima Anandkumar。 2023.神经算子：函数空间之间的学习映射及其在偏微分方程中的应用。 J.马赫。 学习。 物件。 24, 89 (2023), 1--97. 谷歌学者 Samuel Lanthaler、Siddhartha Mishra和George E Karniadakis。 2022.DeepONets的错误估计：无限维的深度学习框架。 数学汇刊及其应用 6，1（2022年3月），tnac001。 谷歌学者 交叉引用 Yann LeCun、Yoshua Bengio和Geoffrey Hinton。 2015年，深度学习。 自然 521, 7553 (2015), 436--444. 谷歌学者 李西林，2017。 预处理随机梯度下降。 IEEE神经网络和学习系统事务 29, 5 (2017), 1454--1466. 谷歌学者 李宗义（Zongyi Li）、尼古拉·科瓦奇奇（Nikola Kovachki）、卡米亚尔·阿齐扎德涅谢利（Kamyar Azizzadenesheli）、布里吉德·刘（Burigede Liu）、考希克·巴塔查里亚（Kaushik Bhattacharya）、安德鲁·斯图亚特（Andrew Stuart）和阿尼马·阿南德库马尔（Anima Anandkumar）。 2020年。参数偏微分方程的傅里叶神经算子。 arXiv预打印arXiv:2010.08895 (2020). 谷歌学者 刘东川和豪尔赫·诺塞达尔。 1989年，关于大规模优化的有限内存BFGS方法。 数学编程 45, 1--3 (1989), 503--528. 谷歌学者 刘璐璐、高卫国、韩瑜和大卫·E·凯斯。 线性和非线性系统的重叠乘法Schwarz预处理。 J.计算。 物理学。 496 (2024), 112548. 谷歌学者 数字图书馆 杨柳和弗雷德·鲁斯塔。 2021.不精确Hessian信息下Newton-MR的收敛。 SIAM优化杂志 31, 1 (2021), 59--90. 谷歌学者 数字图书馆 伊利亚·洛希洛夫和弗兰克·赫特。 2017.解耦重量衰减正则化。 arXiv预打印arXiv:1711.05101 (2017). 谷歌学者 陆璐、金鹏展、庞国飞、张忠强和乔治·埃姆·卡尼亚达克斯。 2021.基于算子的普遍逼近定理，通过DeepONet学习非线性算子。 自然机器智能 3, 3 (2021), 218--229. 谷歌学者 吕璐、孟旭辉、蔡盛泽、毛志平、索姆达塔·戈斯瓦米、张忠强和乔治·埃姆·卡尼亚达克斯。 2022.基于公平数据对两个神经运算符（带有实际扩展）进行全面公平的比较。 应用力学与工程中的计算机方法 393 (2022), 114778. 谷歌学者 交叉引用 卡洛·马卡蒂和克里斯托夫·施瓦布。 椭圆偏微分方程深算子网络的指数收敛性。 SIAM J.数字。 分析。 61, 3 (2023), 1513--1545. 谷歌学者 交叉引用 詹姆斯·马滕斯和罗杰·格罗斯。 2015.使用kronecker-factor近似曲率优化神经网络。 在 关于机器学习的国际会议。 PMLR，2408--2417年。 谷歌学者 詹姆斯·马滕斯（James Martens）和伊利亚·萨茨克弗（Ilya Sutskever）。 2011.使用无Hessian优化学习递归神经网络。 在 第28届机器学习国际会议论文集（ICML-11）。 1033--1040. 谷歌学者 理查德·特兰·米尔斯（Richard Tran Mills）、马克·亚当斯（Mark F.Adams）、萨蒂什·巴莱（Satish Balay）、杰德·布朗（Jed Brown）、阿尔普·德纳（Alp Dener）、马修·克内普利（Matthew Knepley）、斯科特·克鲁格（Scott E.Kruger）、汉娜·摩根（Hannah Morgan）、托德·蒙森（Todd。 2021.面向基于GPU的exascale系统的性能便携式PETSc。 并行计算。 108 (2021), 102831. 谷歌学者 数字图书馆 维诺德·奈尔和杰弗里·欣顿。 2010年。校正线性单元改进了受限的Boltzmann机器。 在 第27届机器学习国际会议（ICML-10）会议记录。 807--814. 谷歌学者 数字图书馆 Tenavi Nakamura-Zimmerer、Qi Gong和Wei Kang。 2021.高维Hamilton-Jacobi-Bellman方程的自适应深度学习。 SIAM科学计算杂志 43，2（2021），A1221--A1247。 谷歌学者 数字图书馆 豪尔赫·诺塞达尔（Jorge Nocedal）和斯蒂芬·赖特（Stephen J Wright）。 2006 数值优化。 斯普林格。 谷歌学者 托马斯·奥利里·罗塞伯里（Thomas O'Leary-Roseberry）、尼克·阿尔杰（Nick Alger）和奥马尔·加塔斯（Omar Ghattas）。 2021.低秩无鞍牛顿：随机非凸优化的可缩放方法。 arXiv:2002.02881号 谷歌学者 托马斯·奥利里·罗塞贝里、陈鹏、翁贝托·维拉和奥马尔·加塔斯。 2024.衍生信息神经算子：高维参数衍生学习的有效框架。 J.计算。 物理学。 496 (2024), 112555. 谷歌学者 数字图书馆 大泽和贵、石川聪、横田力拓、李世刚和托尔斯滕·霍夫勒。 2023.ASDL:PyTorch中梯度预处理的统一接口。 arXiv预打印arXiv:2305.04684 (2023). 谷歌学者 Osawa Kazuki、Yohei Tsuji、Yuichiro Ueno、Akira Naruse、Rio Yokota和S.Matsuoka。 2018.大型迷你背带的二阶优化方法：在35个Epochs中在ImageNet上训练ResNet-50。 ArXiv公司 abs/1811.12019（2018）。 谷歌学者 Adam Paszke、Sam Gross、Francisco Massa、Adam Lerer、James Bradbury、Gregory Chanan、Trevor Killeen、Zeming Lin、Natalia Gimelshein、Luca Antiga、Alban Desmaison、Andreas Kopf、Edward Yang、Zachary DeVito、Martin Raison、Alykhan Tejani、Sasank Chilamkurthy、Benoit Steiner、Lu Fang、Junjie Bai和Soumith Chintala。 2019.Pytorch：一个命令式、高性能的深度学习库。 神经信息处理系统的研究进展 32 (2019). 谷歌学者 J.Gregory Pauloski、Qi Huang、Lei Huang.、Shivaram Venkataraman、Kyle Chard、Ian Foster和Zhao Zhang。 2021.KAISA：深度神经网络的自适应二阶优化框架。 在 高性能计算、网络、存储和分析国际会议记录 （密苏里州圣路易斯）( SC’21）。 美国纽约州纽约市计算机协会，第13条，共14页。 谷歌学者 数字图书馆 马齐亚尔·莱斯。 2018.深层隐藏物理模型：非线性偏微分方程的深层学习。 机器学习研究杂志 19, 1 (2018), 932--955. 谷歌学者 数字图书馆 Maziar Raissi、Paris Perdikaris和George E Karniadakis。 2019.基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架。 计算物理杂志 378 (2019), 686--707. 谷歌学者 交叉引用 Farbod Roosta-Khorasani和Michael W Mahoney。 2019.子样本牛顿法。 数学规划 174 (2019), 293--326. 谷歌学者 数字图书馆 贾斯汀娜·萨津斯卡·沃尔、亚历山大·沃尔（Aleksander Wawer）、亚历山大·帕瓦拉克（Alekshandra Pawlak）、朱莉娅·斯齐马诺夫斯卡（Julia Szymanowska）、伊莎贝拉·斯特凡尼亚克（Izabela Stefaniak），米查尔·贾基维茨（Michal Jarkiewicz）和卢卡斯。 2021.通过深层语境化词语表征检测形式思维障碍。 精神病学研究 304 (2021), 114135. 谷歌学者 交叉引用 尤根·施密杜贝尔（Jürgen Schmidhuber）。 2015年，《神经网络深度学习：概述》。 神经网络 61 (2015), 85--117. 谷歌学者 尼科尔·施劳多夫（Nicol N Schraudolph）。 2002.二阶梯度下降的快速曲率矩阵向量乘积。 神经计算 14, 7 (2002), 1723--1738. 谷歌学者 Samuel L Smith、Benoit Dherin、David GT Barrett和Soham De.2021。 随机梯度下降中隐式正则化的起源。 2021年第九届国际学习代表大会 (2021). 谷歌学者 特隆·斯泰豪格（Trond Steihaug）。 1983.共轭梯度法和大规模优化中的信任域。 SIAM J.数字。 分析。 20, 3 (1983), 626--637. 谷歌学者 数字图书馆 伊利亚·萨茨克弗（Ilya Sutskever）、詹姆斯·马滕斯（James Martens）、乔治·达尔（George Dahl）和杰弗里·辛顿（Geoffrey Hinton）。 2013年，关于深度学习中初始化和动力的重要性。 在 机器学习国际会议。 PMLR，1139--1147。 谷歌学者 菲利普·托因特。 1981.利用牛顿法实现有效的稀疏性最小化。 在 稀疏矩阵及其用途。 学术出版社，57-88。 谷歌学者 简·范登·布兰德、彭炳慧、赵松和欧姆里·温斯坦。 2021.在近线性时间中训练（过参数化）神经网络。 在 第12届理论计算机科学创新大会（ITCS 2021）（莱布尼茨国际信息学论文集，第185卷） James R.Lee（编辑）。 Dagstuhl-Leibniz-Zentrum für Informatik修道院，德国达格斯图尔，63:1-63:15。 谷歌学者 温同琪、张琳峰、王涵、E Weinan和David J Srolovitz。 2022.材料科学的深层潜力。 材料期货 1, 2 (2022), 022601. 谷歌学者 交叉引用 徐鹏（Peng Xu）、弗雷德·罗斯塔（Fred Roosta）和迈克尔·马奥尼（Michael W Mahoney）。 2020年。不精确Hessian信息下非凸优化的牛顿型方法。 数学规划 184, 1--2 (2020), 35--70. 谷歌学者 数字图书馆 杨明翰（Minghan Yang）、徐冬（Dong Xu）、温再文（Zaiwen Wen）、陈梦云（Mengyun Chen）和徐鹏翔（Pengxiang Xu）。 2022.深度学习的基于草图的经验自然梯度方法。 科学计算杂志 92, 3 (2022), 94. 谷歌学者 数字图书馆 姚哲伟（Zhewei Yao）、阿米尔·戈拉米（Amir Ghoma）、沈盛（Sheng Shen）、穆斯塔法·穆斯塔法（Mustafa Mustafa.）、库尔特·凯泽尔（Kurt Keutzer）和迈克尔·马奥尼（Michael Mahoney）。 2021.AdaHessian：机器学习的自适应二阶优化程序。 AAAI人工智能会议记录 35,12（2021年5月），10665--10673。 谷歌学者 交叉引用 Yang You、Igor Gitman和Boris Ginsburg.2017年。 将sgd批量大小扩展到32k，用于imagenet培训。 arXiv预打印arXiv:1708.03888 6, 12 (2017), 6. 谷歌学者 杨友、李靖、萨珊克·雷迪、乔纳森·徐、桑吉夫·库马尔、斯里纳德·博贾纳帕利、宋晓丹、詹姆斯·德梅尔、库尔特·凯泽尔和谢卓绝。 2020年。深度学习的大批量优化：76分钟内培训BERT。 2020年第八届国际学习代表大会 (2020). 谷歌学者 Bing Yu等人，2018年。 deep Ritz方法：一种基于深度学习的数值算法，用于求解变分问题。 数学与统计传播 6, 1 (2018), 1--12. 谷歌学者 交叉引用 张俊超、杰德·布朗、萨蒂什·巴莱、雅各布·费布索维奇、马修·克内普利、奥纳·马林、理查德·特兰·米尔斯、托德·蒙森、巴里·史密斯和斯特凡诺·扎皮尼。 2021.PetscSF可扩展通信层。 IEEE并行和分布式系统汇刊 33, 4 (2021), 842--853. 谷歌学者 交叉引用 Ellen D Zhong、Tristan Bepler、Bonnie Berger和Joseph H Davis。 2021.Cryo-DRGN：使用神经网络重建异质低温电磁结构。 自然方法 18, 2 (2021), 176--185. 谷歌学者
建议
强凸$$\ell_1$$▽1-正则化问题的二阶方法 本文发展了一种稳健的二阶方法来求解强凸$$\ell_1$$У1-正则化问题。 主要目的是使所提出的方法尽可能便宜，而即使是困难的问题也可以有效地解决。。。 广义有限和半有限Min-Max问题的二阶算法 我们提出了两个二阶算法，一个用于求解一类有限广义min-max问题，另一个用于解决半无限广义min-mix问题。 我们的算法利用了基于二阶近似的最优性函数。。。 二阶锥互补问题的Fischer-Burmeister函数平滑牛顿法 二阶锥互补问题（SOCCP）是一类包含大量优化问题的重要问题。 SOCCP可以转化为非光滑方程组。 为了解决这个非光滑系统，平滑技术。。。
