亚当 swMATH编号： 22205 软件作者： Diederik P.Kingma、Jimmy Ba 描述： 亚当：一种随机优化方法。我们介绍了Adam，一种基于低阶矩自适应估计的随机目标函数一阶梯度优化算法。该方法实现简单，计算效率高，内存需求少，对梯度的对角线缩放不变性，非常适合于数据和/或参数较大的问题。该方法也适用于非平稳目标和具有非常噪声和/或稀疏梯度的问题。超参数具有直观的解释，通常只需要很少的调整。讨论了Adam受到启发的相关算法的一些联系。我们还分析了该算法的理论收敛性，并给出了收敛速度的遗憾界，该收敛速度与在线凸优化框架下的最佳已知结果相当。实证结果表明，Adam在实践中表现良好，与其他随机优化方法相比，具有良好的性能。最后，我们讨论AdaMax，它是Adam基于无穷范数的变体。 主页： https://arxiv.org/abs/1412.6980 关键词： 学习;arXiv公司。LG公司;arXiv公司;随机优化;阿达马克斯;基于一阶梯度的优化 相关软件： TensorFlow公司;PyTorch公司;ImageNet公司;AlexNet公司;github;DGM公司;阿达格拉德;凯拉斯;DiffSharp（差异锐化）;深XDE;掌中宽带;CIFAR公司;L-BFGS公司;DeepONet（深度网络）;RMS公司;Scikit公司;张紧器2传感器;PRMLT公司;蟒蛇;阿达德尔塔 引用于： 1936年文件 全部的 前5名被5311位作者引用 38 乔治·埃姆·卡尼亚达基斯 16 佩迪卡里斯，巴黎G。 12 雷，深 11 韩洁群 9 E、 渭南 9 Hesthaven，Jan S。 9 斯坦利·乔尔·奥斯尔 8 蔡志强 8 路易斯·杜洛夫斯基。 8 阿努尔夫·詹岑 8 刘敏 8 鲁，鲁 8 悉达多·米什拉 8 王宝 8 王思凡 8 杨海照 7 Koutsourelakis、Phaedon-Stelios 7 王建勋 7 泽维尔·沃林 7 尼古拉斯·扎巴拉斯。 6 陈景霜 6 Alireza Doostan 6 伊桑·哈希亚特 6 黄建国 6 陆建峰 6 徐汇孟 6 大卫·帕尔多 6 孙伟庆 6 秀、东宾 5 约书亚·本吉奥 5 杰罗姆·达邦 5 亚钦·埃芬迪耶夫（Yalchin R.Efendiev）。 5 马克西米利安·日尔曼 5 福雷德里克·吉布 5 郝文瑞 5 何，杨慧，Evariste 5 阿米亚·贾格塔普。 5 阿克塞尔·克拉沃恩 5 李倩晓 5 安德烈亚·曼佐尼 5 Oosterlee，Cornelis Willebrordus公司 5 简·彼得斯 5 吉安路易吉·罗扎 5 司徒、浩珍 5 纳撒尼尔·A·特拉斯克。 5 万晓亮 5 严，梁 5 严振亚 5 英、乐兴 4 安东尼埃蒂，保拉·弗朗西丝卡 4 克里斯蒂安·贝克 4 塞巴斯蒂安·贝克尔 4 蔡伟 4 钟，Tsz Shun Eric 4 哈米德雷扎·德哈尼 4 董斌 4 董素川 4 卡提克省杜莱萨米 4 高，韩 4 Aleksandr V.加斯尼科夫。 4 梅迪·戈梅姆 4 龚茂国 4 顾一琦 4 亚历山大·海因莱因 4 约翰内斯·赫特里奇 4 胡晓哲 4 岩田，Tomoharu 4 鲁本·胡安斯 4 川口，Kenji 4 马丁·兰瑟 4 李在洪 4 李、余 4 林广 4 林，林 4 刘永锦 4 刘，杨 4 罗密特·莫利克 4 Oseledets、Ivan Valer’evich 4 达里奥·皮加 4 弗拉基米尔·普兹列夫 4 马齐亚·莱斯 4 Daniele E.Schiavazzi。 4 申仁宗 4 儿子，Hwijae 4 孙浩 4 马丁·塔卡 4 唐一发 4 尼尔斯·杜里 4 王春梅 4 王浩琴 4 王，钱 4 珍妮·韦伯 4 Wen，Zaiwen先生 4 杨超 4 杨一波 4 莱昂纳多·泽佩达·努涅斯 4 张冬晓 4 张凯 4 张林峰 4 张晓群 …还有5211位作者 全部的 前5名304连载引用 214 计算物理杂志 161 应用力学与工程中的计算机方法 72 神经网络 69 机器学习 49 SIAM科学计算杂志 49 机器学习研究杂志 43 信息科学 34 计算力学 34 计算物理中的通信 30 神经计算 29 科学计算杂志 28 计算机与数学及其应用 26 人工智能 26 计算机和流体 25 欧洲运筹学杂志 24 流体力学杂志 23 计算与应用数学杂志 20 量子信息处理 20 SIAM成像科学杂志 19 数据挖掘与知识发现 19 定量金融学 19 统计与计算 17 反问题 16 数学成像与视觉杂志 15 国际计算机视觉杂志 15 计算地球科学 14 物理D 14 SIAM数据科学数学杂志 13 人工智能研究杂志 12 计算机物理通信 12 Automatica公司 12 数学金融学 12 非线性科学与数值模拟中的通信 12 反问题和成像 11 SIAM优化杂志 9 富兰克林学院学报 9 美国统计协会杂志 9 计算机与运筹学 9 统计力学杂志：理论与实验 8 物理A 8 应用数学与计算 8 欧洲力学杂志。A.固体 8 高能物理杂志 8 国际计算方法杂志 8 数学生物科学与工程 8 计算与图形统计杂志 7 混沌、孤子和分形 7 计算机辅助几何设计 7 应用数学建模 7 计算优化与应用 7 优化方法和软件 7 应用统计学年鉴 7 数学科学研究 7 斯达 6 《物理快报》。B类 6 国际近似推理杂志 6 全球优化杂志 6 信息计算杂志 6 国际小波、多分辨率和信息处理杂志 6 物理学报A：数学与理论 6 数学地球科学 6 SIAM金融数学杂志 6 中国运筹学会学报 5 《物理快报》。A类 5 计量经济学杂志 5 最优化理论与应用杂志 5 模拟中的数学和计算机 5 统计科学 5 计算统计学 5 计算统计与数据分析 5 IEEE图像处理汇刊 5 数值数学：理论、方法和应用 5 东亚应用数学杂志 5 SN偏微分方程及其应用 4 数学生物学通报 4 SIAM数值分析杂志 4 经济动力学与控制杂志 4 欧洲应用数学杂志 4 数学编程。A系列B系列 4 计算与应用数学 4 ETNA公司。数值分析电子交易 4 系统科学与复杂性杂志 4 SIAM应用动力系统杂志 4 电子统计杂志 4 贝叶斯分析 4 数学与统计传播 4 SIAM/ASA不确定性量化杂志 4 采样理论、信号处理和数据分析 三 生物控制论 三 物理报告 三 心理测量学 三 理论计算机科学 三 保险数学与经济学 三 运营研究信件 三 计算数学杂志 三 SIAM矩阵分析与应用期刊 三 数值算法 三 自动化和远程控制 三 统计计算与模拟杂志 三 SIAM审查 …还有204部连续剧 全部的 前5名55个领域被引用 1,233 计算机科学（68至XX） 596 数值分析（65-XX） 334 统计学（62-XX） 230 运筹学、数学规划（90-XX） 208 偏微分方程（35-XX） 196 流体力学（76-XX） 167 生物学和其他自然科学（92-XX） 161 可变形固体力学（74-XX） 126 博弈论、经济学、金融和其他社会和行为科学（91-XX） 109 概率论与随机过程（60-XX） 81 信息与通信理论、电路（94-XX） 67 量子理论（81-XX） 65 系统论；控制（93至XX） 51 统计力学，物质结构（82-XX） 48 变分法与最优控制；最优化（49至XX） 39 动力系统和遍历理论（37至XX） 39 地球物理学（86-XX） 23 粒子和系统力学（70-XX） 19 近似值和展开值（41至XX） 17 常微分方程（34-XX） 16 光学、电磁理论（78-XX） 14 算子理论（47-XX） 13 线性代数和多线性代数；矩阵理论（15-XX） 9 组合数学（05-XX） 9 经典热力学，传热（80-XX） 9 相对论和引力理论（83至XX） 7 欧氏空间的调和分析（42至XX） 6 数学逻辑和基础（03-XX） 5 总体主题；集合（00-XX） 5 实际功能（26年X月X日） 5 微分几何（53至XX） 5 代数拓扑（55-XX） 4 数论（11-XX） 4 代数几何（14-XX） 4 几个复变量和分析空间（32-XX） 三 积分方程（45-XX） 三 功能分析（46倍X倍） 三 全局分析，流形分析（58至XX） 2 范畴理论；同调代数（18-XX） 2 拓扑群、李群（22日至XX日） 2 测量和集成（28-XX） 2 特殊功能（33至XX） 2 积分变换，运算微积分（44-XX） 2 几何图形（51至XX） 2 凸和离散几何（52至XX） 2 流形和细胞复合体（57至XX） 1 有序，格，有序代数结构（06-XX） 1 结合环与代数（16-XX） 1 群论与推广（20-XX） 1 复变量的函数（30-XX） 1 势能理论（31日至XX日） 1 差分方程和函数方程（39至XX） 1 一般拓扑结构（54至XX） 1 天文学和天体物理学（85-XX） 1 数学教育（97-XX） 按年份列出的引文