亚当 swMATH ID: 22205 软件作者： Diederik P.Kingma、Jimmy Ba 描述： 亚当：一种随机优化方法。我们介绍了Adam，一种基于低阶矩自适应估计的随机目标函数一阶梯度优化算法。该方法实现简单，计算效率高，内存需求少，对梯度的对角线缩放不变性，非常适合于数据和/或参数较大的问题。该方法也适用于非平稳目标和具有非常噪声和/或稀疏梯度的问题。超参数具有直观的解释，通常只需要很少的调整。讨论了Adam受到启发的相关算法的一些联系。我们还分析了该算法的理论收敛性，并给出了收敛速度的遗憾界，该收敛速度与在线凸优化框架下的最佳已知结果相当。实证结果表明，Adam在实践中表现良好，与其他随机优化方法相比，具有良好的性能。最后，我们讨论AdaMax，它是Adam基于无穷范数的变体。 主页： https://arxiv.org/abs/1412.6980 关键词： 学习；arXiv公司。LG公司；arXiv公司；随机优化；AdaMax公司；基于一阶梯度的优化 相关软件： TensorFlow公司；PyTorch公司；ImageNet公司；AlexNet公司；github；DGM公司；阿达格拉德；凯拉斯；DiffSharp（差异锐化）；掌中宽带；CIFAR公司；深XDE；RMS公司；DeepONet（深度网络）；张紧器2传感器；PRMLT公司；Scikit公司；L-BFGS公司；蟒蛇；阿达德尔塔 引用于： 1817文件 全部的 前5名5031作者引用 34 乔治·埃姆·卡尼亚达基斯 16 佩迪卡里斯，巴黎G。 12 雷，深 11 韩洁群 9 E、 渭南 9 Hesthaven，Jan S。 9 斯坦利·乔尔·奥斯尔 8 蔡志强 8 路易斯·杜洛夫斯基。 8 阿努尔夫·詹岑 8 刘敏 8 鲁，鲁 8 悉达多·米什拉 8 王宝 8 王思凡 7 Koutsourelakis、Phaedon-Stelios 7 王建勋 7 泽维尔·沃林 7 杨海照 7 尼古拉斯·扎巴拉斯。 6 陈景霜 6 Alireza Doostan 6 伊桑·哈希亚特 6 黄建国 6 陆建峰 6 孙伟庆 6 秀、东宾 5 约书亚·本吉奥 5 亚钦·埃芬迪耶夫（Yalchin R.Efendiev）。 5 马克西米利安·日尔曼 5 福雷德里克·吉布 5 郝文瑞 5 贾格塔普，Ameya D。 5 阿克塞尔·克拉沃恩 5 李倩晓 5 徐汇孟 5 Oosterlee，Cornelis Willebrordus公司 5 简·彼得斯 5 吉安路易吉·罗扎 5 纳撒尼尔·A·特拉斯克。 5 万晓亮 5 严，梁 5 英、乐兴 4 安东尼埃蒂，保拉·弗朗西丝卡 4 克里斯蒂安·贝克 4 塞巴斯蒂安·贝克尔 4 蔡伟 4 钟，Tsz Shun Eric 4 杰罗姆·达邦 4 哈米德雷扎·德哈尼 4 董斌 4 董素川 4 卡提克省杜莱萨米 4 高，韩 4 Aleksandr V.加斯尼科夫。 4 龚茂国 4 顾一琦 4 何，杨慧，Evariste 4 亚历山大·海因莱因 4 约翰内斯·赫特里奇 4 胡晓哲 4 岩田、丰沼 4 鲁本·胡安斯 4 马丁·兰瑟 4 李在洪 4 李、余 4 林广 4 林，林 4 刘永锦 4 刘、杨 4 安德烈亚·曼佐尼 4 罗密特·莫利克 4 伊万·瓦莱尔耶维奇 4 大卫·帕尔多 4 皮加，达里奥 4 马齐亚·莱斯 4 申仁宗 4 司徒、浩珍 4 孙浩 4 唐一发 4 尼尔斯·杜里 4 王春梅 4 王浩琴 4 王，钱 4 珍妮·韦伯 4 Wen，Zaiwen先生 4 严振亚 4 杨超 4 杨一波 4 莱昂纳多·泽佩达·努涅斯 4 张冬晓 4 张凯 4 张林峰 4 张震 4 张志文 4 周涛 4 安德烈亚斯·齐利安 三 尼古拉斯·A·亚当斯。 三 克里斯托弗·安德森 三 阿尔贝托·巴迪亚斯 …还有4931名作者 全部的 前5名294篇连载文章中引用 204 计算物理学杂志 152 应用力学与工程中的计算机方法 69 机器学习 58 神经网络 49 机器学习研究杂志（JMLR） 47 SIAM科学计算杂志 34 信息科学 34 计算物理中的通信 32 计算力学 30 神经计算 28 科学计算杂志 27 计算机与数学及其应用 24 计算机和流体 23 流体力学杂志 23 欧洲运筹学杂志 22 计算与应用数学杂志 20 人工智能 19 数据挖掘与知识发现 19 定量金融学 19 统计与计算 18 SIAM成像科学杂志 17 反问题 16 数学成像与视觉杂志 15 国际计算机视觉杂志 15 计算地球科学 15 量子信息处理 14 物理D 13 SIAM数据科学数学杂志 12 人工智能研究杂志 12 数学金融学 12 非线性科学与数值模拟中的通信 11 反问题和成像 10 计算机物理通信 10 Automatica公司 10 SIAM优化杂志 9 美国统计协会杂志 9 计算机与运筹学 9 统计力学杂志：理论与实验 8 物理A 8 欧洲力学杂志。A.固体 8 国际计算方法杂志 8 数学生物科学与工程 8 计算与图形统计杂志 7 混沌、孤子和分形 7 应用数学与计算 7 应用数学建模 7 优化方法和软件 7 高能物理杂志 7 数学科学研究 6 计算机辅助几何设计 6 国际近似推理杂志 6 全球优化杂志 6 计算优化与应用 6 信息计算杂志 6 国际小波、多分辨率和信息处理杂志 6 物理学杂志A：数学与理论 6 数学地球科学 6 SIAM金融数学杂志 6 中国运筹学会学报 5 富兰克林学院学报 5 《物理快报》。A类 5 《物理快报》。B类 5 计量经济学杂志 5 计算统计学 5 计算统计与数据分析 5 IEEE图像处理汇刊 5 应用统计学年鉴 5 数值数学：理论、方法和应用 5 东亚应用数学杂志 5 SN偏微分方程及其应用 4 SIAM数值分析杂志 4 经济动力学与控制杂志 4 欧洲应用数学杂志 4 数学编程。A系列B系列 4 计算与应用数学 4 ETNA公司。数值分析电子交易 4 系统科学与复杂性杂志 4 SIAM应用动力系统杂志 4 电子统计杂志 4 贝叶斯分析 4 数学与统计学中的传播 4 SIAM/ASA不确定性量化杂志 4 采样理论、信号处理和数据分析 三 生物控制论 三 物理报告 三 心理测量学 三 数学生物学通报 三 最优化理论与应用杂志 三 模拟中的数学和计算机 三 理论计算机科学 三 保险数学与经济学 三 运营研究信件 三 计算数学杂志 三 SIAM矩阵分析与应用杂志 三 数值算法 三 自动化和远程控制 三 统计计算与模拟杂志 三 SIAM审查 三 国际计算机与系统科学杂志 三 数学科学杂志（纽约） …还有194部连续剧 全部的 前5名54个领域被引用 1,161 计算机科学（68至XX） 542 数值分析（65-XX） 307 统计学（62-XX） 219 运筹学、数学规划（90-XX） 201 偏微分方程（35-XX） 188 流体力学（76-XX） 179 生物学和其他自然科学（92-XX） 137 可变形固体力学（74-XX） 123 博弈论、经济学、金融和其他社会和行为科学（91-XX） 105 概率论与随机过程（60-XX） 83 信息和通信理论，电路（94-XX） 62 量子理论（81-XX） 60 系统论；控制（93至XX） 53 统计力学，物质结构（82-XX） 45 变分法与最优控制；最优化（49至XX） 40 地球物理学（86-XX） 38 动力系统和遍历理论（37至XX） 22 粒子和系统力学（70-XX） 18 近似值和展开值（41至XX） 16 常微分方程（34-XX） 15 光学、电磁理论（78-XX） 13 算子理论（47-XX） 10 线性代数和多线性代数；矩阵理论（15-XX） 9 组合数学（05-XX） 8 经典热力学，传热（80-XX） 8 相对论和引力理论（83至XX） 7 欧几里得空间的调和分析（42至XX） 5 总体主题；集合（00-XX） 5 微分几何（53至XX） 5 代数拓扑（55-XX） 4 数学逻辑和基础（03-XX） 4 数论（11-XX） 4 代数几何（14-XX） 4 实函数（26-XX） 4 积分方程（45-XX） 三 几个复变量和分析空间（32-XX） 三 功能分析（46倍X倍） 三 整体分析，流形分析（58至XX） 2 范畴理论；同调代数（18-XX） 2 特殊功能（33至XX） 2 积分变换，运算微积分（44-XX） 2 凸和离散几何（52至XX） 2 流形和细胞复合体（57至XX） 1 阶、格、有序代数结构（06-XX） 1 结合环与代数（16-XX） 1 群论与推广（20-XX） 1 测量和集成（28-XX） 1 复变量的函数（30年XX月） 1 势能理论（31日至XX日） 1 差分和函数方程（39至XX） 1 几何图形（51至XX） 1 一般拓扑结构（54至XX） 1 天文学和天体物理学（85-XX） 1 数学教育（97-XX） 按年份列出的引文