亚当 swMATH ID: 22205 软件作者： Diederik P.Kingma、Jimmy Ba 描述： 亚当：一种随机优化方法。我们介绍了Adam，一种基于低阶矩自适应估计的随机目标函数一阶梯度优化算法。该方法实现简单，计算效率高，内存需求少，对梯度的对角线缩放不变性，非常适合于数据和/或参数较大的问题。该方法也适用于非平稳目标和具有非常噪声和/或稀疏梯度的问题。超参数具有直观的解释，通常只需要很少的调整。讨论了Adam受到启发的相关算法的一些联系。我们还分析了该算法的理论收敛性，并给出了收敛速度的遗憾界，该收敛速度与在线凸优化框架下的最佳已知结果相当。实证结果表明，Adam在实践中表现良好，与其他随机优化方法相比，具有良好的性能。最后，我们讨论AdaMax，它是Adam基于无穷范数的变体。 主页： https://arxiv.org/abs/1412.6980 关键词： 学习；arXiv公司。LG公司；arXiv公司；随机优化；阿达马克斯；基于一阶梯度的优化 相关软件： TensorFlow公司；PyTorch公司；ImageNet公司；AlexNet公司；github；DGM公司；阿达格拉德；凯拉斯；掌中宽带；DiffSharp（差异锐化）；深XDE；CIFAR公司；RMS公司；DeepONet（深度网络）；张紧器2传感器；PRMLT公司；Scikit公司；L-BFGS公司；蟒蛇；阿达德尔塔 引用于： 1802文件 全部的 前5名5002位作者引用 34 乔治·埃姆·卡尼亚达基斯 16 佩迪卡里斯，巴黎G。 12 雷，深 11 韩洁群 9 E、 渭南 9 Hesthaven，Jan S。 9 斯坦利·乔尔·奥斯尔 8 蔡志强 8 阿努尔夫·詹岑 8 刘敏 8 卢，卢 8 悉达多·米什拉 8 王、鲍 8 王思凡 7 路易斯·杜洛夫斯基。 7 Koutsourelakis、Phaedon-Stelios 7 王建勋 7 泽维尔·沃林 7 杨海照 7 尼古拉斯·扎巴拉斯。 6 陈景霜 6 Alireza Doostan 6 埃桑·哈格海亚特 6 陆建峰 6 孙伟庆 6 秀、东宾 5 约书亚·本吉奥 5 亚钦·埃芬迪耶夫（Yalchin R.Efendiev）。 5 马克西米利安·日尔曼 5 福雷德里克·吉布 5 郝文瑞 5 黄建国 5 阿米亚·贾格塔普。 5 阿克塞尔·克拉翁 5 李倩晓 5 徐汇孟 5 Oosterlee，Cornelis Willebrordus公司 5 简·彼得斯 5 纳撒尼尔·A·特拉斯克。 5 万晓亮 5 严，梁 5 英、乐兴 4 安东尼埃蒂，保拉·弗朗西丝卡 4 克里斯蒂安·贝克 4 塞巴斯蒂安·贝克尔 4 蔡伟 4 钟，Tsz Shun Eric 4 达本，杰罗姆 4 哈米德雷扎·德哈尼 4 董斌 4 董素川 4 卡提克省杜莱萨米 4 高，韩 4 Aleksandr V.加斯尼科夫。 4 龚茂国 4 顾一琦 4 何，杨辉评估师 4 亚历山大·海因莱因 4 约翰内斯·赫特里奇 4 胡晓哲 4 岩田、丰沼 4 鲁本·胡安内斯 4 马丁·兰瑟 4 李在洪 4 李、余 4 林广 4 林，林 4 刘永锦 4 刘，杨 4 安德里亚·曼佐尼 4 罗密特·莫利克 4 Oseledets、Ivan Valer’evich 4 大卫·帕尔多 4 达里奥·皮加 4 马齐亚·莱斯 4 吉安路易吉·罗扎 4 申永忠 4 司徒、浩珍 4 孙浩 4 唐一发 4 尼尔斯·杜里 4 王春梅 4 王浩琴 4 王、钱 4 珍妮·韦伯 4 Wen，Zaiwen先生 4 严振亚 4 杨超 4 杨一波 4 莱昂纳多·泽佩达·努涅斯 4 张冬晓 4 张凯 4 张林峰 4 张震 4 张志文 4 周涛 4 安德烈亚斯·齐利安 三 尼古拉斯·A·亚当斯。 三 克里斯托弗·安德森 三 阿尔贝托·巴迪亚斯 …还有4902名作者 全部的 前5名289篇连载文章中引用 202 计算物理杂志 152 应用力学与工程中的计算机方法 69 机器学习 56 神经网络 49 机器学习研究杂志（JMLR） 47 SIAM科学计算杂志 34 计算物理中的通信 32 计算力学 31 信息科学 30 神经计算 28 科学计算杂志 27 计算机与数学及其应用 24 计算机和流体 23 流体力学杂志 23 欧洲运筹学杂志 22 人工智能 22 计算与应用数学杂志 19 数据挖掘与知识发现 19 统计学与计算 18 定量金融学 18 SIAM成像科学杂志 17 反问题 16 数学成像与视觉杂志 15 国际计算机视觉杂志 15 量子信息处理 14 物理D 14 计算地球科学 13 SIAM数据科学数学杂志 12 人工智能研究杂志 12 数学金融学 12 非线性科学与数值模拟中的通信 11 反问题和成像 10 计算机物理通信 10 自动化 10 SIAM优化杂志 9 美国统计协会杂志 9 计算机与运筹学 9 统计力学杂志：理论与实验 8 物理A 8 欧洲力学杂志。A.固体 8 国际计算方法杂志 8 数学生物科学与工程 8 计算与图形统计杂志 7 混沌、孤子和分形 7 应用数学与计算 7 应用数学建模 7 优化方法和软件 7 高能物理杂志 7 数学科学研究 6 计算机辅助几何设计 6 国际近似推理杂志 6 全球优化杂志 6 计算优化与应用 6 信息计算杂志 6 国际小波、多分辨率和信息处理杂志 6 物理学报A：数学与理论 6 数学地球科学 6 SIAM金融数学杂志 6 中国运筹学会学报 5 富兰克林学院学报 5 《物理快报》。A类 5 《物理快报》。B类 5 计量经济学杂志 5 计算统计学 5 计算统计与数据分析 5 IEEE图像处理汇刊 5 应用统计学年鉴 5 数值数学：理论、方法和应用 5 东亚应用数学杂志 5 SN偏微分方程及其应用 4 SIAM数值分析杂志 4 经济动力学与控制杂志 4 欧洲应用数学杂志 4 数学编程。A系列B系列 4 ETNA公司。数值分析电子交易 4 系统科学与复杂性杂志 4 SIAM应用动力系统杂志 4 电子统计杂志 4 贝叶斯分析 4 数学与统计传播 4 SIAM/ASA不确定性量化杂志 4 采样理论、信号处理和数据分析 三 生物控制论 三 物理报告 三 心理测量学 三 数学生物学通报 三 最优化理论与应用杂志 三 模拟中的数学和计算机 三 理论计算机科学 三 保险数学与经济学 三 运营研究信件 三 计算数学杂志 三 SIAM矩阵分析与应用杂志 三 数值算法 三 自动化和远程控制 三 统计计算与模拟杂志 三 SIAM审查 三 国际计算机与系统科学杂志 三 数学科学杂志（纽约） 三 计算与应用数学 …还有189部连续剧 全部的 前5名54个领域被引用 1,152 计算机科学（68至XX） 534 数值分析（65-XX） 304 统计学（62-XX） 217 运筹学、数学规划（90-XX） 200 偏微分方程（35-XX） 187 流体力学（76-XX） 179 生物学和其他自然科学（92-XX） 136 可变形固体力学（74-XX） 123 博弈论、经济学、金融和其他社会和行为科学（91-XX） 103 概率论与随机过程（60-XX） 84 信息与通信理论、电路（94-XX） 62 量子理论（81-XX） 59 系统论；控制（93至XX） 52 统计力学，物质结构（82-XX） 44 变分法与最优控制；最优化（49至XX） 39 地球物理学（86-XX） 36 动力系统和遍历理论（37至XX） 22 粒子和系统力学（70-XX） 18 近似和展开（41至XX） 17 常微分方程（34-XX） 15 光学、电磁理论（78-XX） 12 算子理论（47-XX） 10 线性代数和多线性代数；矩阵理论（15-XX） 9 组合数学（05-XX） 8 经典热力学，传热（80-XX） 8 相对论和引力理论（83至XX） 7 欧氏空间的调和分析（42-XX） 5 总体主题；集合（00-XX） 5 积分方程（45-XX） 5 微分几何（53至XX） 5 代数拓扑（55-XX） 4 数理逻辑与基础（03-XX） 4 数论（11-XX） 4 代数几何（14-XX） 4 实际功能（26年X月X日） 三 几个复变量和分析空间（32-XX） 三 功能分析（46倍X倍） 三 整体分析，流形分析（58至XX） 2 范畴理论；同调代数（18-XX） 2 特殊功能（33至XX） 2 差分方程和函数方程（39至XX） 2 积分变换，运算微积分（44-XX） 2 凸和离散几何（52至XX） 2 歧管和细胞复合体（57-XX） 1 阶、格、有序代数结构（06-XX） 1 结合环与代数（16-XX） 1 群论与推广（20-XX） 1 测量和集成（28-XX） 1 复变量的函数（30年XX月） 1 势能理论（31日至XX日） 1 几何图形（51至XX） 1 一般拓扑结构（54至XX） 1 天文学和天体物理学（85-XX） 1 数学教育（97-XX） 按年份列出的引文