亚当 swMATH ID: 22205 软件作者： Diederik P.Kingma、Jimmy Ba 描述： 亚当：一种随机优化方法。我们介绍了Adam，一种基于低阶矩自适应估计的随机目标函数一阶梯度优化算法。该方法实现简单，计算效率高，内存需求少，对梯度的对角线缩放不变性，非常适合于数据和/或参数较大的问题。该方法也适用于非平稳目标和具有非常噪声和/或稀疏梯度的问题。超参数具有直观的解释，通常只需要很少的调整。讨论了Adam受到启发的相关算法的一些联系。我们还分析了算法的理论收敛性，并给出了收敛速度的遗憾界，该收敛速度与在线凸优化框架下的最佳结果相当。实验结果表明，Adam算法在实际应用中效果良好，并优于其他随机优化方法。最后，我们讨论了AdaMax，一个基于无穷范数的Adam变体。 主页： https://arxiv.org/abs/1412.6980 关键词： 学习;arXiv公司。LG公司;arXiv公司;随机优化;阿达马克斯;基于一阶梯度的优化 相关软件： TensorFlow公司;PyTorch公司;ImageNet公司;AlexNet公司;github;DGM公司;凯拉斯;阿达格拉德;DiffSharp（差异锐化）;掌中宽带;深XDE;Scikit公司;蟒蛇;L-BFGS公司;RMS公司;到岸价格;阿达三角洲;MNIST公司;PRMLT公司;DeepONet（深度网络） 引用于： 1388文件 全部的 前5名3855位作者引用 29 乔治·埃姆·卡尼亚达基斯 15 佩迪卡里斯，巴黎G。 11 韩洁群 9 E、 渭南 9 Hesthaven，Jan S。 9 斯坦利·乔尔·奥斯尔 9 雷，深 8 王宝 7 蔡志强 7 路易斯·杜洛夫斯基。 7 阿努尔夫·詹岑 7 Koutsourelakis、Phaedon-Stelios 7 刘敏 7 鲁，鲁 7 悉达多·米什拉 7 王思凡 7 泽维尔·沃林 7 杨海照 7 尼古拉斯·扎巴拉斯。 6 陈景霜 6 伊桑·哈希亚特 6 孙伟庆 6 秀、东宾 5 约书亚·本吉奥 5 Alireza杜斯坦 5 亚钦·埃芬迪耶夫（Yalchin R.Efendiev）。 5 马克西米利安·日尔曼 5 黄建国 5 陆建峰 5 Oosterlee，Cornelis Willebrordus公司 5 简·彼得斯 5 王建勋 5 英、乐兴 4 克里斯蒂安·贝克 4 钟子顺埃里克 4 哈米德雷扎·德哈尼 4 董斌 4 卡提克省杜莱萨米 4 高，韩 4 福雷德里克·吉布 4 郝文瑞 4 何，杨慧，Evariste 4 亚历山大·海因莱因 4 阿米亚·贾格塔普。 4 鲁本·胡安斯 4 阿克塞尔·克拉翁 4 李在洪 4 李倩晓 4 林，林 4 徐汇孟 4 伊万·瓦莱尔耶维奇 4 马尔科·普拉托 4 马齐亚·莱斯 4 吉安路易吉·罗扎 4 司徒、浩珍 4 孙伟 4 唐一发 4 尼尔斯·杜里 4 纳撒尼尔·A·特拉斯克。 4 万晓亮 4 王春梅 4 王浩琴 4 王，钱 4 严，梁 4 杨一波 4 莱昂纳多·泽佩达·努涅斯 4 张东晓 4 张林峰 4 安德烈亚斯·齐利安 3 尼古拉斯·A·亚当斯。 3 克里斯托弗·安德森 3 安东尼埃蒂，保拉·弗朗西丝卡 3 阿尔贝托·巴迪亚斯 3 塞巴斯蒂安·贝克尔 3 萨米尔·贝内丁 3 贝尔托齐，安德烈亚·路易丝 3 Deniz A.Bezgin。 3 尼古拉斯·布克拉斯 3 蔡伟 3 凯文·卡尔伯格（Kevin T.Carlberg）。 3 常，海滨 3 陈磊 3 陈立伟 3 陈伟 3 帕特里克·切里迪托 3 张小文 3 弗朗西斯科·切妮斯塔 3 埃利亚斯·库托 3 杰罗姆·达邦 3 德苏巴扬 3 戴德，卢卡 3 玛尔塔·德埃利亚 3 董素川 3 艾哈迈德·埃尔谢赫。 3 凯文·弗洛雷斯（Kevin B.Flores）。 3 福格、扬·尼古拉斯 3 富加达，Koji 3 Kai Fukami 3 梅迪·戈梅姆 3 顾一琦 …还有3755名作者 全部的 前5名248篇连载文章中引用 168 计算物理杂志 104 应用力学与工程中的计算机方法 56 机器学习 49 机器学习研究杂志（JMLR） 35 SIAM科学计算杂志 31 计算力学 30 神经计算 30 计算物理中的通信 22 科学计算杂志 22 欧洲运筹学杂志 20 计算机和流体 20 流体力学杂志 18 计算机与数学及其应用 18 数据挖掘与知识发现 16 人工智能 16 计算与应用数学杂志 16 数学成像与视觉杂志 16 定量金融学 16 SIAM成像科学杂志 15 国际计算机视觉杂志 14 人工智能研究杂志 14 计算地球科学 13 神经网络 13 量子信息处理 13 统计与计算 11 反问题 11 信息科学 11 反问题和成像 11 SIAM数据科学数学杂志 10 物理D 9 数学生物科学与工程 8 物理A 8 SIAM优化杂志 8 欧洲力学杂志。A.固体 8 非线性科学与数值模拟中的通信 7 混沌、孤子和分形 7 计算机与运筹学 7 高能物理杂志 7 国际计算方法杂志 7 统计力学杂志：理论与实验 7 数学科学研究 6 计算机物理通信 6 Automatica公司 6 计算机辅助几何设计 6 国际近似推理杂志 6 应用数学建模 6 信息计算杂志 6 优化方法和软件 5 《物理快报》。A类 5 应用数学与计算 5 美国统计协会杂志 5 全球优化杂志 5 计算统计与数据分析 5 计算优化与应用 5 IEEE图像处理汇刊 5 国际小波、多分辨率和信息处理杂志 5 数学地球科学 5 中国运筹学学会杂志 4 《物理快报》。B类 4 SIAM数值分析杂志 4 欧洲应用数学杂志 4 计算统计学 4 ETNA公司。数字分析电子交易 4 SIAM应用动力系统杂志 4 SIAM金融数学杂志 4 数学与统计传播 3 生物控制论 3 富兰克林学院学报 3 物理报告 3 心理测量学 3 计量经济学杂志 3 最优化理论与应用杂志 3 模拟中的数学和计算机 3 保险数学与经济学 3 经济动力学与控制杂志 3 自动化和远程控制 3 统计计算与模拟杂志 3 数学编程。A系列B系列 3 国际计算机与系统科学杂志 3 数学科学杂志（纽约） 3 计算与应用数学 3 反问题与不适定问题杂志 3 数学与人工智能年鉴 3 欧洲控制杂志 3 多体系统动力学 3 洛巴切夫斯基数学杂志 3 斯堪的纳维亚精算杂志 3 ASTIN公告 3 医学中的计算和数学方法 3 电子统计杂志 3 应用统计学年鉴 3 数值数学：理论、方法和应用 3 计算与图形统计杂志 3 理论生物学杂志 3 东亚应用数学杂志 3 SIAM/ASA不确定性量化杂志 3 伦敦皇家学会会刊。A.数学、物理和工程科学 3 应用数学与计算交流 3 SN偏微分方程及其应用 2 美国统计学家 …还有148部连续剧 全部的 前5名52个领域被引用 873 计算机科学（68至XX） 400 数值分析（65-XX） 217 统计学（62-XX） 163 运筹学、数学规划（90-XX） 154 流体力学（76-XX） 150 偏微分方程（35-XX） 135 生物学和其他自然科学（92-XX） 111 可变形固体力学（74-XX） 89 博弈论、经济学、金融和其他社会和行为科学（91-XX） 81 概率论与随机过程（60-XX） 69 信息与通信理论、电路（94-XX） 52 量子理论（81-XX） 43 系统论；控制（93-XX） 38 统计力学，物质结构（82-XX） 35 变分法与最优控制；最优化（49至XX） 31 地球物理学（86-XX） 30 动力系统和遍历理论（37至XX） 17 粒子和系统力学（70-XX） 14 常微分方程（34-XX） 10 近似值和展开值（41至XX） 10 算子理论（47-XX） 10 光学、电磁理论（78-XX） 8 经典热力学，传热（80-XX） 7 线性代数和多线性代数；矩阵理论（15-XX） 7 欧氏空间的调和分析（42至XX） 7 相对论和引力理论（83至XX） 6 组合数学（05-XX） 4 差速器几何结构（53至XX） 3 一般性和全局性主题；集合（00-XX） 3 数学逻辑和基础（03-XX） 3 数论（11-XX） 3 代数几何（14-XX） 3 实际功能（26年X月X日） 3 几个复变量和分析空间（32-XX） 3 代数拓扑（55-XX） 3 整体分析，流形分析（58至XX） 2 积分变换，运算微积分（44-XX） 2 积分方程（45-XX） 2 凸和离散几何（52至XX） 2 一般拓扑结构（54至XX） 2 流形和细胞复合体（57至XX） 1 结合环与代数（16-XX） 1 范畴理论；同调代数（18-XX） 1 群论与推广（20-XX） 1 测量和集成（28-XX） 1 复变量的函数（30-XX） 1 势能理论（31日至XX日） 1 特殊功能（33至XX） 1 差分方程和函数方程（39至XX） 1 功能分析（46-XX） 1 几何形状（51至XX） 1 天文学和天体物理学（85-XX） 按年份列出的引文