×

亚当

swMATH ID: 22205
软件作者: Diederik P.Kingma、Jimmy Ba
描述: 亚当:一种随机优化方法。我们介绍了Adam,一种基于低阶矩自适应估计的随机目标函数一阶梯度优化算法。该方法实现简单,计算效率高,内存需求少,对梯度的对角线缩放不变性,非常适合于数据和/或参数较大的问题。该方法也适用于非平稳目标和具有非常噪声和/或稀疏梯度的问题。超参数具有直观的解释,通常只需要很少的调整。讨论了Adam受到启发的相关算法的一些联系。我们还分析了该算法的理论收敛性,并给出了收敛速度的遗憾界,该收敛速度与在线凸优化框架下的最佳已知结果相当。实证结果表明,Adam在实践中表现良好,与其他随机优化方法相比,具有良好的性能。最后,我们讨论AdaMax,它是Adam基于无穷范数的变体。
主页: https://arxiv.org/abs/1412.6980
关键词: 学习;arXiv公司。LG公司;arXiv公司;随机最优化;阿达马克斯;基于一阶梯度的优化
相关软件: TensorFlow公司;PyTorch公司;图像网络;AlexNet公司;DGM公司;阿达格拉德;github;喀拉拉邦;DiffSharp(差异锐化);掌中宽带;深XDE;CIFAR公司;RMS公司;PRMLT公司;DeepONet(深度网络);L-BFGS公司;Scikit公司;张紧器2传感器;Python语言;阿达德尔塔
引用于: 1750文件
全部的 前5名

4877位作者引用

33 乔治·埃姆·卡尼亚达基斯
15 佩迪卡里斯,巴黎G。
11 韩洁群
11 雷,深
9 E、 渭南
9 赫斯塔文,简·S。
9 斯坦利·乔尔·奥斯尔
8 蔡志强
8 刘敏
8 鲁,鲁
8 悉达多米什拉
8 王宝
7 路易斯·杜洛夫斯基。
7 阿努尔夫·詹岑
7 Koutsourelakis、Phaedon-Stelios
7 王建勋
7 王思凡
7 泽维尔·沃林
7 杨海照
7 尼古拉斯·扎巴拉斯。
6 陈景霜
6 Alireza Doostan
6 伊桑·哈希亚特
6 陆建峰
6 孙伟庆
6 秀、东宾
5 约书亚·本吉奥
5 亚钦·埃芬迪耶夫(Yalchin R.Efendiev)。
5 马克西米利安·日尔曼
5 福雷德里克·吉布
5 郝文瑞
5 黄建国
5 阿米亚·贾格塔普。
5 阿克塞尔·克拉翁
5 徐汇孟
5 Oosterlee,Cornelis Willebrordus公司
5 简·彼得斯
5 纳撒尼尔·A·特拉斯克。
5 万晓亮
5 严,梁
5 英、乐兴
4 安东尼埃蒂,保拉·弗朗西丝卡
4 克里斯蒂安·贝克
4 蔡伟
4 钟,Tsz Shun Eric
4 杰罗姆·达邦
4 哈米德雷扎·德哈尼
4 董斌
4 董素川
4 卡提克省杜莱萨米
4 高,韩
4 Aleksandr V.加斯尼科夫。
4 顾一琦
4 何,杨慧,Evariste
4 亚历山大·海因莱因
4 约翰内斯·赫特里奇
4 胡晓哲
4 岩田、丰沼
4 鲁本·胡安斯
4 马丁·兰瑟
4 李在洪
4 李倩晓
4 李、余
4 林广
4 林,林
4 刘永锦
4 刘,杨
4 罗密特·莫利克
4 Oseledets、Ivan Valer’evich
4 大卫·帕尔多
4 达里奥·皮加
4 马齐亚·莱斯
4 吉安路易吉·罗扎
4 申仁宗
4 司徒、浩珍
4 孙浩
4 唐一发
4 尼尔斯·杜里
4 王春梅
4 王浩琴
4 王,钱
4 珍妮·韦伯
4 Wen,Zaiwen先生
4 严振亚
4 杨一波
4 莱昂纳多·泽佩达·努涅斯
4 张冬晓
4 张凯
4 张林峰
4 张震
4 张志文
4 周涛
4 安德烈亚斯·齐利安
尼古拉斯·A·亚当斯。
克里斯托弗·安德森
阿尔贝托·巴迪亚斯
安德烈亚·贝克。
塞巴斯蒂安·贝克尔
阿尔贝托·本普拉德
萨米尔·贝内丁
…还有4777名作者
全部的 前5名

283篇连载文章被引用

201 计算物理杂志
139 应用力学与工程中的计算机方法
69 机器学习
55 神经网络
49 机器学习研究杂志(JMLR)
43 SIAM科学计算杂志
34 计算物理中的通信
32 计算力学
30 神经计算
28 信息科学
28 科学计算杂志
25 计算机与数学及其应用
24 计算机和流体
23 流体力学杂志
23 欧洲运筹学杂志
22 人工智能
22 计算与应用数学杂志
19 数据挖掘与知识发现
19 统计与计算
18 定量金融学
18 SIAM成像科学杂志
17 反问题
16 数学成像与视觉杂志
15 国际计算机视觉杂志
15 量子信息处理
14 物理D
14 计算地球科学
13 SIAM数据科学数学杂志
12 人工智能研究杂志
12 非线性科学与数值模拟中的通信
11 反问题和成像
10 计算机物理通信
10 Automatica公司
10 SIAM优化杂志
9 计算机与运筹学
9 统计力学杂志:理论与实验
8 物理A
8 美国统计协会杂志
8 数学金融学
8 欧洲力学杂志。A.固体
8 国际计算方法杂志
8 数学生物科学与工程
8 计算与图形统计杂志
7 混沌、孤子和分形
7 应用数学与计算
7 应用数学建模
7 优化方法和软件
7 高能物理杂志
7 数学科学研究
6 计算机辅助几何设计
6 国际近似推理杂志
6 全球优化杂志
6 计算优化与应用
6 信息计算杂志
6 国际小波、多分辨率和信息处理杂志
6 物理学报A:数学与理论
6 数学地球科学
6 SIAM金融数学杂志
6 中国运筹学会学报
5 富兰克林学院学报
5 《物理快报》。A类
5 《物理快报》。B类
5 计算统计学
5 计算统计与数据分析
5 IEEE图像处理汇刊
5 应用统计学年鉴
5 东亚应用数学杂志
4 计量经济学杂志
4 SIAM数值分析杂志
4 经济动力学与控制杂志
4 欧洲应用数学杂志
4 数学编程。A系列B系列
4 埃特纳。数值分析电子交易
4 SIAM应用动力系统杂志
4 贝叶斯分析
4 数学与统计传播
4 SN偏微分方程及其应用
4 采样理论、信号处理和数据分析
生物控制论
物理报告
心理测量学
最优化理论与应用杂志
模拟中的数学和计算机
理论计算机科学
保险数学与经济学
运营研究信件
计算数学杂志
自动化和远程控制
统计计算与仿真杂志
SIAM审查
国际计算机与系统科学杂志
数学科学杂志(纽约)
计算与应用数学
反问题和不适定问题期刊
蒙特卡罗方法及其应用
应用数学金融
数学与人工智能年鉴
欧洲控制杂志
多体系统动力学
优化与工程
…还有183部连续剧
全部的 前5名

54个领域被引用

1,122 计算机科学(68至XX)
518 数值分析(65-XX)
293 统计学(62-XX)
211 运筹学、数学规划(90-XX)
189 偏微分方程(35-XX)
183 流体力学(76-XX)
168 生物学和其他自然科学(92-XX)
132 可变形固体力学(74-XX)
117 博弈论、经济学、金融和其他社会和行为科学(91-XX)
100 概率论与随机过程(60-XX)
82 信息与通信理论、电路(94-XX)
61 量子理论(81-XX)
55 系统论;控制(93至XX)
51 统计力学,物质结构(82-XX)
42 变分法与最优控制;最优化(49至XX)
38 地球物理学(86-XX)
36 动力学系统与遍历理论(37至XX)
23 粒子和系统力学(70-XX)
18 近似值和展开值(41至XX)
17 常微分方程(34-XX)
13 算子理论(47-XX)
13 光学、电磁理论(78-XX)
9 组合数学(05-XX)
9 线性代数和多线性代数;矩阵理论(15-XX)
8 欧氏空间的调和分析(42至XX)
8 经典热力学,传热(80-XX)
8 相对论和引力理论(83至XX)
5 总体主题;集合(00-XX)
5 微分几何(53至XX)
5 代数拓扑(55-XX)
4 数学逻辑和基础(03-XX)
4 数论(11-XX)
4 代数几何(14-XX)
4 实际功能(26年X月X日)
4 积分方程(45-XX)
4 功能分析(46倍X倍)
几个复变量和分析空间(32-XX)
整体分析,流形分析(58-XX)
2 范畴理论;同调代数(18-XX)
2 特殊功能(33至XX)
2 差分和函数方程(39至XX)
2 积分变换,运算微积分(44-XX)
2 凸和离散几何(52至XX)
2 流形和细胞复合体(57至XX)
1 有序,格,有序代数结构(06-XX)
1 结合环与代数(16-XX)
1 群论与推广(20-XX)
1 测量和集成(28-XX)
1 复变量的函数(30年XX月)
1 势能理论(31-XX)
1 几何图形(51至XX)
1 一般拓扑结构(54至XX)
1 天文学和天体物理学(85-XX)
1 数学教育(97-XX)

按年份列出的引文