×

阿达格拉德

swMATH ID: 22202
软件作者： 约翰·杜奇（John Duchi）；哈赞，埃拉德；歌手，约拉姆
描述： ADAGRAD：自适应梯度算法；在线学习和随机优化的自适应次梯度方法。我们提出了一系列新的次梯度方法，这些方法动态地结合了在早期迭代中观察到的数据的几何知识，以执行更具信息量的基于梯度的学习。隐喻地说，这种适应使我们能够在干草堆中以非常有预见性但很少见到的特征的形式找到针。我们的范式源于随机优化和在线学习的最新进展，它们使用近似函数来控制算法的梯度步长。我们描述并分析了一种用于自适应修改近端函数的装置，该装置显著简化了学习率的设置，并导致遗憾保证，该遗憾保证与事后可以选择的最佳近端函数一样好。对于具有常见且重要正则函数和域约束的经验风险最小化问题，我们给出了几种有效的算法。我们对我们的理论分析进行了实验研究，结果表明，自适应次梯度方法的性能优于最先进但非自适应的次梯度算法。
主页： http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf
关键词： 次梯度方法；适应性；在线学习；随机凸优化
相关软件： 亚当；RM链轮；阿达德尔塔；ImageNet公司；传奇；AlexNet公司；TensorFlow公司；PyTorch公司；CIFAR公司；PRMLT公司；L-BFGS公司；MNIST公司；伦敦银行支持向量机；达奇；github；新加坡元-QN；Scikit公司；DiffSharp（差异锐化）；张紧器2传感器；ElemStatLearn（电子状态学习）
引用于： 285文件

标准条款

1出版物描述软件，包括1出版物以zbMATH为单位 年份
在线学习和随机优化的自适应次梯度方法。 Zbl 1280.68164号
约翰·杜奇；埃拉德·哈赞；歌手，约拉姆
2011
全部的 前5名

749位作者引用

6 Wen，Zaiwen先生
5 Aleksandr V.加斯尼科夫。
4 科比·克拉默
4 约翰·杜奇（John C.Duchi）。
三 Frank E.柯蒂斯。
三 Dvurechensky，Pavel E。
三 罗纳德·费德昆（Ronald P.Fedkiw）。
三 谢尔盖·格拉顿
三 郭天德
三 胡，江
三 伊杜卡，Hideaki
三 刘海良
三 塔布拉塔·迈蒂
三 安德烈·米尔扎雷克
三 弗朗西斯科·奥拉博纳
三 斯特凡诺·索托
三 马丁·塔卡
三 菲利普·路易斯·托林特
三 徐东坡
三 Xu，洋洋
三 闫永贵
三 杨海照
三 袁亚香
2 弗朗西斯·巴赫。
2 阿纳斯·巴拉卡特
2 Aleksandr Beznosikov
2 什里吉塔·巴塔查里亚
2 帕斯卡·比安奇
2 卜、开封
2 迈克尔·伯克哈特（Michael C.Burkhart）。
2 蔡、李
2 普拉蒂克·乔达里
2 陈杰
2 陈亚萍
2 Dan O·克里斯安。
2 瓦伦丁·杜鲁修斯
2 罗伊·加西亚。
2 高桥高达
2 安东尼·戈迪孔·巴吉奥尼
2 爱德华·戈尔布诺夫
2 顾一琦
2 伊桑·哈希亚特
2 韩聪颖
2 韩德仁
2 埃拉德·哈赞
2 胡耀华
2 亚瑟·迈克尔
2 江波
2 乔丹、迈克尔·欧文
2 鲁本·胡安斯
2 乔治·埃姆·卡尼亚达基斯
2 Vojtech公司Kejzlar
2 瓦塔鲁基塔德
2 雨果·拉罗谢尔
2 李在洪
2 雷丽华
2 梅尔文·莱克
2 刘金兰
2 刘燕
2 刘友琼
2 安娜·M·马丁内斯。
2 Mobasher，Mostafa E。
2 爱德华·莫罗什科
2 Trung Nguyen-Thoi
2 Nguyen，Lam M。
2 豪尔赫·诺塞达尔
2 亚当·奥伯曼。
2 奥舍，斯坦利·乔尔
2 多维德·帕尔
2 潘蒂迪斯、帕诺斯
2 帕诺斯·帕达洛斯（Panos M.Pardalos）。
2 塞奥尼奥公园
2 爱德华·让·罗伯特·鲍威尔
2 佩迪卡里斯，巴黎G。
2 Dzung T.潘。
2 彼得·里奇塔里克
2 鲁斯塔，弗雷德
2 冯阮
2 拉斯·鲁索托
2 卡蒂亚·申伯格
2 马克·施密特
2 内森·斯雷布罗
2 孙涛
2 田旭平
2 Tam T.Truong。
2 王汉生
2 王，肖
2 徐一博
2 杨明翰
2 杨晓琦
2 Yu，Carisa郭伟
1 亚历山德罗·阿巴特
1 马西尔·阿查布
1 阿德耶米·阿德约耶。
1 乔治·阿多索格鲁
1 阿加瓦尔（Alekh Agarwal）
1 纳曼·阿加瓦尔
1 查鲁·C·阿加瓦尔。
1 Edoardo M.艾若迪。
1 阿贾坎，哈娜
…还有649位作者
全部的 前5名

107篇连载文章中引用

21 机器学习研究杂志（JMLR）
16 SIAM优化杂志
14 机器学习
12 神经网络
11 计算物理杂志
11 统计与计算
9 应用力学与工程中的计算机方法
8 神经计算
7 全球优化杂志
7 SIAM科学计算杂志
7 优化方法和软件
6 数学编程。A系列B系列
5 信息科学
5 计算优化与应用
5 中国运筹学会学报
4 理论计算机科学
4 数值算法
三 计算机与数学及其应用
三 美国统计协会杂志
三 最优化理论与应用杂志
三 模拟中的数学和计算机
三 计算统计与数据分析
三 计算物理中的通信
三 SIAM成像科学杂志
2 统计年鉴
2 Automatica公司
2 计算与应用数学杂志
2 微分方程杂志
2 国际近似推理杂志
2 科学计算杂志
2 欧洲运筹学杂志
2 数学与人工智能年鉴
2 计算地球科学
2 高能物理杂志
2 量子信息处理
2 国际计算方法杂志
2 计算管理科学
2 优化信函
2 数学地球科学
2 数学规划计算
2 计算与图形统计杂志
2 SIAM/ASA不确定性量化杂志
1 美国统计学家
1 人工智能
1 加拿大统计杂志
1 反问题
1 富兰克林学院学报
1 物理报告
1 计算数学
1 生物计量学
1 计量经济学杂志
1 运筹学数学
1 麦加尼卡
1 运营研究信件
1 中国数学年鉴。B系列
1 计算数学杂志
1 统计
1 优化
1 序列分析
1 统计科学
1 伊比利亚-美洲市场评论
1 计算机与运筹学
1 计算力学
1 SIAM矩阵分析与应用期刊
1 多维系统及信号处理
1 计算数学和数学物理
1 应用数学建模
1 统计计算与模拟杂志
1 SIAM审查
1 数学成像与视觉杂志
1 国际计算机视觉杂志
1 计算与应用数学
1 反问题与不适定问题杂志
1 边界元工程分析
1 美国计算机学会模型和计算机仿真汇刊
1 信息计算杂志
1 数学金融学
1 数据挖掘与知识发现
1 CEJOR公司。中欧运筹学杂志
1 洛巴切夫斯基数学杂志
1 工程计算方法档案
1 系统科学与复杂性杂志
1 自然计算
1 国际小波、多分辨率和信息处理杂志
1 地中海数学杂志
1 统计力学杂志：理论与实验
1 数学生物科学与工程
1 工业与管理优化杂志
1 反问题和成像
1 电子统计杂志
1 离散数学、算法和应用
1 机器学习的基础和趋势
1 几何力学杂志
1 科学中国。信息科学
1 随机和偏微分方程。分析和计算
1 数学科学研究
1 开放数学
1 应用数学年鉴
1 数据科学与自适应分析进展
1 非线性与变分分析杂志
…还有7部连续剧
全部的 前5名

30个领域被引用

140 计算机科学（68至XX）
129 运筹学、数学规划（90-XX）
93 数值分析（65-XX）
74 统计学（62-XX）
19 变分法与最优控制；最优化（49至XX）
13 系统论；控制（93至XX）
12 偏微分方程（35-XX）
11 可变形固体力学（74-XX）
10 生物学和其他自然科学（92-XX）
8 概率论与随机过程（60-XX）
7 流体力学（76-XX）
7 信息与通信理论、电路（94-XX）
6 动力系统和遍历理论（37至XX）
5 量子理论（81-XX）
5 博弈论、经济学、金融学以及其他社会和行为科学（91-XX）
4 线性代数和多线性代数；矩阵理论（15-XX）
4 常微分方程（34-XX）
三 粒子和系统力学（70-XX）
三 地球物理学（86-XX）
2 算子理论（47-XX）
2 统计力学，物质结构（82-XX）
1 总体主题；集合（00-XX）
1 数论（11-XX）
1 范畴理论；同调代数（18-XX）
1 实函数（26年X月X日）
1 复变量的函数（30年XX月）
1 近似和展开（41至XX）
1 积分方程（45-XX）
1 凸和离散几何（52至XX）
1 代数拓扑（55-XX）

按年份列出的引文