阿达格拉德 swMATH ID: 22202 软件作者: 约翰·杜奇(John Duchi);哈赞,埃拉德;歌手,约拉姆 描述: ADAGRAD:自适应梯度算法;在线学习和随机优化的自适应次梯度方法。我们提出了一系列新的次梯度方法,这些方法动态地结合了在早期迭代中观察到的数据的几何知识,以执行更具信息量的基于梯度的学习。隐喻地说,这种适应使我们能够在干草堆中以非常有预见性但很少见到的特征的形式找到针。我们的范式源于随机优化和在线学习的最新进展,它们使用近似函数来控制算法的梯度步长。我们描述并分析了一种用于自适应修改近端函数的设备,该设备大大简化了学习率的设置,并导致遗憾的保证,这些保证与事后可以选择的最佳近端函数一样好。对于具有常见且重要正则函数和域约束的经验风险最小化问题,我们给出了几种有效的算法。我们对我们的理论分析进行了实验研究,结果表明,自适应次梯度方法的性能优于最先进但非自适应的次梯度算法。 主页: http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf 关键词: 次梯度方法;适应性;在线学习;随机凸优化 相关软件: 亚当;阿达德尔塔;RMS公司;ImageNet公司;AlexNet公司;传奇;TensorFlow公司;PyTorch公司;CIFAR公司;L-BFGS公司;PRMLT公司;MNIST公司;伦敦银行支持向量机;达奇;新加坡元-QN;github;Scikit公司;DiffSharp(差异锐化);ElemStatLearn(电子状态学习);UCI-毫升 引用于: 266文件 标准条款 1出版物描述软件,包括1出版物在zbMATH中 年份 在线学习和随机优化的自适应次梯度方法。 Zbl 1280.68164号约翰·杜奇;埃拉德·哈赞;歌手,约拉姆 2011 全部的 前5名713位作者引用 5 Wen,Zaiwen先生 4 科比·克拉默 4 约翰·杜奇。 4 Aleksandr V.加斯尼科夫。 三 Frank E.柯蒂斯。 三 Dvurechensky,Pavel E。 三 谢尔盖·格拉顿 三 郭天德 三 塔布拉塔·迈蒂 三 安德烈·米尔扎雷克 三 弗朗西斯科·奥拉博纳 三 斯特凡诺·索托 三 菲利普·路易斯·托林特 三 徐东坡 三 徐阳阳 三 闫永贵 三 杨海照 三 袁亚香 2 弗朗西斯·巴赫。 2 阿纳斯·巴拉卡特 2 什里吉塔·巴塔查里亚 2 帕斯卡·比安奇 2 卜,开封 2 迈克尔·伯克哈特(Michael C.Burkhart)。 2 Chaudhari,普拉提克 2 陈杰 2 Dan O·克里斯安。 2 瓦伦丁·杜鲁修斯 2 罗纳德·费德昆(Ronald P.Fedkiw)。 2 罗伊·加西亚。 2 高桥高达 2 安东尼·戈迪孔·巴吉奥尼 2 爱德华·戈尔布诺夫 2 顾一琦 2 伊桑·哈希亚特 2 韩聪颖 2 韩德仁 2 埃拉德·哈赞 2 胡,江 2 胡耀华 2 伊杜卡,Hideaki 2 亚瑟·迈克尔·杰菲 2 江波 2 乔丹、迈克尔·欧文 2 鲁本·胡安斯 2 乔治·埃姆·卡尼亚达基斯 2 Vojtech公司Kejzlar 2 瓦塔鲁基塔德 2 雨果·拉罗谢尔 2 李在洪 2 雷丽华 2 梅尔文·莱克 2 刘海良 2 刘金兰 2 刘燕 2 安娜·M·马丁内斯。 2 Mobasher,Mostafa E。 2 爱德华·莫罗什科 2 Trung Nguyen-Thoi 2 Nguyen,Lam M。 2 豪尔赫·诺塞达尔 2 亚当·奥伯曼。 2 斯坦利·乔尔·奥斯尔 2 多维德·帕尔 2 潘蒂迪斯、帕诺斯 2 帕诺斯·帕达洛斯(Panos M.Pardalos)。 2 塞奥尼奥公园 2 爱德华·让·罗伯特 2 佩迪卡里斯,巴黎G。 2 Phan,Dzung T。 2 彼得·里奇塔里克 2 弗雷德·罗斯塔 2 冯阮 2 拉斯·鲁索托 2 卡蒂亚·申伯格 2 马克·施密特 2 内森·斯雷布罗 2 孙涛 2 塔卡奇,马丁 2 Tam T.Truong。 2 王,肖 2 徐一波 2 杨晓琦 2 Yu,Carisa郭伟 1 亚历山德罗·阿巴特 1 马西尔·阿查布 1 阿德耶米·阿德约耶。 1 阿多索格鲁,乔治 1 阿列克·阿加瓦尔 1 纳曼阿加瓦尔 1 查鲁·C·阿加瓦尔。 1 埃多尔多·艾罗尔迪(Edoardo M.Airoldi)。 1 阿贾坎,哈娜 1 奥默·丹尼斯·阿基尔迪斯 1 萨欣·阿尔拜拉克 1 哈维尔·阿隆索·莫拉 1 海萨姆·布·阿马尔 1 亚历山大·阿提基斯 1 乔纳森·阿什布罗克 1 雷扎·巴巴尼扎德 ……还有613位作者 全部的 前5名103篇连载文章中引用 21 机器学习研究杂志(JMLR) 15 SIAM优化杂志 14 机器学习 12 神经网络 10 计算物理杂志 10 统计与计算 9 应用力学与工程中的计算机方法 8 神经计算 7 优化方法和软件 6 全球优化杂志 6 数学编程。A系列B系列 6 SIAM科学计算杂志 5 计算优化与应用 5 中国运筹学会学报 4 信息科学 4 理论计算机科学 三 美国统计协会杂志 三 最优化理论与应用杂志 三 模拟中的数学和计算机 三 计算统计与数据分析 三 计算物理中的通信 三 SIAM成像科学杂志 2 统计学年鉴 2 计算与应用数学杂志 2 微分方程杂志 2 国际近似推理杂志 2 科学计算杂志 2 数值算法 2 欧洲运筹学杂志 2 数学与人工智能年鉴 2 计算地球科学 2 高能物理杂志 2 量子信息处理 2 国际计算方法杂志 2 优化信函 2 数学地球科学 2 数学规划计算 1 美国统计学家 1 人工智能 1 加拿大统计杂志 1 计算机与数学及其应用 1 反问题 1 富兰克林学院学报 1 物理报告 1 计算数学 1 Automatica公司 1 生物计量学 1 运筹学数学 1 麦加尼卡 1 运营研究信件 1 中国数学年鉴。B系列 1 计算数学杂志 1 统计 1 优化 1 顺序分析 1 统计科学 1 伊比利亚美洲马提卡修道院 1 计算机与运筹学 1 计算力学 1 SIAM矩阵分析与应用杂志 1 多维系统及信号处理 1 计算数学和数学物理 1 应用数学建模 1 统计计算与模拟杂志 1 SIAM审查 1 数学成像与视觉杂志 1 国际计算机视觉杂志 1 计算与应用数学 1 反问题与不适定问题杂志 1 边界元工程分析 1 美国计算机学会模型和计算机仿真汇刊 1 INFORMS计算机杂志 1 数据挖掘与知识发现 1 CEJOR公司。中欧运筹学杂志 1 洛巴切夫斯基数学杂志 1 工程计算方法档案 1 系统科学与复杂性杂志 1 自然计算 1 国际小波、多分辨率和信息处理杂志 1 地中海数学杂志 1 计算管理科学 1 统计力学杂志:理论与实验 1 数学生物科学与工程 1 工业与管理优化杂志 1 逆问题与成像 1 电子统计杂志 1 离散数学、算法和应用 1 几何力学杂志 1 科学中国。信息科学 1 计算与图形统计杂志 1 随机和偏微分方程。分析和计算 1 SIAM/ASA不确定性量化杂志 1 数学科学研究 1 开放数学 1 应用数学年鉴 1 数据科学与自适应分析进展 1 非线性与变分分析杂志 1 计算的数学基础 1 日本统计与数据科学杂志 1 SIAM数据科学数学杂志 …还有3部连续剧 全部的 前5名30个领域被引用 132 计算机科学(68-XX) 121 运筹学、数学规划(90-XX) 86 数值分析(65-XX) 69 统计学(62-XX) 19 变分法与最优控制;最优化(49-XX) 11 偏微分方程(35-XX) 11 系统论;控制(93至XX) 10 可变形固体力学(74-XX) 8 概率论与随机过程(60-XX) 8 生物学和其他自然科学(92-XX) 7 信息与通信理论、电路(94-XX) 6 动力系统和遍历理论(37至XX) 6 流体力学(76-XX) 5 量子理论(81-XX) 4 线性代数和多线性代数;矩阵理论(15-XX) 4 常微分方程(34-XX) 三 算子理论(47-XX) 三 粒子和系统力学(70-XX) 三 地球物理学(86-XX) 三 博弈论、经济学、金融和其他社会和行为科学(91-XX) 2 统计力学,物质结构(82-XX) 1 总体主题;集合(00-XX) 1 数论(11-XX) 1 范畴理论;同调代数(18-XX) 1 实函数(26年X月X日) 1 复变量的函数(30年XX月) 1 近似值和展开值(41至XX) 1 功能分析(46倍X倍) 1 凸和离散几何(52至XX) 1 代数拓扑(55-XX) 按年份列出的引文