阿达格勒

ADAGRAD:自适应梯度算法;用于在线学习和随机优化的自适应次梯度方法。我们提出了一个新的亚梯度方法家族,动态地结合在早期迭代中观察到的数据的几何知识,以执行更具信息量的基于梯度的学习。隐喻地说,这种改编让我们能够在大海捞针中找到非常有预见性但很少见到的特征。我们的范例来源于随机优化和在线学习的最新进展,它们利用最近的函数来控制算法的梯度步长。我们描述并分析了一种自适应修改近端函数的装置,该装置大大简化了学习速率的设置,并产生了后悔保证,其效果与事后可选择的最佳近端函数一样好。我们给出了几种求解经验风险最小化问题的有效算法。我们实验研究了我们的理论分析,并表明自适应次梯度方法优于最新的,但非自适应的,次梯度算法。


zbMATH参考文献(参考 89篇文章 参考,第1条标准)

显示第1到第20个结果,共89个。
按年份排序(引用)
  1. Erway,Jennifer B.;Griffin,Joshua;Marcia,Roummel F.;Omheni,Riadh:用于训练响应的信赖域算法:使用不确定Hessian近似的机器学习方法(2020)
  2. Joulani,Pooria;György,András;Szepesvári,Csaba:自适应(非)凸优化的模块化分析:乐观主义、复合目标、方差缩减和变分界(2020)
  3. Kissas,Georgios;Yang,Yibo;Hwang,Eileen;Witschey,Walter R.;Detre,John A.;Perdikaris,Paris:心血管血流建模中的机器学习:使用物理信息神经网络从无创4D流量MRI数据预测动脉血压(2020年)
  4. Kotłowski,Wojciech:尺度不变无约束在线学习(2020)
  5. Kylasa,Sudhir;Fang,Chih Hao;Roosta,Fred;Grama,Ananth:机器学习的并行优化技术(2020)
  6. 雷丽华;乔丹,迈克尔I.:基于随机梯度优化的自适应性(2020)
  7. 宁汉文;张嘉明;冯婷婷;朱丽晶;田天海:基于控制的高维在线学习算法(2020)
  8. Palagi,Laura;Seccia,Ruggiero:用于训练深层神经网络的块层分解方案(2020)
  9. Paquette,Courtney;Scheinberg,Katya:具有预期复杂性分析的随机线搜索方法(2020)
  10. Rius Sorolla,G.;Maheut,J.;Coronado Hernandez,Jairo R.;Garcia Sabater,J.P.:通用材料和运营规划模型的拉格朗日松弛(2020年)
  11. Ruehle,Fabian:数据科学在弦理论中的应用(2020)
  12. Wang,Yi;Zhang,Hao;Chae,Kum Ju;Choi,Younhee;Jin,Gong Yong;Ko,Seok Bum:用于改进CT肺结节分类的新型卷积神经网络结构(2020年)
  13. 叶立峰;贝斯科斯,亚历山德罗斯;德奥里奥,玛丽亚;郝洁:蒙特卡罗坐标上升变分推断(2020)
  14. 臧耀华;鲍刚;叶晓静;周浩民:高维偏微分方程的弱对抗网络(2020)
  15. Cichosz,Paweł:论坛帖子文本挖掘的案例研究:单词袋和全局向量分类(2019)
  16. Heinlein,Alexander;Klawonn,Axel;Lanser,Martin;Weber,Janine:自适应区域分解方法中的机器学习——预测约束的几何位置(2019)
  17. Holland,Matthew J.;Ikeda,Kazushi:稳健梯度下降的有效学习(2019)
  18. 胡耀华;俞佳华;郭伟;杨晓琪:最小化拟凸函数和的增量拟次梯度法(2019)
  19. Kawashima,Takayuki;Fujisawa,Hironori:随机优化广义线性模型中的稳健稀疏回归(2019)
  20. Kovachki,Nikola B.;Stuart,Andrew M.:集合卡尔曼反演:机器学习任务的无导数技术(2019年)