阿达格雷

自适应梯度算法;在线学习和随机优化的自适应次梯度方法。我们提出了一个新的家庭梯度梯度方法,动态地结合在早期迭代中观察到的数据的几何知识,以执行更多信息的基于梯度的学习。隐喻性地,适应使我们能够以非常有预见性但很少见到的特征在草垛中找到针头。我们的范例源于随机优化和在线学习的最新进展,它采用了近端函数来控制算法的梯度步长。我们描述和分析了一种自适应修改近端函数的装置,它大大简化了设置学习速率,并导致后悔保证,可以证明是最好的近端功能,可以在事后选择。我们给出了几种具有共同重要的正则化函数和域约束的经验风险最小化问题的有效算法。我们实验研究了我们的理论分析,并表明自适应次梯度方法优于现有的最先进的,但非自适应,次梯度算法。


ZBMaX中的参考文献(81篇)1标准条款

显示结果1至20的81。
按年份排序(引文
  1. Joulani,Pooria;GyoOrrGy,安德烈斯;SZEPSVA.Ri,Csaba:自适应(非)凸优化的模块化分析:乐观、复合目标、方差减少和变分界(2020)
  2. KISAS,Georgios;杨,Yibo;Hwuang,爱琳;威特希,Walter R.;DeRe,John A.;Peldikasi,巴黎:心血管流建模中的机器学习:利用物理知情神经网络预测非侵入性4D流MRI数据中的动脉血压(2020)
  3. KOT-OOSKI,WojiCi:规模不变的无约束在线学习(2020)
  4. 宁,Hanwen;张,嘉明;冯,婷婷;储,Eric King华;田,Tianhai:基于控制的高维在线学习算法(2020)
  5. PalaGi,劳拉;SeCIA,RuGielo:训练深度神经网络的块层分解方案(2020)
  6. 帕克特,考特尼;Scheinberg,Katya:一种具有期望复杂性分析的随机线搜索方法(2020)
  7. Rius Sorolla,G,MaHutt,J;Coronado Hernandez,Jairo R.;Garcia Sabater,J. P.:通用材料拉格朗日松弛和操作规划模型(2020)
  8. Cichosz,PAWE:讨论论坛文章的文本挖掘:用词袋和全局向量分类(2019)
  9. 海因莱因,亚力山大;KLAWON,阿克塞尔;兰泽,马丁;Weber,JiNin:自适应区域分解方法中的机器学习——预测约束的几何位置(2019)
  10. 荷兰,Matthew J.;IKDA,Kazushi:具有强梯度下降的高效学习(2019)
  11. 胡,Yaohua;余,Carisa Kwok Wai;杨,Xiaoqi:拟凸函数求和的增量拟次梯度方法(2019)
  12. Kawashima,Takayuki;藤泽,Hironori:随机优化下广义线性模型的稳健和稀疏回归(2019)
  13. Kovachki,尼古拉B;StuART,Andrew M.:集合卡尔曼反演:机器学习任务的无导数技术(2019)
  14. Krishnamurthy,Aksay. Agavar,Alkh;黄,Tzu Kuo;III,Hal-DauMe;Langford,约翰:成本敏感分类的主动学习(2019)
  15. 罗,Zhijian;钱,云涛:方差减少的随机子采样牛顿方法(2019)
  16. Michelioudakis,Evangelos;AtdikIS,亚力山大;Paliouras,Georgios:复合事件识别的半监督在线结构学习(2019)
  17. Milzarek,安德烈;肖,仙桃市;岑,Shicong;文,Zaiwen;Ulbrich,米迦勒:非光滑非凸优化的随机半光滑牛顿法(2019)
  18. 鲍威尔,Warren B.:随机优化的统一框架(2019)
  19. 孙,陶;巴里奥,罗伯托;江,郝;程,Lizhi:独立噪声下加速近端梯度算法的收敛速度(2019)
  20. Wilson,克雷格;Bu,Yuheng;韦拉瓦利,Venugopal V.:自适应顺序机器学习(2019)