×
莱斯哈德·侯赛尼;Sra，苏夫里特

随机黎曼优化的最新进展。 （英语） Zbl 1512.90149号

Grohs，Philipp（ed.）等人，《非线性几何数据变分方法手册》。查姆：斯普林格。527-554 (2020).
摘要：随机和有限和优化问题是机器学习的核心。这些问题的许多专门化涉及非线性约束，其中感兴趣的参数位于流形上。因此，随机流形优化算法近年来发展迅速，部分原因是其计算性能。本章概述了流形上的许多随机优化算法，从基本的随机梯度方法到更先进的方差减少随机方法。特别是，我们对收敛结果进行了统一总结。最后，我们还提供了这些方法用于机器学习问题的几个基本示例，包括高斯混合的学习参数、主成分分析和Wasserstein重心。
关于整个系列，请参见[Zbl 07115003号].

引用于1文件

MSC公司：

90立方厘米 随机规划
90碳48 抽象空间中的编程
62兰特 歧管统计
62H25个 因子分析和主成分；对应分析

关键词：

流形上的随机优化算法;收敛结果;机器学习问题;高斯混合模型的学习参数;主成分分析;瓦瑟斯坦重心

软件：

传奇;马诺普特;RTRMC公司
PDF格式BibTeX公司 XML格式引用
\textit{R.Hosseini}和\textit{S.Sra}，in：非线性几何数据变分方法手册。查姆：斯普林格。527--554（2020年；Zbl 1512.90149）
全文： 内政部

参考文献：

[1] Absil，P.A.，Mahony，R.，Sepulchre，R.：矩阵流形上的优化算法。普林斯顿大学出版社，普林斯顿（2009）·Zbl 1147.65043号
[2] Amari，S.I.：自然梯度在学习中有效发挥作用。神经计算。10(2), 251-276 (1998) ·doi:10.1162/08997669830017746
[3] Arnaudon，M.，Barbaresco，F.，Yang，L.：黎曼几何中的中介和均值：存在性、唯一性和计算。摘自：《矩阵信息几何》，第169-197页。柏林施普林格出版社（2013）·Zbl 1319.58008号
[4] Babanezhad，R.，Laradji，I.H.，Shafaei，A.，Schmidt，M.：Masaga：流形优化的线性收敛随机一阶方法。摘自：数据库中的机器学习和知识发现欧洲联合会议，第344-359页。柏林施普林格（2018）
[5] Bécigneul，G.，Ganea，O.E.：黎曼自适应优化方法（2018）。预打印.arXiv:181000760
[6] Bertsekas，D.P.：非线性规划，第二版。雅典娜科学，纳舒亚（1999）·Zbl 1015.90077号
[7] Bhatia，R.：正定矩阵。普林斯顿大学出版社，普林斯顿（2007）·Zbl 1133.15017号
[8] Bonnabel，S.：黎曼流形上的随机梯度下降。IEEE传输。自动。控制58（9），2217-2229（2013）·Zbl 1369.90110号 ·doi:10.1109/TAC.2013.2254619
[9] Boumal，N.，Absil，P.A.：RTRMC：低秩矩阵补全的黎曼信任区域方法。摘自：《神经信息处理系统进展》，第406-414页（2011年）
[10] Boumal，N.，Mishra，B.，Absil，P.A.，Sepulchre，R.：Manopt，一个用于歧管优化的matlab工具箱。J.马赫。学习。第15（1）号决议，1455-1459（2014）·Zbl 1319.90003号
[11] Boumal，N.，Absil，P.A.，Cartis，C.：流形上非凸优化的全局收敛速度。IMA J.数字。分析。39(1), 1-33 (2019) ·Zbl 1483.65092号
[12] Cherian，A.，Sra，S.：正定矩阵的黎曼字典学习和稀疏编码。IEEE传输。诺尔。净值。李尔。系统。28(12), 2859-2871 (2017) ·doi:10.1109/TNNLS.2016.2601307
[13] Defazio，A.，Bach，F.，Lacoste-Julien，S.：SAGA：支持非强凸复合目标的快速增量梯度方法。摘自：《神经信息处理系统的进展》，第1646-1654页（2014年）
[14] Fang，C.，Li，C.J.，Lin，Z.，Zhang，T.：蜘蛛：通过随机路径积分微分估计的近最优非凸优化。摘自：神经信息处理系统进展，第687-697页（2018年）
[15] Ghadimi，S.，Lan，G.：非凸随机规划的随机一阶和零阶方法。SIAM J.Optim公司。23（4），2341-2368（2013）·Zbl 1295.90026号 ·数字对象标识代码：10.1137/120880811
[16] Guadarrama：用加速梯度下降拟合大规模高斯混合。爱丁堡大学硕士论文（2018）
[17] Hosseini，R.，Sra，S.：高斯混合矩阵流形优化。摘自：《神经信息处理系统进展》，第910-918页（2015年）
[18] Hosseini，R.，Sra，S.：高斯混合模型的EM替代方案：分批和随机黎曼优化。数学。程序。(2019) ·Zbl 1441.62168号
[19] Huang，W.，Gallivan，K.A.，Absil，P.A.：黎曼优化的broyden类拟Newton方法。SIAM J.Optim公司。25（3），1660-1685（2015）·兹比尔1461.65156 ·数字对象标识代码：10.1137/140955483
[20] Jost，J.：黎曼几何和几何分析。柏林施普林格出版社（2011）·Zbl 1227.53001号 ·doi:10.1007/978-3642-21298-7
[21] Kasai，H.，Mishra，B.：黎曼流形上的非精确信赖域算法。摘自：《神经信息处理系统进展》，第4249-4260页（2018年）
[22] Kasai，H.、Sato，H.和Mishra，B.：黎曼随机递归梯度算法。摘自：机器学习国际会议，第2516-2524页（2018年）
[23] Kasai，H.、Sato，H.和Mishra，B.：方差减少的黎曼随机拟牛顿算法及其收敛性分析。摘自：第二十届第一届国际人工智能与统计会议，第84卷，第269-278页（2018年）
[24] Kasai，H.，Jawanpuria，P.，Mishra，B.：矩阵流形上的黎曼自适应随机梯度算法。摘自：机器学习国际会议，第3262-3271页（2019年）
[25] Kumar Roy，S.、Mhammedi，Z.、Harandi，M.：用于深度学习的几何感知约束优化技术。摘自：IEEE计算机视觉和模式识别会议记录，第4460-4469页（2018年）
[26] Liu，H.，So，A.M.C.，Wu，W.：正交约束下的二次优化：基于收缩的线性搜索和随机方差减少梯度方法的显式łojasiewicz指数和线性收敛性。数学。程序。1-48 (2018)
[27] Meyer，G.，Bonnabel，S.，Sepulchre，R.：固定秩约束下的线性回归：黎曼方法。参加：机器学习国际会议（2011年）·Zbl 1280.68185号
[28] Mishra，B.，Kasai，H.，Jawanpuria，P.，Saroop，A.：格拉斯曼流形上子空间学习的黎曼流言方法。机器。学习。108(10), 1783-1803 (2019) ·Zbl 1493.68309号 ·doi:10.1007/s10994-018-05775-x
[29] Nguyen，L.M.，Liu，J.，Scheinberg，K.，Takánch，M.：SARAH：使用随机递归梯度解决机器学习问题的新方法。摘自：国际机器学习会议，第2613-2621页（2017）
[30] Nguyen，L.M.，van Dijk，M.，Phan，D.T.，Nguyen，P.H.，Weng，T.W.，Kalagnanam，J.R.：具有SARAH的最优有限和光滑非凸优化。arXiv预印本arXiv:1901.07648（2019）
[31] Nielsen，F.，Bhatia，R.：矩阵信息几何。施普林格，柏林（2013）·Zbl 1252.94003号 ·doi:10.1007/978-3642-30232-9
[32] Reddi，S.J.，Hefny，A.，Sra，S.，Poczos，B.，Smola，A.：非凸优化的随机方差减少。摘自：机器学习国际会议，第314-323页（2016年）
[33] Zhang，H.，Reddi，S.，Sra，S.：黎曼SVRG:黎曼流形上的快速随机优化。摘自：《神经信息处理系统进展》，第4592-4600页（2016年）
[34] Rudi，A.，Ciliberto，C.，Marconi，G.，Rosasco，L.：流形结构预测。在：《神经信息处理系统进展》，第5610-5621页（2018）
[35] Sala，F.，De Sa，C.，Gu，A.，Re，C.：双曲线嵌入的表示权衡。In:机器学习国际会议，第80卷，第4460-4469页（2018）
[36] Sato，H.、Kasai，H.和Mishra，B.：具有收缩和向量传输的黎曼随机方差简化梯度算法。SIAM J.Optim公司。29(2), 1444-1472 (2019) ·Zbl 1421.90084号 ·doi:10.1137/17M1116787
[37] Sra，S.，Hosseini，R.：正定矩阵流形上的二次曲线几何优化。SIAM J.Optim公司。25(1), 713-739 (2015) ·Zbl 1316.65065号 ·doi:10.1137/140978168
[38] Sra，S.、Hosseini，R.、Theis，L.、Bethge，M.：椭圆伽马分布的数据建模。摘自：《人工智能与统计》，第903-911页（2015年）·Zbl 1466.62102号
[39] Vandereycken，B.：通过黎曼优化完成低秩矩阵。SIAM J.Optim公司。23(2), 1214-1236 (2013) ·Zbl 1277.15021号 ·数字对象标识代码：10.1137/10845768
[40] Weber，M.，Sra，S.：应用于Karcher和Wasserstein平均值的黎曼Frank-Wolfe方法。arXiv:1710.10770（2018）
[41] Xu，Z.，Gao，X.：基于黎曼优化的真块特征解算器。摘自：国际人工智能与统计会议，第168-177页（2018年）
[42] Yuan，X.，Huang，W.，Absil，P.A.，Gallivan，K.A.：计算对称正定矩阵的karcher平均值的黎曼拟Newton方法。佛罗里达州立大学技术报告员FSU17-02（2017）
[43] Zhang，H.，Sra，S.：大地凸优化的一阶方法。摘自：学习理论会议，第1617-1638页（2016）
[44] 张，J.，张，H.，Sra，S.：R-SPIDER：一种与曲率无关的快速黎曼随机优化算法。arXiv:1811.04194（2018）
[45] 周，P。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。