×
亚历杭德罗·马斯。;克里斯·曼齐;德拉甘·内什奇;乔纳森·曼顿。;伊曼·谢姆斯

在线零阶欧氏和黎曼优化的跟踪和遗憾界。 （英语） Zbl 07516283号

SIAM J.Optim公司。 32，编号2，445-469（2022）.
摘要：我们研究了利用零阶信息最小化黎曼流形上时变大地凸代价函数的数值优化算法。在欧几里德环境下，零阶算法在时变和时不变情况下都受到了广泛关注。然而，对黎曼流形的推广却不太成熟。我们主要研究Hadamard流形，它是一类特殊的黎曼流形，具有全局非正曲率，为凸性概念的推广提供了方便的依据。具体来说，我们推导了期望瞬时跟踪误差的界，并提供了最小化算法性能的算法参数值。我们的结果说明了流形几何在截面曲率方面是如何影响这些边界的。此外，我们还为该在线优化设置提供了动态后悔界限。据我们所知，即使是欧几里得版本的问题，这些也是第一个后悔界。最后，通过数值模拟，我们证明了我们的算法对在线Karcher均值问题的适用性。

MSC公司：

68T05型 人工智能中的学习和自适应系统
68问题32 计算学习理论
90C25型 凸面编程
90 C56 无导数方法和使用广义导数的方法

关键词：

在线优化;阿达玛歧管;随机零阶预言

软件：

矩阵均值工具箱;马德姆;马诺普特
PDF格式BibTeX公司 XML格式引用
\textit{A.I.Maass}等人，SIAM J.Optim。32，编号2445-469（2022；兹bl 07516283）
全文： 内政部 arXiv公司

参考文献：

[1] P.-A.Absil、R.Mahony和R.Sepulchre，矩阵流形上的优化算法，普林斯顿大学出版社，新泽西州普林斯顿，2009年·Zbl 1147.65043号
[2] M.O.Ahmed、S.Vaswani和M.Schmidt，结合贝叶斯优化和Lipschitz优化，马赫。学习。，109（2020年），第79-102页·Zbl 1446.90129号
[3] V.Arsigny、P.Fillard、X.Pennec和N.Ayache，对称正定矩阵上新型向量空间结构的几何平均值，SIAM J.Matrix Ana。申请。，29（2007），第328-347页·Zbl 1144.47015号
[4] M.Bacaík，Hadamard空间中的凸分析与优化，De Gruyter Ser。非线性分析。申请。22，De Gruyter，柏林，2014年·Zbl 1299.90001号
[5] M.Berger，《黎曼几何全景图》，施普林格，柏林，2012年·Zbl 1038.53002号
[6] O.Besbes、Y.Gur和A.Zeevi，非静态随机优化，Oper。研究，63（2015），第1227-1244页·Zbl 1338.90280号
[7] D.A.Bini和B.Iannazzo，计算对称正定矩阵的Karcher均值，线性代数应用。，438（2013），第1700-1710页·Zbl 1268.15007号
[8] R.L.Bishop和B.O'Neill，负曲率流形，Trans。阿默尔。数学。Soc.，145（1969），第1-49页·Zbl 0191.5202号
[9] S.Bonnabel，黎曼流形上的随机梯度下降，IEEE Trans。自动化。控制，58（2013），第2217-2229页·Zbl 1369.90110号
[10] C.J.Bordin Jr、C.G.de Figueredo和M.G.Bruno，使用流形粒子滤波对单位球体进行非线性状态估计，数字。信号处理。，81（2018），第50-56页。
[11] N.Boumal，P.-A.A.Absil和C.Cartis，流形上非凸优化的全局收敛速度，IMA J.Numer。分析。，39（2019），第1-33页·Zbl 1483.65092号
[12] N.Boumal、B.Mishra、P.-A.Absil和R.Sepulchre，MANOPT，一个用于流形优化的MATLAB工具箱，J.Mach。学习。Res.，15（2014），第1455-1459页·兹比尔1319.90003
[13] T.Bouwmans、S.Javed、H.Zhang、Z.Lin和R.Otazo，《关于鲁棒PCA在图像和视频处理中的应用》，Proc。IEEE，106（2018），第1427-1457页。
[14] S.Bubeck和N.Cesa-Bianchi，随机和非随机多臂盗贼问题的后悔分析，预印本，arXiv:1204.57212012·Zbl 1281.91051号
[15] G.A.Bunin和G.François，实验优化中的Lipschitz常数，预印本，arXiv:1603.078472016。
[16] A.Chattopadhyay，S.E.Selvan和U.Amato，无导数黎曼-鲍威尔方法，最小化基于Hartley熵的ICA对比度，IEEE Trans。神经网络。学习。系统。，27（2015），第1983-1990页。
[17] P.-Y.Chen、H.Zhang、Y.Sharma、J.Yi和C.-J.Xieh，《动物园：基于零阶优化的黑盒攻击，无需训练替代模型，深度神经网络》，载《第十届ACM人工智能与安全研讨会论文集》，2017年，第15-26页。
[18] S.Chen、Z.Deng、S.Ma和A.M.-C.So，双重主成分追踪和正交字典学习的流形近点算法，《2019年第53届信号、系统和计算机Asilomar会议论文集》，IEEE，2019年，第259-263页。
[19] S.Chen，S.Ma，A.Man-Cho So，T.Zhang，Stiefel流形上非光滑优化的近似梯度法，SIAM J.Optim。，30（2020年），第210-239页·Zbl 1434.90195号
[20] T.Chen和G.B.Giannakis，可扩展和动态物联网管理的Bandit凸优化，IEEE Internet Things J.，6（2018），第1276-1286页。
[21] C.K.Chiang、C.J.Lee和C.J.Lu，《在逐渐演变的世界中击败强盗》，《第26届学习理论年会论文集》，JMLR，2013年，第210-227页。
[22] J.Derenick、J.Spletzer和A.Hsieh，《具有性能保证的协同目标跟踪的最佳方法》，J.Intell。机器人。系统。，56（2009），第47-67页·Zbl 1203.68177号
[23] R.Dixit、A.S.Bedi、R.Tripathi和K.Rajawat，用不精确的近端在线梯度下降算法进行在线学习，IEEE Trans。信号处理。，67（2019年），第1338-1352页·Zbl 1414.90282号
[24] G.Dong和G.Kuang，基于黎曼流形分类的SAR图像目标识别，IEEE Geosci。遥感快报。，12（2014年），第199-203页。
[25] D.W.Dreisigmeyer，约化齐次空间上的直接搜索方法，J.Optim。理论应用。，176（2018），第585-604页·Zbl 06872627号
[26] F.Feppon和P.F.Lermusiaux，跟踪非线性矩阵投影的动力学系统的外部几何，SIAM J.matrix Anal。申请。，40（2019年），第814-844页·Zbl 07099843号
[27] P.T.Fletcher和S.Joshi，扩散张量数据统计分析的黎曼几何，信号处理。，87（2007），第250-262页·Zbl 1186.94126号
[28] R.S.Fong和P.Tino，黎曼流形上的随机无导数优化，预印本，arXiv:1908.067832019。
[29] X.Gao、X.Li和S.Zhang，在线学习与非凸损失和非平稳遗憾，《人工智能与统计国际会议论文集》，Proc。机器。学习。研究（PMLR）84，JMLR，马萨诸塞州坎布里奇，2018年，第235-243页。
[30] A.Grigor’yan和E.Hsu，Cartan-Hadamard流形上布朗运动的体积增长和逃逸率，收录于数学II中的Sobolev空间，Springer，纽约，2009年，第209-225页·Zbl 1167.58019号
[31] E.C.Hall和R.M.Willett，动态环境中的在线凸优化，IEEE J.Select。顶部。信号处理。，9（2015），第647-662页。
[32] E.Hazan，《在线凸优化简介》，预印本，arXiv:1909.052072019年。
[33] E.Hazan和E.Minasyan，《更快的无投影在线学习》，第33届学习理论会议论文集，Proc。机器。学习。研究（PMLR）125，JMLR，马萨诸塞州剑桥，2020年，第1877-1893页。
[34] 徐永平，流形的随机分析，理论。数学。物理学。38，美国数学学会，罗得岛普罗维登斯，2002年·Zbl 0994.58019号
[35] A.S.Ira、C.Manzie、I.Shames、R.Chin、D.Nešicí、H.Nakada和T.Sano，通过专家强盗反馈调节多变量模型预测控制器，国际。《控制杂志》，94（2021），第2650-2658页·Zbl 1478.93169号
[36] H.Kasai、H.Sato和B.Mishra，黎曼随机递归梯度算法，《第35届机器学习国际会议论文集》，JMLR，2018年，第2516-2524页。
[37] A.Kovnatsky、K.Glashoff和M.M.Bronstein，MADMM:流形非光滑优化的通用算法，《第14届欧洲计算机视觉会议论文集》，Springer，2016年，第680-696页。
[38] S.A.Kurtek、A.Srivastava和W.Wu，《随机时间扭曲和非线性信号对齐下的信号估计》，摘自《神经信息处理系统进展》23，Curran Associates，Red Hook，NY，2011年，第675-683页。
[39] J.Li、K.Balasubramanian和S.Ma，随机零阶黎曼导数估计与优化，预印本，arXiv:2003.112382020。
[40] X.Li，S.Chen，Z.Deng，Q.Qu，Z.Zu，和A.M.C.So，使用黎曼次梯度类型方法的Stiefel流形上的弱凸优化，预印本，arXiv:1911.050472019·Zbl 1505.65216号
[41] D.Malik、A.Pananjady、K.Bhatia、K.Khamaru、P.Bartlett和M.Wainwright，《政策优化的无导数方法：线性二次系统的保证》，载《第22届国际人工智能与统计会议论文集》，Proc。机器。学习。研究（PMLR）89，JMLR，马萨诸塞州坎布里奇，2019年，第2916-2925页·Zbl 1498.93784号
[42] H.Mania、A.Guy和B.Recht，静态线性策略的简单随机搜索对于强化学习具有竞争力，摘自《神经信息处理系统进展》31，Curran Associates，Red Hook，NY，2018年，第1800-1809页。
[43] J.H.Manton，利用酉约束的优化算法，IEEE Trans。信号处理。，50（2002），第635-650页·Zbl 1369.90169号
[44] A.Mokhtari、S.Shahrampour、A.Jadbabaie和A.Ribeiro，《动态环境中的在线优化：强凸问题的改进后悔率》，载于2016年IEEE第55届决策与控制会议（CDC），IEEE，2016年，第7195-7201页。
[45] Y.Nesterov和V.Spokoiny，凸函数的随机无梯度最小化，Found。计算。数学。，17（2017），第527-566页·Zbl 1380.90220号
[46] F.Nielsen和R.Nock，《双曲Voronoi图简化》，载于《2010年计算科学及其应用国际会议论文集》，IEEE，2010年，第74-80页。
[47] K.Onishi和J.-I.Itoh，单连通完备流形中的Voronoi图，IEICE Trans。芬丹。电子。Commun公司。计算。科学。，85（2002），第944-948页。
[48] X.Pennec、P.Fillard和N.Ayache，张量计算的黎曼框架，国际。J.计算。视觉。，66（2006），第41-66页·Zbl 1287.53031号
[49] M.J.Powell，一种在不计算导数的情况下找到几个变量的函数的最小值的有效方法，Comput。J.，7（1964），第155-162页·Zbl 0132.11702号
[50] Y.Rathi、A.Tannenbaum和O.Michailovich，张量流形上的图像分割，《2007年IEEE计算机视觉和模式识别会议论文集》，IEEE，2007年，第1-8页。
[51] S.Said、L.Bombrun、Y.Berthoumieu和J.H.Manton，对称正定矩阵空间上的黎曼高斯分布，IEEE Trans。通知。《理论》，63（2017），第2153-2170页·兹比尔1366.15029
[52] S.Said、N.Le Bihan和J.H.Manton，《从贝叶斯推断到MCMC和Hadamard流形中的凸优化》，《第五届信息几何科学国际会议论文集》，施普林格，2021年，第3-11页·Zbl 07495196号
[53] H.Sato和K.Sato，基于黎曼梯度的对称正定矩阵线性系统在线辨识方法，载于《2019年IEEE第58届决策与控制会议（CDC）论文集》，IEEE，2019年，第3593-3598页。
[54] A.Seíguin和D.Kressner，《黎曼优化的连续方法及其在低秩矩阵完成中的应用》，预印本，arXiv:2106.088392021。
[55] S.Shalev-Shwartz，在线学习和在线凸优化，发现。趋势马赫。学习。，4（2011年），第107-194页·Zbl 1253.68190号
[56] I.Shames、D.Selvaratnam和J.H.Manton，使用零阶预言机进行在线优化，IEEE控制系统。莱特。，4（2019年），第31-36页。
[57] A.Simonetto、E.Dall'Anese、S.Paternain、G.Leus和G.B.Giannakis，《时间变量凸优化：时间结构算法和应用》，Proc。IEEE，4（2019），第31-36页。
[58] J.Sun、Q.Qu和J.Wright，《球面上的完整字典恢复II：通过黎曼信任区域方法恢复》，IEEE Trans。通知。《理论》，63（2016），第885-914页·Zbl 1364.94165号
[59] O.Tuzel、F.Porikli和P.Meer，通过黎曼流形分类进行行人检测，IEEE Trans。模式分析。机器。整数。，30（2008），第1713-1727页。
[60] C.Udriste，黎曼流形上的凸函数和优化方法，数学。申请。297，施普林格，多德雷赫特，荷兰，2013年·Zbl 0932.53003号
[61] B.Vandereycken，通过黎曼优化完成低秩矩阵，SIAM J.Optim。，23（2013），第1214-1236页·Zbl 1277.15021号
[62] N.Vaswani、T.Bouwmans、S.Javed和P.Narayanamurthy，稳健子空间学习：稳健PCA、稳健子空间跟踪和稳健子空间恢复，IEEE信号处理。Mag.，35（2018），第32-55页。
[63] B.Wang，S.Ma，and L.Xue，Stiefel流形上非光滑优化的黎曼随机近似梯度方法，预印本，arXiv:2005.01209。
[64] M.Weber和S.Sra，黎曼流形上的无投影非凸随机优化，预印本，arXiv:1910.041942019。
[65] T.Yang、L.Zhang、R.Jin和J.Yi，《追踪缓慢移动的洞察力：具有真实和噪音梯度的在线学习的最佳动态遗憾》，《第33届机器学习国际会议论文集》，JMLR，2016年，第449-457页。
[66] H.Zhang，S.J.Reddi和S.Sra，黎曼SVRG:黎曼流形上的快速随机优化，摘自《神经信息处理系统的进展》29，Curran Associates，Red Hook，NY，2016年，第4592-4600页。
[67] H.Zhang和S.Sra，测地凸优化的一阶方法，《第29届学习理论年会论文集》，JMLR，2016年，第1617-1638页。
[68] L.Zhang、T.Yang、R.Jin和Z.-H.Zhou，强自适应方法的动态遗憾，第35届机器学习国际会议论文集，Proc。机器。学习。研究（PMLR）80，JMLR，马萨诸塞州剑桥，2018年，第5882-5891页。
[69] 周平，袁晓元，严S.，冯J.，黎曼流形上随机非凸优化的快速一阶方法，IEEE Trans。模式分析。机器。整数。，43（2021年），第459-472页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。