亚历山大·诺维科夫;马克西姆·拉库巴;伊凡·奥塞莱德茨 低秩矩阵和张量列流形上黎曼优化的自动微分。 （英语） Zbl 1495.65083号 SIAM J.科学。计算。 44，编号2，A843-A869（2022）. 摘要：在科学计算和机器学习应用中，矩阵和更一般的多维数组（张量）通常可以借助低阶分解进行近似。由于固定秩的矩阵和张量形成光滑黎曼流形，因此寻找低秩近似的常用工具之一是使用黎曼优化。然而，有效实现黎曼优化算法所需的黎曼梯度和Hessian，在实践中可能是一项重要的任务。此外，在某些情况下，甚至没有可用的解析公式。本文建立在自动微分的基础上，提出了一种方法，在给定要最小化的函数的实现后，有效地计算近似黎曼-黑森函数与给定向量之间的黎曼梯度和矩阵-向量乘积。 MSC公司： 65千5 数值数学规划方法 15A69号 多线性代数，张量演算 53对21 局部黎曼几何方法 关键词：自动微分;黎曼优化;低阶近似;张量应变分解 软件：TensorLy公司;派马诺普;t3f型;TT工具箱;github;DiffSharp（差异锐化）;TensorFlow公司;mpnum（英里数）;自动HOOT;数字Py PDF格式BibTeX公司 XML格式引用 \textit{A.Novikov}等人，SIAM J.Sci。计算。44，2号，A843-A869（2022；兹bl 1495.65083） 全文： 内政部 arXiv公司 参考文献： [1] S.Holtz、T.Rohwedder和R.Schneider，关于固定TT-rank张量的流形，Numer。数学。，120（2012），第701-731页·兹比尔1242.15022 [2] P.-A.Absil、R.Mahony和R.Sepulchre，《矩阵流形上的优化算法》，普林斯顿大学出版社，新泽西州普林斯顿，2008年·Zbl 1147.65043号 [3] P-A Absil、R.Mahony和J.Trumpf，《从外部看黎曼-黑森（Riemannian Hessian）》，《信息几何科学国际会议论文集》，纽约斯普林格，2013年，第361-368页·Zbl 1323.53014号 [4] D.Kressner、M.Steinlechner和B.Vandereycken，张量积结构线性系统的预处理低阶黎曼优化。SIAM J.科学。计算。，38（2016），第A2018-A2044页·Zbl 1382.65089号 [5] B.Vandereycken和S.Vandewalle，计算Lyapunov方程低阶解的黎曼优化方法，SIAM J.矩阵分析。申请。，31（2010），第2553-2579页·Zbl 1221.65108号 [6] M.Rakhuba和I.Oseledets，低秩矩阵流形上的Jacobi-Davidson方法，SIAM J.Sci。计算。，40（2018年），第A1149-A1170页·Zbl 1386.65113号 [7] M.Abadi、A.Agarwal、P.Barham、E.Brevdo、Z.Chen、C.Citro、G.S.Corrado、A.Davis、J.Dean、M.Devin、S.Ghemawat、I.Goodfellow、A.Harp、G.Irving、M.Isard、Y.Jia、R.Jozefowicz、L.Kaiser、M.Kudlur、J.Levenberg、D.Mané、R.Monga、S.Moore、D.Murray、C.Olah、M.Schuster、J.Shlens、B.Steiner、I.Sutskever、K.Talwar、P.Tucker、V。Vanhoucke，V.Vasudevan，F.Vieígas，O.Vinyals，P.Warden，M.Wattenberg，M.Wicke，Y.Yu，X.Zheng，《TensorFlow:异构系统上的大规模机器学习》，2015年；软件可从https://tensorflow.org。 [8] J.Kossaifi、Y.Panagakis、A.Anandkumar和M.Pantic，《Tensorly:Tensor Learning in Python》，预印本，arXiv:1610.095552016年。 [9] I.V.Oseledets、S.Dolgov、V.Kazeev、D.Savostyanov、O.Lebedeva、P.Zhlobich、T.Mach和L.Song，TT-Toolbox，2011年；可在线访问https://github.com/oseledets/TT-Toolbox。 [10] L.Ma、J.Ye和E.Solomonik，《Autohoot:张量的自动高阶优化》，载《ACM并行架构和编译技术国际会议论文集》，2020年，第125-137页。 [11] D.Suess和M.Holzaïpfel，mpnum：python的矩阵乘积表示库，J.开源软件，2（2017），第465页。 [12] J.Townsend，N.Koep和S.Weichwald，Pymanopt:使用自动微分优化流形的python工具箱，《机器学习研究杂志》，17（2016），第4755-4759页·Zbl 1416.65580号 [13] H.Sommer、C.Pradalier和P.Furgale，《可微流形上的自动微分作为机器人学的工具》，机器人研究，Springer，纽约，2016年，第505-520页。 [14] L.Koppel和S.L Waslander，《C++中具有快速自动导数和坐标系语义检查的流形几何》，预印本，arXiv:1805.01810，2018年。 [15] M.Psenka和N.Boumal，带固定张量-应变秩张量的二阶优化，预印本，arXiv:2011.33952020。 [16] W.Gander、M.J Gander和F.Kwok，《科学计算——使用Maple和MATLAB的简介》，《计算中的文本》。科学。工程11，Springer，纽约，2014年·Zbl 1296.65001号 [17] C.C.Margossian，《自动分化及其有效实施综述》，载于《威利跨学科评论：数据挖掘和知识发现》，第9期（2019年），第1305页。 [18] A.Griewank和A.Walther，《评估衍生品：算法区分的原理和技术》，SIAM，费城，2008年·兹比尔1159.65026 [19] P.A.Absil和I.V.Oseledets，《低水位回缩：调查和新结果》，计算。最佳方案。申请。，62（2015），第5-29页·Zbl 1334.90202号 [20] M.V.Rakhuba和I.V.Oseledets，低秩矩阵流形上的Jacobi-Davidson方法，SIAM J.Sci。计算。，40（2018年），第A1149-A1170页·Zbl 1386.65113号 [21] J.M Lee，光滑流形导论，Grad。数学课文。218，Springer，纽约，2003年。 [22] B.Vandereycken，通过黎曼优化完成低秩矩阵，SIAM J.Optim。，23（2013），第1214-1236页·Zbl 1277.15021号 [23] I.V.Oseledets，张量-应变分解，SIAM J.Sci。计算。，33（2011年），第2295-2317页·Zbl 1232.15018号 [24] M.Steinlechner，用于解决具有低秩张量结构的高维问题的黎曼优化，创建空间，斯科茨谷，CA，2016·Zbl 1352.65129号 [25] T.E.Oliphant，《NumPy指南》，Trelgol出版社，美国，2006年。 [26] A.G.Baydin、B.A.Pearlmutter、A.A.Radul和J.M.Siskind，《机器学习中的自动差异化：调查》，J.Mach。学习。研究，18（2017），第5596-5637页·Zbl 06982909号 [27] W.Hackbusch和B.N.Khoromskij，多维非局部算子的Low-rank Kronecker product近似。I.多元函数的可分离近似，《计算》，76（2006），第177-202页·Zbl 1087.65049号 [28] B.N.Khoromskij，张量结构预条件与（mathbb{R}^d）中椭圆算子的近似逆，Constr。约，30（2009），第599-620页·Zbl 1185.65051号 [29] B.A.Pearlmutter，黑森快速精确乘法，神经计算。，6（1994），第147-160页。 [30] A.Novikov、P.Izmailov、V.Khrulkov、M.Figurnov和I.Oseledets，张量流上的张量列分解（t3f），J.Mach。学习。第21号决议（2020年）。 [31] M.Rakhuba、A.Novikov和I.Oseledets，高维哈密顿量的低秩黎曼特征解算器，J.Compute。物理。，396（2019），第718-737页·Zbl 1452.65070号 [32] M.Bachmayr和V.Kazeev，椭圆偏微分方程低秩张量表示和结构化多级预处理的稳定性，发现。计算。数学。，20（2020），第1-62页·Zbl 1454.65160号 [33] A.Novikov、M.Trofimov和I.Oseledets，指数机器，公牛。波兰。阿卡德。科学。技术。《科学》，2018年6月。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。