汉斯·德·斯特克；亚历山大·豪斯 计算近似Tucker张量分解的Grassmann流形上的非线性预处理优化。 （英语） Zbl 1382.65183号 SIAM J.科学。计算。 38，第2号，A997-A1018（2016）. 摘要：通过最小化Frobenius范数测量的误差，提出了两种用于计算近似Tucker张量分解的加速优化算法，该算法使用正交因子矩阵表示。第一种是非线性预处理共轭梯度（NPCG）算法，其中非线性预处理器用于生成一个方向，该方向替换非线性共轭梯度迭代中的梯度。第二种是非线性GMRES（N-GMRES）算法，该算法将过去迭代和由非线性预处理器生成的尝试性新迭代的线性组合最小化，以产生改进的搜索方向。这些方法的欧几里德版本被扩展到流形设置，其中格拉斯曼流形上的优化用于处理正交约束并允许孤立的极小值。流形上的使用需要进行一些修改：对数映射用于确定所需的切线向量，收缩映射用于行搜索更新步骤，向量传输算子用于计算切线向量的线性组合，欧几里德梯度和赫森算子被它们的流形等价物所取代。高阶正交迭代（HOOI）是计算近似Tucker分解的主要算法，在NPCG和N-GMRES中用作非线性预条件。NPCG中的更新参数（β）有几个变量，Polak-Ribière、Hestenes-Stiefel和Hager-Zhang公式各有两个变量。N-GMRES的变化基于如何近似应用于向量的Hessian算子。将NPCG和N-GMRES与HOOI、非线性共轭梯度、有限记忆BFGS以及使用计算机视觉和手写数字识别应用中产生的随机生成的真实张量数据和无噪声张量数据的流形信赖域算法进行了比较。数值结果表明，在数据中存在大量噪声的情况下，具有用梯度差近似的Hessian的N-GMRES和具有由修改的Polak-Ribière和Hestenes-Stiefel规则确定的更新参数的NPCG显著加速了大张量的HOOI，以及当需要高精度结果时。对于这些问题，所提出的方法比HOOI和最近开发的最新方法收敛得更快、更稳健。 引用于6文件 MSC公司： 65K10码 数值优化和变分技术 15A69号 多线性代数，张量演算 49立方米 基于非线性规划的数值方法 65英尺10英寸 线性系统的迭代数值方法 53对20 局部黎曼几何 65F08个 迭代方法的预条件 关键词：塔克张量分解；非线性预处理；非线性优化；GMRES公司；非线性共轭梯度法 软件：算法862；安德森；MNIST公司；马诺普特；波布拉诺；张量工具箱 PDF格式BibTeX公司 XML格式引用 \textit{H.De Sterck}和\textit{A.Howse}，SIAM J.Sci。计算。38，第2号，A997--A1018（2016；Zbl 1382.65183） 全文： 内政部 参考文献： [1] P.-A.Absil、C.G.Baker和K.A.Gallivan，《黎曼流形上的信赖域方法》，发现。计算。数学。，7（2007），第303-330页·Zbl 1129.65045号 [2] P.-A.Absil、R.Mahony和R.Sepulchre，《矩阵流形上的优化算法》，普林斯顿大学出版社，新泽西州普林斯顿，2009年·Zbl 1147.65043号 [3] D.G Anderson，《非线性积分方程的迭代程序》，J.ACM，12（1965），第547-560页·Zbl 0149.11503号 [4] B.W.Bader和T.G.Kolda，{it Algorithm 862:快速算法原型的MATLAB张量类}，ACM Trans。数学。《软件》，32（2006），第635-653页·Zbl 1230.65054号 [5] B.W.Bader等人，{MatlabTensor工具箱版本}\burlhttp://www.sandia.gov/tgkolda/TensorToolbox/index-2.5.html，2.5，（2012）。 [6] J.Ballani和L.Grasedyck，{一种求解张量格式线性系统的投影方法}，Numer。线性代数应用。，20（2013），第27-43页·Zbl 1289.65049号 [7] R.Bartels和J.W.Daniel，{不规则区域非线性椭圆边值问题的共轭梯度法}，《微分方程数值解会议论文集》，G.A.Watson主编，数学讲义。363，施普林格，柏林，1974年，第1-11页·Zbl 0287.65052号 [8] N.Boumal，{具有有限差分Hessian近似的黎曼信赖域是全局收敛的}，载于《几何信息科学》，瑞士查姆施普林格，2015年，第467-475页·Zbl 1405.90124号 [9] N.Boumal、B.Mishra、P.-A.A.Absil和R.Sepulchre，｛\it M｝anopt，用于流形优化的MATLAB工具箱，J.Mach。学习。Res.，15（2014），第1455-1459页·Zbl 1319.90003号 [10] R.Bro，{食品工业中的多途径分析：模型、算法和应用}，博士论文，科本哈文斯大学，哥本哈根，1998年。 [11] P.Brune、M.Knepley、B.Smith和X.Tu，{组成可伸缩非线性代数解算器}，SIAM Rev.，57（2015），第535-565页·Zbl 1336.65030号 [12] B.Chen，Z.Li，and S.Zhang，{关于张量的最优低秩Tucker逼近：核大小可调的情况}，J.Global Optim。，62（2014），第1-22页。 [13] A.Cichocki、D.Mandic、L.De Lathauwer、G.Zhou、Q.Zhao、C.Caiafa和A.-H.Phan，《信号处理应用的张量分解：从双向到多路分量分析》，IEEE信号处理杂志，32（2015），第145-163页。 [14] P.Concus、G.H.Golub和D.P.O'Leary，{用广义共轭梯度法求解非线性椭圆偏微分方程}，《计算》，19（1978），第321-339页·Zbl 0385.65048号 [15] L.De Lathauwer、B.De Moor和J.Vandwalle，｛\it A multilinear奇异值分解｝，SIAM J.矩阵分析。申请。，21（2000），第1253-1278页·Zbl 0962.15005号 [16] L.De Lathauwer、B.De Moor和J.Vandewalle，{关于高阶张量的最佳秩-1和秩-\（（r_1，r_2，…，r_n）逼近}，SIAM J.矩阵分析。申请。，21（2000），第1324-1342页·Zbl 0958.15026号 [17] D.M.Dunlavy、T.G.Kolda和E.Acar，{it Poblano v1.0：基于梯度优化的MATLAB工具箱}，技术报告SAND2010-1422，新墨西哥州阿尔伯克基市桑迪亚国家实验室，2010年。 [18] C.Eckart和G.Young，《一个矩阵与另一个低阶矩阵的近似》，《心理学》，第1期（1936年），第211-218页。 [19] A.Edelman、T.A.Arias和S.T.Smith，《正交约束算法的几何结构》，SIAM J.Matrix Anal。申请。，20（1998年），第303-353页·Zbl 0928.6500号 [20] L.Eldeín和B.Savas，{it计算张量}的最佳多重线性秩的Newton-Grassmann方法，SIAM J.Matrix Ana。申请。，31（2009），第248-271页·Zbl 1205.65161号 [21] H.-R.Fang和Y.Saad，{\it非线性加速度的两类多波束方法}，Numer。线性代数应用。，16（2009年），第197-221页·兹伯利1224.65134 [22] L.Grasedyck和W.Hackbusch，{带示例介绍张量的层次（H-）秩和TT-秩}，计算。方法应用。数学。，11（2011），第291-304页·Zbl 1283.15075号 [23] W.Hackbusch，{张量空间和数值张量微积分}，Springer Ser。计算。数学。42，施普林格，海德堡，2012年·Zbl 1244.65061号 [24] W.W.Hager和H.Zhang，｛\it一种具有保证下降和有效线性搜索的新共轭梯度方法，SIAM J.Optim。，16（2005），第170-192页·邮编1093.90085 [25] W.W.Hager和H.Zhang，{非线性共轭梯度法综述}，Pac。J.Optim。，2（2006年），第35-58页·Zbl 1117.90048号 [26] M.R.Hestenes和E.Stiefel，{求解线性系统的共轭梯度方法}，Natl。伯尔。标准。49，国家统计局，华盛顿特区，1952年·兹比尔0048.09901 [27] M.Ishteva，{高阶张量最佳低多重线性秩逼近的数值方法}，博士论文，比利时鲁汶卡托利克大学电气工程系，2009年。 [28] M.Ishteva、P.-A.Absil、S.Van Huffel和L.De Lathauwer，{基于黎曼信赖域方案的高阶张量的最佳低多重线性秩逼近，SIAM J.矩阵分析。申请。，32（2011年），第115-135页·Zbl 1218.65041号 [29] M.Ishteva、L.De Lathauwer、P.-A.Absil和S.Van Huffel，张量最佳秩近似的微分几何牛顿法，数值。《算法》，51（2009），第179-194页·Zbl 1166.65334号 [30] T.G.Kolda和B.W.Bader，{张量分解和应用}，SIAM Rev.，51（2009），第455-500页·Zbl 1173.65029号 [31] T.G.Kolda和J.Sun，{用于多方面数据挖掘的可缩放张量分解}，《第八届IEEE国际数据挖掘会议论文集》，2008年，ICDM’08，IEEE，计算机社会，加利福尼亚州洛斯阿拉米托斯，2008，第363-372页。 [32] Y.Lecun和C.Cortes，《MNIST手写数字数据库》，http://yann.lecun.com/exdb/mnist/。 [33] H.D.Mittelmann，{关于非线性有限元方程的有效解}I，Numer。数学。，35（1980），第277-291页·Zbl 0427.65074号 [34] J.J.Moreí和D.J.Thuente，{保证充分减少的线性搜索算法}，ACM Trans。数学。《软件》，20（1994），第286-307页·Zbl 0888.65072号 [35] J.Nocedal和S.Wright，{数值优化}，Springer Ser。操作。Res.财务。工程师，施普林格，纽约，2006年·Zbl 1104.65059号 [36] E.Polak和G.Ribière，{\it Note sur la convergence de meöthodes de directions concugue®es}，ESAIM Math。模型。数字。分析。，3（1969年），第35-43页·Zbl 0174.48001号 [37] A.Prastaro，《偏微分方程和力学的几何》，世界科学出版社，新加坡，1996年·Zbl 0866.35007号 [38] T.Rohweder和R.Schneider，量子化学计算中使用的DIIS加速方法的分析，J.Math。化学。，49（2011），第1889-1914页·Zbl 1252.81135号 [39] Y.Saad和M.H.Schultz，{\it GMRES}：求解非对称线性系统的广义最小残差算法，SIAM J.Sci。统计师。计算。，7（1986年），第856-869页·Zbl 0599.65018号 [40] F.S.Samaria和A.C.Harter，{人脸识别随机模型的参数化}，《IEEE第二届计算机视觉应用研讨会论文集》，1994年，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，1994，第138-142页。 [41] B.Savas和L.Eldeín，{使用高阶奇异值分解进行手写数字分类}，Pattern Recogn。，40（2007年），第993-1003页·Zbl 1119.68188号 [42] B.Savas和L.-H.Lim，{关于Grassmannian和张量的多线性近似}的拟Newton方法，SIAM J.Sci。计算。，32（2010年），第3352-3393页·Zbl 1226.65058号 [43] A.Smile、R.Bro和P.Geladi，《多途径分析：在化学科学中的应用》，威利，奇切斯特，英国，2005年。 [44] N.T.Son，{利用格拉斯曼流形上的插值进行仿射相关参数模型降阶的实时过程}，国际。J.数字。方法工程，93（2013），第818-833页·Zbl 1352.93032号 [45] H.De Sterck，{正则张量分解的非线性GMRES优化算法}，SIAM J.Sci。计算。，34（2012年），第A1351-A1379页·Zbl 1253.15035号 [46] H.De Sterck，{非线性GMRES优化的最速下降预处理}，数值。线性代数应用。，20（2013），第453-471页·兹比尔1313.65137 [47] H.De Sterck和M.Winlaw，{一种用于秩r正则张量近似的非线性预处理共轭梯度算法}，Numer。线性代数应用。，22（2015），第410-432页·Zbl 1363.65041号 [48] L.R.Tucker，{测量变化的三元矩阵的因子分析的含义}，《测量变化的问题》，威斯康星大学出版社，威斯康辛州麦迪逊，1963年，第122-137页。 [49] L.R.Tucker，《关于三模式因子分析的一些数学注释》，《心理测量学》，31（1966），第279-311页。 [50] N.Vannieuwenhoven、R.Vandbril和K.Meerbergen，《截断多线性奇异值分解》，技术报告TW589，比利时鲁汶Katholieke大学，2011年，第1-34页。 [51] N.Vannieuwenhoven、R.Vandebril和K.Meerbergen，{高阶奇异值分解的一种新截断策略}，SIAM J.Sci。计算。，34（2012年），第A1027-A1052页·Zbl 1247.65055号 [52] H.F.Walker和P.Ni，{定点迭代的Anderson加速度}，SIAM J.Numer。分析。，49（2011），第1715-1735页·Zbl 1254.65067号 [53] T.Washio和C.W.Oosterlee，{非线性多重网格方案的Krylov子空间加速}，Electron。事务处理。数字。分析。，6（1997年），第271-290页·Zbl 0903.65096号 [54] M.Zhang和C.Ding，有效图像表示的鲁棒Tucker张量分解，《IEEE国际会议计算机视觉（ICCV）论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2003年，第2448-2455页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。