保罗·布雷丁;Nick Vannieuwenhoven 正则张量秩逼近问题的黎曼信赖域方法。 （英语） Zbl 1397.15022号 SIAM J.Optim公司。 28，第3期，2435-2465（2018）. 摘要：正则张量秩逼近问题（TAP）由一个低正则秩的张量逼近实值张量组成，这是一个具有挑战性的非线性、非凸、约束优化问题，其中约束集形成了一个非光滑半代数集。我们介绍了一种求解小规模稠密TAP问题的带信赖域的黎曼-高斯-纽顿方法。我们的方法有三个新颖之处。首先，我们将约束集参数化为Segre流形的笛卡尔积，从而将TAP表示为黎曼优化问题，并且我们论证了为什么这种参数化在理论上是一个好的选择。其次，提出了一种基于原序列截断高阶奇异值分解（ST-HOSVD）的收缩算子。第三，我们引入了一种热重启机制，该机制可以有效地检测优化过程何时趋向于病态张量秩分解，并且通常会从这种虚假分解中产生快速逃逸路径。数值实验表明，与现有最先进的方法相比，计算成功解的预期时间提高了三个数量级。 引用于16文件 MSC公司： 15A69号 多线性代数，张量演算 53对21 局部黎曼几何方法 53对20 局部黎曼几何 65K10码 数值优化和变分技术 90元53 拟Newton型方法 第14页 半代数集与相关空间 65年20月 数值算法的复杂性和性能 65层35 矩阵范数、条件、缩放的数值计算 关键词：正则多元分解;黎曼优化;信赖域法;高斯-纽顿法 软件：多线性引擎;坦索拉布;mctoolbox软件 PDF格式BibTeX公司 XML格式引用 \textit{P.Breiding}和\textit{N.Vannieuwenhoven}，SIAM J.Optim。28，第3号，2435--2465（2018；Zbl 1397.15022） 全文： 内政部 arXiv公司 参考文献： [1] P.-A.Absil、R.Mahony和R.Sepulchre，矩阵流形上的优化算法，普林斯顿大学出版社，新泽西州普林斯顿，2008年·Zbl 1147.65043号 [2] E.Acar、D.Dunlavy、T.Kolda和M.Morup，不完全数据的可伸缩张量分解、化学计量学。智力。实验室，106（2011），第41-56页；《2010年SIAM国际数据挖掘会议记录》（俄亥俄州哥伦布），SIAM，费城，2010年，第710-712页。 [3] R.L.Adler、J.-P.Dedieu、J.Y.Margulies、M.Martens和M.Shub，黎曼流形上的牛顿方法和人体脊柱的几何模型IMA J.数字。分析。，22（2002），第359–390页·Zbl 1056.92002号 [4] E.S.Allman、C.Matias和J.A.Rhodes，多观测变量隐结构模型参数的可辨识性，安.统计师。，37（2009），第3099–3132页·Zbl 1191.62003号 [5] A.Anandkumar和R.Ge，非凸优化中逃逸高阶鞍点的有效方法JMLR研讨会程序。，49（2016），第1-22页。 [6] A.Anandkumar、R.Ge、D.Hsu、S.M.Kakade和M.Telgarsky，用于学习潜在变量模型的张量分解，J.马赫。学习。Res.，15（2014），第2773–2832页·Zbl 1319.62109号 [7] C.A.Andersson和R.Bro，MATLAB的（N）-路工具箱，化学。英特尔。实验室系统。，52（2000），第1-4页。 [8] C.J.Appellof和E.R.Davidson，液相色谱废液视频荧光监测数据分析策略，分析。化学。，53（1981），第2053-2056页。 [9] J.Bochnak、M.Coste和M.Roy，实代数几何，Springer-Verlag，纽约，1998年·Zbl 0912.14023号 [10] P.Breiding和N.Vannieuwenhoven，连接分解的条件数，SIAM J.矩阵分析。申请。，39（2018），第287–309页·Zbl 1384.49035号 [11] P.Breiding和N.Vannieuwenhoven，黎曼-高斯-牛顿方法的收敛性分析及其与几何条件数的关系，申请。数学。莱特。，78（2018），第42–50页·Zbl 1381.65043号 [12] R.兄弟，食品工业中的多途径分析。模型、算法和应用1998年，荷兰阿姆斯特丹阿姆斯特丹大学博士论文。 [13] P.Buörgisser和F.Cucker，条件：数值算法的几何，Grundlehren数学。威斯。349，施普林格，海德堡，2013年·Zbl 1280.65041号 [14] C.F.Caiafa和A.Cichocki，将列-行矩阵分解推广到多路数组，线性代数应用。，433（2010），第557–573页·Zbl 1194.15025号 [15] J.Carroll和J.-J.Chang，通过“Eckart–Young”分解的n向推广分析多维标度中的个体差异《心理测量学》，35（1970），第283–319页·Zbl 0202.19101号 [16] B.Chen、S.He、Z.Li和S.Zhang，最大块改进和多项式优化，SIAM J.优化。，22（2012），第87–107页·兹比尔1250.90069 [17] Y.Chen、D.Han和L.Qi，具有外推搜索方向和最佳步长的复值张量分解新ALS方法，IEEE传输。信号处理。，59（2011），第5888–5898页·Zbl 1393.94194号 [18] L.Chiantini、G.Ottaviani和N.Vannieuwenhoven，复张量的泛型和低阶特异性可识别性算法，SIAM J.矩阵分析。申请。，35（2014），第1265-1287页·Zbl 1322.14022号 [19] L.Chiantini、G.Ottaviani和N.Vannieuwenhoven，张量和形式特定可识别性的有效判据，SIAM J.矩阵分析。申请。，38（2017），第656–681页·Zbl 1371.65038号 [20] C.Da Silva和F.J.Herrmann，分层Tucker流形在张量补全中的优化应用，线性代数应用。，481（2015），第131-173页·Zbl 1317.65136号 [21] L.De Lathauwer、B.De Moor和J.Vandwalle，多线性奇异值分解，SIAM J.矩阵分析。申请。，21（2000），第1253-1278页·Zbl 0962.15005号 [22] V.de Silva和L.-H.Lim，张量秩与最佳低秩逼近问题的适定性，SIAM J.矩阵分析。申请。，30（2008），第1084-1127页·Zbl 1167.14038号 [23] H.De Sterck，正则张量分解的非线性GMRES优化算法，SIAM J.科学。计算。，34（2012），第A1351–A1379页·Zbl 1253.15035号 [24] H.De Sterck和K.Miller，低阶正则张量分解的自适应代数多重网格算法，SIAM科学杂志。计算。，35（2013），第B1–B24页·Zbl 1264.65045号 [25] J.-P.Dedieu和M.-H.Kim，常阶导数方程组解析的牛顿法《复杂性杂志》，18（2002），第187-209页·Zbl 1003.65056号 [26] J.W.Demmel，应用数值线性代数，SIAM，费城，1997年·Zbl 0879.65017号 [27] P.Drineas和M.W.Mahoney，基于张量的奇异值分解推广的随机化算法，线性代数应用。，420（2007），第553–571页·Zbl 1108.65032号 [28] L.D.Garcia、M.Stillman和B.Sturmfels，贝叶斯网络的代数几何，J.符号计算。，39（2005），第331-355页·Zbl 1126.68102号 [29] G.H.Golub和C.Van Loan，矩阵计算第三版，约翰·霍普金斯大学出版社，马里兰州巴尔的摩，1996年·Zbl 0865.65009号 [30] W.Hackbusch，张量空间与数值张量演算斯普林格爵士。计算。数学。42，Springer-Verlag，纽约，2012年·Zbl 1244.65061号 [31] J.Harris，代数几何，第一门课程，梯度。数学课文。柏林斯普林格·弗拉格133号，1992年·Zbl 0779.14001号 [32] R.A.Harshman，PARAFAC程序的基础：“解释性”多模态因子分析的模型和条件，加州大学洛杉矶分校语音学工作论文，第16期（1970年），第1-84页。 [33] C.林希和F.林希，求解PARAFAC-模型的一种新算法《行为测量学》，11（1982），第49–60页。 [34] N.海姆，数值算法的准确性和稳定性，SIAM，费城，1996年·Zbl 0847.65010号 [35] F.L.希区柯克，张量或多元数作为乘积之和的表达式，数学杂志。物理。，6（1927年），第164-189页。 [36] S.Holtz、T.Rohwedder和R.Schneider，关于固定TT-rank张量的流形，数字。数学。，120（2012），第701-731页·Zbl 1242.15022号 [37] N.Hudson、A.Baker和D.Reynolds，天然、废水和污染水中溶解有机物的荧光分析，河流研究申请。，23（2007），第631-649页。 [38] M.Ishteva、P.-A.Absil、S.Van Huffel和L.De Lathauwer，基于黎曼信赖域格式的高阶张量的最佳低多线性秩近似，SIAM J.矩阵分析。申请。，32（2011），第115–135页·Zbl 1218.65041号 [39] H.A.L.Kiers，CANDECOMP/PARAFAC分析多重共线性大数据集的三步算法《化学计量学杂志》，12（1998），第155-171页。 [40] T.G.Kolda和B.W.Bader，张量分解及其应用SIAM Rev.，51（2009），第455–500页·Zbl 1173.65029号 [41] D.Kressner、M.Steinlechner和B.Vandereycken，基于黎曼优化的低秩张量补全BIT，54（2014），第447-468页·Zbl 1300.65040号 [42] J.M.Landsberg，张量：几何与应用，等级。学生数学。128，AMS，普罗维登斯，RI，2012年·Zbl 1238.15013号 [43] J.M.Lee，平滑流形简介，第二版，Grad。数学课文。218，施普林格，纽约，2013年·Zbl 1258.53002号 [44] Z.Li、A.Uschmajew和S.Zhang，关于最大块改进法的收敛性、SIAM J.Optim.、。，25（2015），第210–233页·Zbl 1355.65077号 [45] Y.Nesterov和B.T.Polyak，牛顿法的三次正则化及其全局收敛性，数学。程序。序列号。A、 108（2006），第177-205页·Zbl 1142.90500 [46] J.Nocedal和S.J.Wright，数值优化，第2版，施普林格系列。操作。Res.Financial Engrg.，施普林格，纽约，2006年·Zbl 1104.65059号 [47] I.V.Oseledets、D.V.Savostianov和E.E.Tyrtyshnikov，线性时间下三维阵列的塔克降维，SIAM J.矩阵分析。申请。，30（2008），第939–956页·Zbl 1180.15025号 [48] P.Paatero，三元“PARAFAC”因子分析的加权非负最小二乘算法、化学计量学。智力。实验室，38（1997），第223-242页。 [49] P.Paatero，多线性引擎——用于解决多线性问题的表驱动最小二乘程序，包括n路并行因子分析模型，J.计算。图表。统计人员。，8（1999），第854–888页。 [50] A.-H.Phan、P.Tichavskyá和A.Cichocki，用于高阶CANDECOMP/PARAFAC张量因子分解的快速交替LS算法，IEEE传输。信号处理。，61（2013），第4834–4846页。 [51] A.-H.Phan、P.Tichavskyá和A.Cichocki，CANDECOMP/PARAFAC的低复杂度阻尼高斯-牛顿算法，SIAM J.矩阵分析。申请。，34（2013），第126-147页·Zbl 1365.65071号 [52] Y.Qi、P.Comon和L.-H.Lim，非负张量秩的半代数几何，SIAM J.矩阵分析。申请。，37（2016），第1556–1580页·Zbl 1349.14183号 [53] M.Rajih、P.Comon和R.A.Harshman，增强型线搜索：一种加速PARAFAC的新方法，SIAM J.矩阵分析。申请。，30（2008），第1128–1147页·Zbl 1168.65313号 [54] A.K.赛巴巴，HOID：基于Tucker表示的张量高阶插值分解，SIAM J.矩阵分析。申请。，37（2016），第1223-1249页·Zbl 1347.65079号 [55] B.Savas和L.-H.Lim，Grassmannian上的拟Newton方法和张量的多重线性逼近，SIAM J.科学。计算。，32（2010年），第3352–3393页·Zbl 1226.65058号 [56] A.Shashua和T.Hazan，非负张量分解及其在统计学和计算机视觉中的应用，《第22届机器学习国际会议论文集》（德国波恩，2005年），ACM，纽约，2005年，第792-799页。 [57] N.D.Sidiropoulos、L.De Lathauwer、X.Fu、K.Huang、E.E.Papalexakis和C.Faloutsos，用于信号处理和机器学习的张量分解，IEEE传输。信号处理。，65（2017），第3551–3582页·Zbl 1415.94232号 [58] A.Smiled、R.Bro和P.Geladi，多途径分析在化学科学中的应用，John Wiley&Sons，新泽西州霍博肯，2004年。 [59] L.Sorber、M.Van Barel和L.De Lathauwer，基于优化的张量分解算法：正则多元分解、秩-（（L_r，L_r、1）项分解和一种新的推广、SIAM J.Optim.、。，23（2013），第695-720页·Zbl 1277.90073号 [60] M.Steinechner，高维张量补全的黎曼优化，SIAM J.科学。计算。，38（2016），第461-S484页·Zbl 1352.65129号 [61] G.W.Stewart和J.-G.Sun，矩阵摄动理论《计算机科学与科学计算》33，学术出版社，马萨诸塞州波士顿，1990年·Zbl 0706.65013号 [62] J.Tendiro、M.Bennani Dosse和J.ten Berge，CP和INDSCAL的一阶和二阶导数，化学。英特尔。实验室系统。，106（2011），第27–36页。 [63] G.托马西，化学计量学数据分析的实用和计算方面2006年，丹麦弗雷德里克斯堡皇家兽医和农业大学博士论文。 [64] G.Tomasi和R.Bro，PARAFAC模型拟合算法的比较，计算。统计师。数据分析。，50（2006），第1700–1734页·Zbl 1445.62136号 [65] L.R.Tucker，关于三模态因子分析的一些数学注记《心理测量学》，31（1966），第279-311页。 [66] A.Uschmajew和B.Vandereycken，使用层次张量的算法几何，线性代数应用。，439（2013），第133-166页·Zbl 1281.65062号 [67] N.Vannieuwenhoven，张量秩分解的条件数，线性代数应用。，535（2017），第35-86页·Zbl 1375.65063号 [68] N.Vannieuwenhoven、K.Meerbergen和R.Vandebril，利用张量块计算常数存储器CP分解优化算法中的梯度，SIAM J.科学。计算。，37（2015），第C415–C438页·Zbl 1320.65066号 [69] N.Vannieuwenhoven、R.Vandebril和K.Meerbergen，一种新的高阶奇异值分解截断策略，SIAM J.科学。计算。，34（2012），第A1027–A1052页·Zbl 1247.65055号 [70] N.Vervliet、O.Debals、L.Sorber、M.Van Barel和L.De Lathauwer，Tensorlab 3.0版, 2016, . 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。