马丁·莫伦坎普;Todd R.扬。;巴拉兹·巴拉尼 山谷中块体坐标下降的瞬态动力学。 （英语） Zbl 1488.37082号 国际期刊数字。分析。模型。 17，第4期，557-591（2020年）. 总结：我们研究了块坐标下降算法在优化景观山谷中的瞬态动力学。迭代线性收敛到谷底附近，然后沿谷底方向以之字形前进。当谷侧对称时，谷底附近的收缩系数似乎不低于1/8，但如果没有对称，收缩系数可能接近1。沿着谷底方向的进展与谷底的坡度成正比，与山谷的“狭窄程度”成反比。我们使用谷底Hessian的特征值来量化狭窄度，并给出了某些情况下的显式公式。进度还取决于山谷相对于坐标块的方向。当谷侧对称时，我们给出了这种依赖性的显式公式，并用它表明在更高的维度中，几乎所有方向都会产生类似于最坏情况方向的进展。最后，我们观察到，在启动算法时，前几个步骤中的块排序可能很重要，但表明针对目标函数改进的贪婪策略可能是一个错误的选择。 MSC公司： 37号30 数值分析中的动力系统 65K10码 数值优化和变分技术 关键词：块坐标下降;交替最小二乘法;张量近似;沼泽;对角线山谷 软件：多线性引擎 PDF格式BibTeX公司 XML格式引用 \textit{M.Mohlenkamp}等人，《国际数学家杂志》。分析。模型。17，第4号，557--591（2020；Zbl 1488.37082） 全文： 链接 参考文献： [1] Evrim Acar、Daniel M.Dunlavy和Tamara G.Kolda。用于拟合正则张量分解的可扩展优化方法。《化学计量学杂志》，25（2）：67-862011年2月.doi:10.1002/cem.1335。 [2] 埃米尔·贝克和卢巴·特鲁米什维利。关于块坐标下降型方法的收敛性。SIAM J.Optim.公司。，23（4）：2037-20602013.doi:10.1137/120887679·Zbl 1297.90113号 [3] Gregory Beylkin和Martin J.Mohlenkamp。高维数值算子微积分。程序。国家。阿卡德。科学。美国，99（16）：10246-102512002。doi:10.1073/pnas.112329799·Zbl 1008.65026号 [4] Gregory Beylkin和Martin J.Mohlenkamp。高维数值分析算法。SIAM J.科学。计算。，26（6）：2133-2159，2005。doi:10.1137/040604959·Zbl 1085.65045号 [5] 拉斯穆斯兄弟。食品工业中的多途径分析：模型、算法和应用。1998年11月，阿姆斯特丹范阿姆斯特丹大学博士论文。 [6] 陈碧莲、何思迈、李振宁和张树忠。最大块改进和多项式优化。SIAM J.Optim.公司。，22（1）：87-1072012。doi:10.1137/110834524·Zbl 1250.90069号 [7] P.科蒙、X.卢西亚尼和A.L.F.de Almeida。张量分解、交替最小二乘和其他故事。《化学计量学杂志》，23（7-8）：393-405，2009年7月至8月。doi:10.1002/cem。1236 [8] H.德斯特克。正则张量分解的非线性GMRES优化算法。SIAM J.科学。计算。，34（3）：A1351-A13792012。doi:10.1137/110835530·Zbl 1253.15035号 [9] 汉斯·德·斯特克和曼达·温劳。一种用于秩-R正则张量近似的非线性预处理共轭梯度算法。数字。线性代数应用。，22（3）：410-4322015。doi:10.1002/nla.1963·Zbl 1363.65041号 [10] Mike Espig、Wolfgang Hackbusch、Thorsten Rohwedder和Reinhold Schneider。具有固定秩的初等张量和的变分演算。数字。数学。，122(3):469-488, 2012. doi:10.1007/s00211-012-0464-x·Zbl 1259.65090号 [11] R.Fletcher和C.M.Reeves。共轭梯度函数最小化。计算。J.，7:149-1541964。doi:10.1093/comjnl/7.2.149·兹伯利0132.11701 [12] Gene H.Golub和Dianne P.O'Leary。共轭梯度和Lanczos算法的一些历史：1948-1976。SIAM Rev.，31（1）：50-1021989。doi:10.1137/1031003·Zbl 0673.65017号 [13] 薛功、马丁·J·莫伦坎普和托德·R·杨。用秩-1张量拟合秩-2张量的优化前景。SIAM J.应用。动态。系统。，17（2）：1432-14772018。doi:10.137/17M112213X·Zbl 1398.65138号 [14] R.A.哈什曼。PARAFAC程序的基础：“解释性”多模式因子分析的模型和条件。《语音学工作论文16》，加州大学洛杉矶分校，洛杉矶，1970年。网址：http://www.psychology.uwo.ca/faulty/harshman/wpppfac0.pdf。 [15] Mingyi Hong、Meisam Razaviyayn、Zhi Quan Luo和Jong Shi Pang。涉及大数据的块结构优化的统一算法框架。IEEE信号处理。Mag.，33（1）：57-772016年1月。doi:10.1109/MSP.2015.2481563。 [16] PK Hopke、P Paatero、H Jia、RT Ross和RA Harshman。三元（PARAFAC）因子分析：检查和比较适用于病态数据的替代计算方法。化学计量学情报。实验室系统。，43（1-2）：25-421998年9月28日。doi:10。1016/S0169-7439（98）00077-X。 [17] Pieter M.Kronenberg和Jan de Leeuw。用交替最小二乘算法对三模数据进行主成分分析。《心理学》，45（1）：69-971980.doi:10.1007/BF02293599·Zbl 0431.62035号 [18] S.E.Leurgans、R.T.Ross和R.B.Abel。三向阵列的分解。SIAM J.矩阵分析。申请。，14（4）：1064-10831993。doi:10.1137/0614071·Zbl 0788.65145号 [19] 李娜。张量分解的ALS变体及其应用。2013年，纽约波茨坦克拉克森大学博士论文。 [20] Na Li、Stefan Kindermann和Carmeliza Navasca。正则化交替最小二乘张量分解方法的一些收敛性结果。线性代数应用。，438（2）：796-8122013.doi:10.1016/j.laa.2011.12.002·兹比尔1261.65041 [21] 李庆雄、何荣强、陆忠义。通过追踪山谷加速优化。计算。物理学。社区。，203:168-1772016年。doi:10.1016/j.cpc.2016.03.002·Zbl 1378.65019号 [22] David G.Luenberger和Yinyu Ye。线性和非线性规划，运筹学与管理科学国际丛书第228卷。查姆斯普林格，第四版，2016。doi:10.1007/978-3-319-18842-3·Zbl 1319.90001号 [23] 罗志清和曾荫权。关于凸可微极小化的坐标下降法的收敛性。J.优化。理论应用。，72（1）:7-351992年。doi:10.1007/BF00939948·Zbl 0795.90069号 [24] Dhruv Mahajan、S.Sathiya Keerthi和S.Sundararajan。一种用于训练正则化线性分类器的分布式块坐标下降方法。J.马赫。学习。决议，18：2017年第91、35号文件·Zbl 1435.68274号 [25] 吉·r´ı·马图·塞克。离散几何讲座，数学研究生课本第212卷。Springer-Verlag，纽约，2002。doi:10.1007/978-1-4613-0039-7·Zbl 0999.52006号 [26] 纳撒尼尔·麦克拉奇。张量：一种自适应近似算法，方向收敛性和连通性。俄亥俄大学博士论文，2018年。网址：http://rave.ohiolink.edu/etdc/view？acc编号=ohiou1520508234977924。 [27] 马丁·莫伦坎普。关于多线性拟合的思考。线性代数应用。，438（2）：834-8522013.doi:10.1016/j.laa.2011.04.019·Zbl 1258.15010号 [28] 马丁·J·莫伦坎普。正则张量近似问题中沼泽的动力学。SIAM J.应用。动态。系统。，18（3）：1293-13332019。doi:10.1137/18M1181389·Zbl 1435.65032号 [29] 卡梅利萨·纳瓦斯卡（Carmeliza Navasca）、列文·德拉特豪沃（Lieven De Lathauwer）和斯特凡·金德曼（Stefan Kinderman）。张量分解的沼泽减少技术。第16届欧洲信号处理会议（EUSIPCO 2008），瑞士洛桑，2008年。欧洲信号处理协会。网址：http://ieeexplore.ieee.org/document/7080724/。 [30] 于。内斯特罗夫。坐标下降法在大规模优化问题中的效率。SIAM J.Optim.公司。，22（2）：341-3622012。doi:10.1137/100802001·Zbl 1257.90073号 [31] 帕亚特罗。用于三向“parafac”因子分析的加权非负最小二乘算法。化学计量学情报。实验室系统。，38（2）：223-2421997年10月。第二届化学计量学互联网会议（InCINC），纽约波茨坦，1996。doi:10.1016/S0169-7439（97）00031-2。 [32] 帕亚特罗。退化PARAFAC模型的构建与分析。《化学计量学杂志》，14（3）：285-299，2000年5月至6月。doi:10.1002/1099-128X（200005/06）14:3⟨285:：AID-CEM584⟩3.3.CO；2-T。 [33] 彭蒂·帕塔罗（Pentti Paatero）。多线性引擎——一个用于解决多线性问题的表驱动最小二乘程序，包括当时的并行因子分析模型。J.计算。图表。统计人员。，8（4）：854-8881999.doi:10.2307/1390831。 [34] M·J·D·鲍威尔。在不计算导数的情况下求多变量函数最小值的一种有效方法。计算。J.，7:155-1621964。doi:10.1093/comjnl/7.2.155·Zbl 0132.11702号 [35] William H.Press、Brian P.Flannery、Saul A.Teukolsky和William T.Vetterling。数字配方。剑桥大学出版社，剑桥，1986年·Zbl 0587.65005号 [36] 秦志伟（Zhiwei Qin）、卡蒂亚·申伯格（Katya Scheinberg）和唐纳德·戈德法布（Donald Goldfarb）。拉索群的高效块坐标下降算法。数学。程序。计算。，5（2）：143-1692013。doi:10.1007/s12532-013-0051-x·Zbl 1275.90059 [37] Myriam Rajih、Pierre Comon和Richard A.Harshman。增强的行搜索：一种加速PARAFAC的新方法。SIAM J.矩阵分析。申请。，30（3）：1128-11472008.doi:10.1137/06065577·兹比尔1168.65313 [38] William S.Rayens和Menjamin C.Mitchell。双因子简并与PARAFAC的稳定性。化学计量学情报。实验室系统。，38:173-181, 1997. [39] Meisam Razaviyayn、Mingyi Hong和Zhi-Quan Luo。非光滑优化分块逐次极小化方法的统一收敛性分析。SIAM J.Optim.公司。，23（2）：1126-11532013.doi:10.1137/120891009·Zbl 1273.90123号 [40] Matthew J.Reynolds、Alireza Doostan和Gregory Beylkin。正则张量分解的随机交替最小二乘法：应用于随机数据的PDE。SIAM J.科学。计算。，38（5）：A2634-A26642016.doi:10.1137/15M1042802·Zbl 1348.65012号 [41] 彼得·里奇塔里克和马丁·塔卡。最小化复合函数的随机块坐标下降方法的迭代复杂性。数学。程序。，144（1-2，Ser.A）:1-382014.doi:10.1007/s10107-012-0614-z·Zbl 1301.65051号 [42] H.H.罗森布罗克。一种自动查找函数最大值或最小值的方法。计算。J.，3:175-1841960/1961。doi:10.1093/comjnl/3.3.175。 [43] 劳伦特·索伯（Laurent Sorber）、伊格纳特·多马诺夫（Ignat Domanov）、马克·范·巴雷尔（Marc Van Barel）和列文·德拉特豪沃（Lieven De Lathauwer）。张量优化的精确线和平面搜索。计算。最佳方案。申请。，63（1）：121-1422016.doi:10.1007/s10589-015-9761-5·Zbl 1361.90046号 [44] 劳伦特·索伯（Laurent Sorber）、马克·范·巴雷尔（Marc Van Barel）和列文·德拉特豪沃（Lieven De Lathauwer）。基于优化的张量分解算法：正则多元分解、秩-（Lr，Lr，1）项分解和一种新的推广。SIAM J.Optim.公司。，23(2):695-720, 2013. doi:10.1137/120868323·Zbl 1277.90073号 [45] Jos M.F.ten Berge。多元分析中的最小二乘优化，M&T系列第25卷。D.S.W.O.出版社，荷兰莱顿，1993年。 [46] Petr Tichavsky、Anh-Huy Phan和Andrzej Cichocki。正则多元张量分解的分区交替最小二乘法。IEEE信号处理。莱特。，23（7）：993-9972016年7月。doi:10.1109/LSP.2016.2577383。 [47] 乔治·托马西和拉斯穆斯兄弟。拟合PARAFAC模型的算法比较。计算。统计师。数据分析。，50（7）：1700-17342006.doi:10.1016/j.csda.2004.11.013·Zbl 1445.62136号 [48] 曾荫权（P.Tseng）。不可微极小化的块坐标下降方法的收敛性。J.优化。理论应用。，109（3）：475-4941001。doi:10.1023/A：1017501703105·Zbl 1006.65062号 [49] 吴洪栋、李天佐、郭翁生和邱顺中。使用范围库和块坐标下降法优化沸水堆燃料的轴向富集分布。编号。工程设计。，313:84-95，2017年3月。doi:10.1016/j.nucendes.2016。12.003. [50] 安德烈·乌奇马尤。正则张量近似的交替最小二乘算法的局部收敛性。SIAM J.矩阵分析。申请。，33（2）：639-6522012。doi:10.1137/110843587·Zbl 1252.65085号 [51] 安德烈·乌奇马尤。高阶幂方法的一个新的收敛性证明和推广。派克靴。J.Optim。，11(2):309-321, 2015. ·Zbl 1339.65054号 [52] J.Warga。最小化某些凸函数。《社会工业杂志》。申请。数学。，11:588-5931963。doi:10.1137/011043·Zbl 0128.05801 [53] 徐阳阳和尹沃涛。正则化多凸优化的块坐标下降法及其在非负张量分解和完备化中的应用。SIAM J.成像科学。，6（3）：1758-17892013.数字对象标识代码：10.1137/120887795·Zbl 1280.49042号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。