×

兹马思-数学第一资源

秩-(R\)正则张量逼近的非线性预处理共轭梯度算法。(英语) Zbl 1363.65041
摘要:交替最小二乘法(ALS)通常被认为是计算秩R正则张量近似的主要算法,但对于某些问题,它的收敛速度可能很慢。非线性共轭梯度法(NCG)是最近提出的一种替代ALS的方法,但结果表明NCG通常不比ALS快。为了提高NCG的收敛速度,我们考虑了一种计算秩R正则张量分解的非线性预处理NCG(PNCG)算法。我们的方法在NCG算法中使用ALS作为非线性预条件。另一方面,NCG可被视为ALS的加速过程。我们从数值上证明了PNCG中的收敛加速机制通常会对困难的张量分解问题产生重要的回报,其收敛速度明显快于独立的NCG或ALS算法。我们考虑了几种将非线性预处理器引入NCG算法的方法,这些方法已经在文献中描述过,并且在某些应用领域取得了成功。然而,非线性PNCG方法在更广泛的社会中得到的关注相对较少,无论是在理论上还是在实验上都没有得到充分的研究。因此,本文提供了几个额外的功能,通过在一个地方提供了几个PNCG变量及其特性的简明概述,这些变量仅在分散在文献中的几个地方进行了描述,通过系统地比较这些PNCG变量对于张量分解问题的性能,通过进一步关注非线性PNCG作为一种通用工具的有用性。此外,我们还简要讨论了PNCG算法的收敛性。特别地,我们在已知的非预条件NCG收敛结果的基础上,得到了一个新的PNCG变量在适当条件下的收敛结果。

理学硕士:
65F08型 迭代法的预条件
65层 线性系统的迭代数值方法
15A69号 多线性代数,张量微积分
PDF格式 BibTeX公司 XML 引用
参考文献:
[1] Carroll,通过“Eckart-Young”分解的N向推广分析多维标度中的个体差异,心理测量学35页283–(1970)·Zbl 0202.19101
[2] Harshman,PARAFAC程序的基础:“解释性”多模态因素分析的模型和条件,加州大学洛杉矶分校语音工作论文16页1–(1970年)
[3] Kolda,张量分解与应用,暹罗评论51页455–(2009)·Zbl 1173.65029
[4] 托马西,拟合PARAFAC模型的算法比较,计算统计学和数据分析50 pp 1700–(2006)·Zbl 1445.62136
[5] Acar,用于拟合正则张量分解的可伸缩优化方法,化学计量学杂志25页67–(2011年)
[6] 方,非线性加速度的两类多角方法,数值线性代数及其应用16页197–(2009)·Zbl 1224.65134号
[7] IEEE 27和Bulzipp-2010《信号处理》杂志——《信号处理》杂志,第27页
[8] Walker,安德森定点迭代加速,暹罗数值分析杂志49页1715–(2011)·Zbl 1254.65067
[9] De Sterck,正则张量分解的非线性GMRES优化算法,暹罗科学计算杂志34页A1351–(2012)·Zbl 1253.15035号
[10] Brune P Knepley MG Smith BF Tu X组合可伸缩非线性代数解算器2013http://www.mcs.anl.gov/papers/P2010-0112.pdf ·Zbl 1336.65030
[11] 安德森,非线性积分方程的迭代程序,计算机械协会杂志12页547–(1965年)·中银0149.11503
[12] 康纳斯,用广义共轭梯度法求解非线性椭圆偏微分方程,计算19页321–(1977)·Zbl 0385.65048
[13] 普莱,迭代序列的收敛加速:SCF迭代的情形,化学物理快报73页393–(1980)
[14] Oosterlee,非线性多重网格的Krylov子空间加速及其在循环流中的应用,暹罗科学计算杂志21页1670–(2000)·Zbl 0968.76061
[15] 巴特尔斯,微分方程数值解会议第1页–(1974年)
[16] Mittelmann,关于非线性有限元方程的有效解I,Numerische Mathematik 35 pp 277–·Zbl 0427.65074
[17] 哈格,非线性共轭梯度方法综述,太平洋优化杂志第2期35–(2006)·Zbl 1117.90048
[18] Acar,无监督多路数据分析:文献调查,IEEE知识与数据工程学报21页6–(2008)
[19] Uschmajew,正则张量近似的交替最小二乘算法的局部收敛性,暹罗矩阵分析与应用杂志33页639–(2012)·Zbl 1252.65085
[二十] Grasedyck L Kressner D Tobler C低阶张量近似技术文献综述2013http://arxiv.org/abs/1302.7121 ·Zbl 1279.65045
[21] Acar E Kolda TG Dunlavy DM一次优化耦合矩阵和张量因子分解MLG'11:挖掘和学习图集圣地亚哥2011
[22] Paatero,《多线性引擎:用于解决多线性问题的表驱动最小二乘法程序,包括n向并行因子分析模型》,《计算与图形统计杂志》8页854–(1999)
[23] 弗莱彻,《共轭梯度函数最小化》,计算机杂志第7期第149页–(1964年)·Zbl 0132.11701
[24] 波兰克,注意方向变化的方法,法兰西信息与理性评论16页35–(1969)
[25] Hestenes,求解线性系统的共轭梯度法,国家标准局研究杂志49页409–(1952年)·Zbl 0048.09901
[26] Nocedal,数值优化,2。编辑(2006)
[27] 稀疏线性系统的迭代方法,2。编辑(2003)·Zbl 1031.65046
[28] Nazareth,带变量存储的共轭方向法,数学规划23页326–(1982)·Zbl 0482.90078
[29] Dunlavy DM Kolda TG Acar E Poblano v1。0:MATLAB工具箱,用于基于梯度的优化技术报告SAND2010-1422 2010
[30] Bader BW Kolda TG MATLAB tensor工具箱版本2.5 2012http://www.sandia.gov/tgkolda/TensorToolbox公司/
[31] Dolan,带性能配置文件的基准优化软件,数学规划91页201–(2002年)·Zbl 1049.90004号
[32] De Sterck,非线性GMRES优化的最速下降预处理,数值线性代数及其应用20 pp 453–(2013)·Zbl 1313.65137
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。