×

正则张量分解的交替最小二乘Nesterov加速:动量步长选择和重启机制。 (英语) Zbl 1488.65108号

摘要:我们提出了适用于正则张量分解的交替最小二乘法的Nesterov型加速技术。Nesterov加速通过添加带有特定权重序列的动量项,将梯度下降转化为凸问题的最优一阶方法,而将此方法和权重序列直接应用于ALS会导致不稳定的收敛行为。这是因为对于我们的非凸问题,ALS是加速的,而不是梯度下降的。相反,我们考虑各种重启机制和适当的动量权重选择,以实现有效加速。我们的大量实验结果表明,当问题是病态的或需要精确的解决方案时,带重启的Nesterov加速ALS方法比独立的ALS或Nesterof的加速梯度方法效率更高。所得方法与现有的ALS加速方法(包括非线性共轭梯度法、非线性广义最小残差法或有限记忆Broyden-Fletcher-Goldfarb-Shanno法)相比具有竞争性或优越性,并且还具有易于实现的优点。我们还将其与Nesterov型更新进行了比较,其中动量权重由线搜索(LS)确定,这与ALS的现有LS方法等效或密切相关。在一个由化学传感器的读数组成的大且有条件的张量(71乘以1000乘以900)上,重新启动的Nesterov-ALS方法显示出理想的稳健性,并且优于我们与任何现有方法相比的大系数。显然,我们有潜力将Nesterov型加速方法扩展到加速其他优化算法,而不是将ALS应用于其他非凸问题,例如Tucker张量分解。

MSC公司:

65层99 数值线性代数
第15页第69页 多线性代数,张量演算
90摄氏52度 减少梯度类型的方法
PDF格式BibTeX公司 XML格式引用