×
范登·多尔（Kees van den Doel）;乌里·阿舍尔

快速梯度下降方法的混沌特性。 （英语） Zbl 1252.65073号

科学杂志。计算。 51，第3期，560-581（2012）.
摘要：众所周知，大型线性系统的最速下降法收敛速度很慢，所需的迭代次数与使用具有最佳恒定步长且与条件数成比例增长的梯度下降法所获得的迭代次数大致相同。更快的梯度下降方法有时必须采用明显更大的步长，这反过来会在剩余向量范数中产生相当非单调的下降模式。
我们证明，这种快速梯度下降方法实际上为归一化残差向量生成了混沌动力学系统。这里几乎不需要什么就能产生混沌：只需将最陡下降阻尼为接近1的常数即可。
对快速梯度下降方法家族的几种变体进行了实验和分析研究。这个家族中最快的实用方法通常是已知的、混乱的两步法。我们的结果也强调了现有快速梯度下降方法需要更好的理论。

引用于14文件

MSC公司：

65层10 线性系统的迭代数值方法
65页20 数值混沌

关键词：

迭代法;混乱;动力系统;数值示例;最速下降法;梯度下降法
PDF格式BibTeX公司 XML格式引用
\textit{K.van den Doel}和\textit{U.Ascher}，J.Sci。计算。51，第3号，560--581（2012；Zbl 1252.65073）
全文： 内政部

参考文献：

[1] Akaike，H.：关于概率分布的逐次变换及其在最佳梯度法分析中的应用。安.Inst.Stat.Math。，东京11，1-16（1959）·Zbl 0100.14002号 ·doi:10.1007/BF01831719
[2] Ascher，U.，Huang，H.，van den Doel，K.：人工时间积分。位数字。数学。47, 3–25 (2007) ·Zbl 1113.65068号 ·文件编号：10.1007/s10543-006-0112-x
[3] Ascher，U.，van den Doel，K.，Huang，H.，Svaiter，B.：梯度下降和快速人工时间积分。模式。数学。分析。编号。43, 689–708 (2009) ·Zbl 1169.65329号 ·doi:10.1051/m2安/2009025
[4] Barzilai，J.，Borwein，J.：两点步长梯度法。IMA J.数字。分析。8, 141–148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[5] Bhaya，A.，Bliman，P.-A，Pazos，F.：对称线性方程组迭代方法的控制理论设计。摘自：第48届IEEE决策与控制会议，第2347–2380页。IEEE出版社，纽约（2009）
[6] Dai，Y.，Fletcher，R.：关于一些新梯度方法的渐近行为。数学。程序。103, 541–559 (2005) ·兹比尔1099.90038 ·doi:10.1007/s10107-004-0516-9
[7] Dai，Y.，Fletcher，R.：大型箱约束二次规划的投影Barzilai-Borwein方法。数字。数学。100, 21–47 (2005) ·Zbl 1068.65073号 ·doi:10.1007/s00211-004-0569-y
[8] Dai，Y.H.，Liao，L.Z.：Barzilai和Borwein梯度法的R-线性收敛性。IMA J.数字。分析。22, 1–10 (2002) ·Zbl 1002.65069号 ·doi:10.1093/imanum/22.1.1
[9] Dai，Y.，Yuan，Y.：交替最小梯度法。IMA J.数字。分析。23, 377–393 (2003) ·Zbl 1055.65073号 ·doi:10.1093/imanum/23.3377
[10] Dai，Y.，Hager，W.，Schittkowsky，K.，Zhang，H.：无约束优化的循环Barzilai-Borwein方法。IMA J.数字。分析。26, 604–627 (2006) ·Zbl 1147.65315号 ·doi:10.1093/imanum/drl006
[11] Figueiredo，M.、Nowak，R.、Wright，S.：稀疏重建的梯度投影：应用于压缩传感和其他反问题。IEEE J.专题信号处理。1, 586–598 (2007) ·doi:10.1109/JSTSP.2007.910281
[12] Fletcher，R.：关于Barzilai-Borwein方法。收录：Qi，L.，Teo，K.，Yang，X.（编辑）优化与控制及其应用。应用优化系列，第96卷，第235-256页。Kluwer，Dordrecht（2005）·Zbl 1118.90318号
[13] Friedlander，A.，Martinez，J.，Molina，B.，Raydan，M.：具有延迟和推广的梯度法。SIAM J.数字。分析。36, 275–289 (1999) ·Zbl 0940.65032号 ·doi:10.1137/S003614299427315X
[14] Glunt，W.，Hayden，T.L.，Raydan，M.：距离矩阵的分子构象。J.计算。化学。14, 114–120 (1993) ·doi:10.1002/jcc.540140115
[15] Golub，G.，Ye，Q.：具有内外迭代的非精确预处理共轭梯度法。SIAM J.科学。计算。21, 1305–1320 (2000) ·Zbl 0955.65022号 ·doi:10.1137/S1064827597323415
[16] Golub，G.H.，van Loan，C.F.：矩阵计算。约翰·霍普金斯大学出版社，巴尔的摩（1988年）
[17] Goupillaud，P.，Grossmann，A.，Morlet，H.：地震信号分析中的循环-正态变换和相关变换。地质勘探23，85–102（1984）·doi:10.1016/0016-7142（84）90025-5
[18] Haber，E.，Ascher，U.：大型稀疏参数估计问题的预处理全能方法。反向探测。17, 1847–1864 (2001) ·Zbl 0995.65110号 ·doi:10.1088/0266-5611/17/6/319
[19] Huang，H.，Ascher，U.：更快的梯度下降和图像的有效恢复。数学。程序。（2011）（待公布）·Zbl 1295.65047号
[20] Li，T.Y.，Yorke，J.A.：第三阶段意味着混乱。美国数学。周一。82, 985–992 (1975) ·Zbl 0351.92021号 ·doi:10.2307/2318254
[21] Lyapunov，A.M.：运动稳定性的一般问题。泰勒和弗朗西斯，伦敦（1992）·Zbl 0786.70001号
[22] Nagy，J.，Palmer，K.：最速下降，CG和不适定问题的迭代正则化。位数字。数学。43, 1003–1017 (2003) ·Zbl 1045.65034号 ·doi:10.1023/B:BITN.000014546.51341.53
[23] Nocedal，J.，Wright，S.：数值优化。纽约施普林格出版社（1999年）·Zbl 0930.65067号
[24] Nocedal，J.，Sartenaer，A.，Zhu，C.：关于最速下降法中梯度范数的行为。计算。最佳方案。申请。22, 5–35 (2002) ·Zbl 1008.90057号 ·doi:10.1023/A:1014897230089
[25] Pronzato，L.，Wynn，H.，Zhigljavsky，A.：动态搜索：动态系统在搜索和优化中的应用。查普曼&amp；霍尔/CRC，博卡拉顿（2000）·Zbl 1053.90102号
[26] Raydan，M.，Svaiter，B.：松弛最陡下降和Cauchy-Barzilai-Borwein方法。计算。最佳方案。申请。21, 155–167 (2002) ·Zbl 0988.90049号 ·doi:10.1023/A:1013708715892
[27] 岛田，I.，长岛，T.：耗散动力系统遍历问题的数值方法。掠夺。西奥。物理学。61(6), 1605–1616 (1979) ·Zbl 1171.34327号 ·doi:10.1143/PTP.61.1605
[28] Stuart，A.M.，Humphries，A.R.：动力系统和数值分析。剑桥大学出版社，剑桥（1996）·兹伯利0869.65043
[29] Trottenberg，U.，Oosterlee，C.，Schuller，A.：多重网格。学术出版社，圣地亚哥（2001）
[30] Vogel，C.：反问题的计算方法。SIAM，费城（2002）·Zbl 1008.65103号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。