×

梯度下降和快速人工时间积分。 (英语) Zbl 1169.65329号

小结:使用正向欧拉方法将常微分方程和偏微分方程的许多初值问题积分到稳态,也可以被视为相关最小化问题的梯度下降。贪婪的算法(如确定步长的最速下降法)与具有最佳均匀步长的正向欧拉积分一样,达到稳态的速度慢。但也存在其他使用更大胆步长选择的更快方法。从理论和实践两个角度研究了各种备选方案。最速下降法也因前几个步骤对某些反问题的正则化或平滑效果而闻名,相当于有限时间正则化。
我们在两个应用程序中使用更快的梯度下降变量进一步研究了该属性的保持。当正则化和精度的组合需要十几个左右最陡峭的下降步骤时,备选方案提供了一个优势,尽管(实际上是因为)正向欧拉的绝对稳定性极限被小心地严重违反。

MSC公司:

6500万06 含偏微分方程初值和初边值问题的有限差分方法
35K15型 二阶抛物方程的初值问题
65层10 线性系统的迭代数值方法
65层50 稀疏矩阵的计算方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部 欧洲DML

参考文献:

[1] H.Akaike,关于概率分布的逐次变换及其在最佳梯度法分析中的应用。Ann.Inst.Stat.数学。东京11(1959)1-16。Zbl0100.14002号·Zbl 0100.14002号 ·doi:10.1007/BF01831719
[2] U.Ascher,演化微分方程的数值方法。SIAM,美国费城(2008年)·Zbl 1157.65048号
[3] U.Ascher、E.Haber和H.Huang,关于隐式分段光滑曲面恢复的有效方法。SIAM J.科学。计算结果28(2006)339-358。Zbl1104.65320号·Zbl 1104.65320号 ·doi:10.1137/040617261
[4] U.Ascher,H.Huang和K.van den Doel,人工时间积分。BIT47(2007)3-25·Zbl 1113.65068号 ·文件编号:10.1007/s10543-006-0112-x
[5] J.Barzilai和J.Borwein,两点步长梯度法。IMA J.Num.Anal.8(1988)141-148。Zbl0638.65055号·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[6] M.Cheney、D.Isaacson和J.C.Newell,《电阻抗断层成像》。SIAM评论41(1999)85-101·Zbl 0927.35130号 ·doi:10.1137/S0036144598333613
[7] E.Chung,T.Chan和X.Tai,使用水平集表示和总变差正则化的电阻抗断层成像。J.公司。《物理学》205(2005)357-372。Zbl1072.65143号·Zbl 1072.65143号 ·doi:10.1016/j.jcp.2004.11.022
[8] Y.Dai和R.Fletcher,大型箱约束二次规划的投影Barzilai-Borwein方法。数字。数学100(2005)21-47·Zbl 1068.65073号 ·doi:10.1007/s00211-004-0569-y
[9] Y.Dai,W.Hager,K.Schittkowsky和H.Zhang,无约束优化的循环Barzilai-Borwein方法。IMA J.Num.Anal.26(2006)604-627。Zbl1147.65315号·Zbl 1147.65315号 ·doi:10.1093/imanum/drl006
[10] H.W.Engl、M.Hanke和A.Neubauer,反问题的正则化。Kluwer(1996)·兹比尔0859.65054
[11] M.Figueiredo、R.Nowak和S.Wright,稀疏重建的梯度投影:在压缩传感和其他反问题中的应用。IEEE J.选择。顶部。信号处理。1(2007)586-598。
[12] G.E.Forsythe,关于s-维最优梯度法的渐近方向。数字。数学11(1968)57-76。Zbl0153.46004号·Zbl 0153.46004号 ·doi:10.1007/BF02165472
[13] A.Friedlander、J.Martinez、B.Molina和M.Raydan,具有延迟和推广的梯度法。SIAM J.Num.Anal.36(1999)275-289·Zbl 0940.65032号 ·doi:10.1137/S003614299427315X
[14] G.Golub和Q.Ye,带内-外迭代的非精确预处理共轭梯度法。SIAM J.科学。Comp.21(2000)1305-1320·Zbl 0955.65022号 ·doi:10.1137/S1064827597323415
[15] A.Greenbaum,求解线性系统的迭代方法。SIAM,美国费城(1997)。Zbl0888.00015号·Zbl 0888.00015号
[16] E.Haber和U.Ascher,大型稀疏参数估计问题的预处理全能方法。反问题17(2001)1847-1864。Zbl0995.65110号·Zbl 0995.65110号 ·doi:10.1088/0266-5611/17/6/319
[17] E.Hairer和G.Wanner,《求解常微分方程II:刚性和微分代数问题》。第二版,Springer(1996)·兹比尔0859.65067
[18] H.Huang,高效重建2D图像和3D表面。加拿大温哥华不列颠哥伦比亚大学博士论文(2008年)。
[19] W.Hundsdorfer和J.G.Verwer,时间相关对流扩散反应方程的数值解。斯普林格(2003)·Zbl 1030.65100号
[20] Y.Li和D.W.Oldenburg,使用近似逆映射反演三维直流电阻率数据。地球物理学。《国际期刊》116(1994)557-569。
[21] J.Nagy和K.Palmer,最速下降,CG和不适定问题的迭代正则化。比特43(2003)1003-1017。Zbl1045.65034号·Zbl 1045.65034号 ·doi:10.1023/B:BITN.0000014546.51341.53
[22] J.Nocedal和S.Wright,《数值优化》。施普林格,纽约(1999年)·Zbl 0930.65067号
[23] J.Nocedal,A.Sartenar和C.Zhu,关于最速下降法中梯度范数的行为。计算。最佳方案。申请22(2002)5-35·Zbl 1008.90057号 ·doi:10.1023/A:1014897230089
[24] S.Osher和R.Fedkiw,水平集方法和动态隐式曲面。斯普林格(2003)·Zbl 1026.76001号
[25] P.Perona和J.Malik,使用各向异性扩散的尺度空间和边缘检测。IEEE传输。模式分析。机器。《情报》12(1990)629-639。
[26] L.Pronzato、H.Wynn和A.Zhigljavsky,《动态搜索:动态系统在搜索和优化中的应用》。查普曼和霍尔/CRC,博卡拉顿(2000年)·Zbl 1053.90102号
[27] M.Raydan和B.Svaiter,松弛最陡下降和Cauchy-Barzilai-Borwein方法。计算。最佳方案。申请21(2002)155-167。Zbl0988.90049号·Zbl 0988.90049号 ·doi:10.1023/A:1013708715892
[28] R.Sincovec和N.Madsen,非线性偏微分方程软件。ACM事务处理。数学。软件1(1975)232-260。Zbl0311.65057号·Zbl 0311.65057号 ·数字对象标识代码:10.1145/355644.355649
[29] N.C.Smith和K.Vozoff,偶极-偶极数据的二维直流电阻率反演。IEEE传输。地质科学。《遥感》22(1984)21-28。
[30] G.Strang和G.Fix,有限元法分析。普伦蒂斯·霍尔(Prentice-Hall),恩格尔伍德·克利夫斯(Engelwood Cliffs),新泽西州(1973)。Zbl0356.65096号·Zbl 0356.65096号
[31] E.Tadmor、S.Nezzar和L.Vese,使用层次(BV,L2)分解的多尺度图像表示。SIAM J.多尺度模型。模拟2(2004)554-579。Zbl1146.68472号·Zbl 1146.68472号 ·doi:10.1137/030600448
[32] E.van den Berg和M.Friedlander,《探索帕累托边界寻找基础追踪解决方案》。SIAM J.科学。计算31(2008)840-912。Zbl1193.49033号·Zbl 1193.49033号 ·doi:10.1137/080714488
[33] K.van den Doel和U.Ascher,关于高度不适定分布参数估计问题的水平集正则化。J.公司。《物理学》216(2006)707-723。Zbl1097.65112号·Zbl 1097.65112号 ·doi:10.1016/j.jcp.2006.01.022
[34] K.van den Doel和U.Ascher,大型分布参数估计问题的动态水平集正则化。反问题23(2007)1271-1288。Zbl1117.65147号·Zbl 1117.65147号 ·doi:10.1088/0266-5611/23/3/025
[35] C.Vogel,反问题的计算方法。SIAM,美国费城(2002年)·Zbl 1008.65103号
[36] J.Weickert,图像处理中的各向异性扩散。B.G.Teubner,斯图加特(1998)。Zbl0886.68131号·Zbl 0886.68131号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。