×
米纳斯·本亚明;杰夫·考尔德;甘尼什·桑达拉穆斯;安东尼·耶齐

加速变分偏微分方程用于正则化反演问题的有效解。 （英语） Zbl 1440.65124号

数学杂志。成像视觉。 62，第1期，10-36（2020年）.
摘要：我们进一步开发了一个新的框架，称为PDE加速，通过将其应用于为（mathbb{R}^n）上的一般函数定义的变分问题，获得了有效的数值算法来解决基于相应加速PDE的简单离散化的优化问题。虽然所得的偏微分方程族和数值格式相当普遍，但我们特别关注它们在正则化反演问题中的应用，并以一些流行的图像处理应用程序为例进行了说明。该方法是动量或加速梯度下降到PDE设置的推广。对于椭圆问题，下降方程是一个非线性阻尼波动方程，而不是扩散方程，并且加速度是作为CFL条件的改进而实现的，从\（\varDelta t\sim\varDelta x^2）（对于扩散）到\（\varDelta t\sim\varDelta x\）（对于波动方程）。我们制定了几种显式和半隐式数值格式，以及它们必要的稳定性约束，并包括递归更新公式，这些公式允许将现有的梯度下降PDE码尽可能地适应到加速PDE框架中。我们针对一类广泛的正则化反演应用，更仔细地研究了这些方案，特别注意二次正则化、Beltrami正则化和全变分正则化，其中加速的PDE采用非线性波动方程的形式。实验示例演示了这些方案在图像去噪、去模糊和修复中的应用，包括与原始-对偶、分裂Bregman和ADMM算法的比较。

引用于6文件

MSC公司：

65立方米 含偏微分方程初值和初边值问题反问题的数值方法
6500万06 含偏微分方程初值和初边值问题的有限差分方法
65K10码 数值优化和变分技术
94年第35季度 与信息和通信相关的PDE
94A08级 信息与通信理论中的图像处理（压缩、重建等）
35B65毫米 偏微分方程解的光滑性和正则性
65B99型 数值分析中的收敛加速

关键词：

Nesterov加速度;加速梯度下降;PDE加速;非线性波动方程;图像去噪;图像去模糊;图像复原;总变化量;Beltrami正则化
PDF格式BibTeX公司 XML格式引用
\textit{M.Benyamin}等人，J.数学。成像Vis。62，编号1，10--36（2020；Zbl 1440.65124）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Attouch，H。；Goudou，X。；Redont，P.，带摩擦的重球方法，I.连续动力系统：通过耗散动力系统Commun的渐近分析对实值函数局部极小值的全局探索。康斯坦普。数学。，2，1，1-34（2000年）·Zbl 0983.37016号 ·doi:10.1142/S02199700000025
[2] 奥伯特，G。；Kornprobst，P.，《图像处理中的数学问题：偏微分方程和变分法》（2006），纽约：施普林格出版社，纽约·Zbl 1110.35001号
[3] Bähr，M.、Breuß，M.和Wunderlich，R.：抛物问题长期积分的快速显式扩散。载于：AIP会议记录，第1863卷，第410002页。AIP出版（2017）
[4] Bottou，L.：具有随机梯度下降的大规模机器学习。摘自：2010年COMPSTAT会议记录，第177-186页。施普林格（2010）·Zbl 1436.68293号
[5] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号
[6] Baravdish，G.，Svensson，O.，Gulliksson，M.，Zhang，Y.：图像去噪的阻尼流。arXiv预印本arXiv:1806066732（2018）·Zbl 1434.65163号
[7] Calatroni，L.，Chambolle，A.：具有平滑复合目标的加速下降方法的回溯策略。arXiv预印arXiv:1709.09004（2017）·Zbl 1427.90215号
[8] Calder，J.，Yezzi，A.：一个用于有效解决障碍问题的加速PDE框架。预印本（2018）
[9] Chambolle，A。；Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。成像视觉。，40, 1, 120-145 (2011) ·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1
[10] Chambolle，A。；Pock，T.，成像连续优化介绍，《数值学报》。，2016年11月25日至19日·Zbl 1343.65064号 ·doi:10.1017/S096249291600009X
[11] Chan，Tf；Vese，La，无边活动轮廓，IEEE Trans。图像处理。，10, 2, 266-277 (2001) ·Zbl 1039.68779号 ·数字对象标识代码：10.1109/83.902291
[12] Goldstein，T。；Osher，S.，l1正则化问题的分裂Bregman方法，SIAM J.Imaging Sci。，2, 2, 323-343 (2009) ·Zbl 1177.65088号 ·doi:10.1137/080725891
[13] Goudou，X。；Munier，J.，《带摩擦动力系统的梯度和重球：拟凸情形》，数学。程序。，116, 1-2, 173-191 (2009) ·Zbl 1151.37326号 ·doi:10.1007/s10107-007-0109-5
[14] Hafner，D.，Ochs，P.，Weickert，J.，Reißel，M.，Grewenig，S.：FSI方案：PDE的快速半迭代求解器和优化方法。摘自：德国模式识别会议，第91-102页。斯普林格（2016）
[15] Kimmel，R.、Malladi，R.和Sochen，N.：通过beltrami运算符进行图像处理。摘自：亚洲计算机视觉会议，第574-581页。斯普林格（1998）
[16] Nesterov，Y.，一种求解收敛速度为o（1/k2）的凸规划问题的方法，Sov。数学。道克。，27372-376（1983年）·Zbl 0535.90071号
[17] 佩罗纳，P。；Malik，J.，使用各向异性扩散的尺度空间和边缘检测，IEEE Trans。模式分析。机器。智力。，12, 7, 629-639 (1990) ·doi:10.1109/34.56205
[18] Polyak，Bt，加速迭代法收敛的一些方法，苏联计算机。数学。数学。物理。，4, 5, 1-17 (1964) ·Zbl 0147.35301号 ·doi:10.1016/0041-5553（64）90137-5
[19] Ratner，V.，Zeevi，Y.Y.：使用弹性流形进行图像增强。摘自：第十四届国际图像分析与处理会议（ICIAP 2007），第769-774页（2007）。10.1109/ICIAP.2007.4362869
[20] Rudin，Li；Osher，S。；Fatemi，E.，基于非线性总变差的噪声去除算法，Phys。D非线性现象。，60, 1-4, 259-268 (1992) ·兹比尔0780.49028 ·doi:10.1016/0167-2789（92）90242-F
[21] Sochen，N。；Kimmel，R。；Malladi，R.，《低水平愿景的一般框架》，IEEE Trans。图像处理。，7, 3, 310-318 (1998) ·Zbl 0973.94502号 ·doi:10.1109/83.661181
[22] Su，W.，Boyd，S.，Candes，E.：Nesterov加速梯度法建模的微分方程：理论和见解。摘自：《神经信息处理系统进展》，第2510-2518页（2014年）
[23] Sundaramoorthi，G.，Yezzi，A.：PDE框架中的加速优化：微分同态流形的公式。arXiv:1804.02307（2018）·Zbl 1486.49009号
[24] Sundaramoorthi，G.，Yezzi，A.：流形上加速的变分PDE和微分同态的应用。In：神经信息处理系统（2018）
[25] Sutskever，I.，Martens，J.，Dahl，G.，Hinton，G.：关于深度学习中初始化和动力的重要性。摘自：机器学习国际会议，第1139-1147页（2013）
[26] Trefethen，法律公告：常微分方程和偏微分方程的有限差分和谱方法。未发布的文本，位于http://web.comlab.ox.ac.uk/oucl/work/nick.trefethen/pdetext.html (1996)
[27] Ward，C.、Whitaker，N.、Kevrekidis，I.和Kevreki dis，P.：非线性波动方程稳态工具箱：连续时间Nesterov和指数时间差分格式。arXiv:1710.05047（2017）
[28] 威克特，J。；Grewenig，S。；施罗德斯，C。；Bruhn，A.，基于PDE的图像分析的循环方案，国际计算机杂志。视觉。，118, 3, 275-299 (2016) ·Zbl 1398.68600号 ·doi:10.1007/s11263-015-0874-1
[29] Wibisono，A。；Wilson，Ac；Jordan，Mi，《优化中加速方法的变分观点》，Proc。国家。阿卡德。科学。，113、47、E7351-E7358（2016）·Zbl 1404.90098号 ·doi:10.1073/pnas.1614734113
[30] Yezzi，A.，Sundaramoorthi，G.：PDE框架中的加速优化：主动轮廓情况的公式。arXiv:1711.09867（2017）·兹比尔1479.35901
[31] Yezzi，A.、Sundaramoorthi，G.、Benyamin，M.：主动轮廓的PDE加速度。摘自：IEEE计算机视觉和模式识别会议记录（2019年）·Zbl 1479.35901号
[32] Zosso，D.，Bustin，A.：一种用于高效beltrami正则化的原始-对偶投影梯度算法。加州大学洛杉矶分校CAM报告14-52（2014）。ftp://ftp.math.ucla.edu/pub/camreport/cam14-52.pdf
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。