Riis，Erlend S。;马蒂亚斯·埃哈特（Matthias J.Ehrhardt）。;G.R.W.奎斯佩尔。;卡罗拉·比比安·施恩利布 非光滑、非凸优化的几何积分方法。 （英语） Zbl 1500.65033号 已找到。计算。数学。 22，第5期，1351-1394（2022）. 摘要：在不使用梯度的情况下优化非光滑、非凸函数是一个经常遇到的特别具有挑战性的问题，例如在模型参数优化问题中。参数的双层优化是变分调节问题和监督机器学习等领域的标准设置。我们提出了有效且稳健的无导数方法，称为随机伊藤-阿贝方法。这些是Itoh-Abe离散梯度法的推广，这是一个来自几何积分的著名方案，以前只在平滑设置中考虑。我们证明了该方法及其良好的能量耗散特性在非光滑环境中得到了很好的定义。此外，我们证明了只要目标函数是局部Lipschitz连续的，迭代几乎肯定会收敛到Clarke平稳点的连通集。我们给出了这些方法的实现，并将其应用于各种测试问题。数值结果表明，在求解非光滑问题时，随机化Itoh-Abe方法可以优于最新的无导数优化方法，同时在效率方面仍具有竞争力。 引用于三文件 MSC公司： 65千5 数值数学规划方法 90立方厘米 随机规划 90C26型 非凸规划，全局优化 90 C56 无导数方法和使用广义导数的方法 94A08型 信息与通信理论中的图像处理（压缩、重建等） 关键词：几何数值积分;离散梯度法;无导数优化;非凸优化;非光滑优化;克拉克次微分;双层优化 软件：BOBYQA公司;DGM公司;SDPEN公司;DFL公司;DFN公司;NOMAD公司;BSDS公司;纽乌阿 PDF格式BibTeX公司 XML格式引用 \textit{E.S.Riis}等人，发现。计算。数学。22，第5号，1351--1394（2022；Zbl 1500.65033） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] Attouch，H.等人。；波尔特，J。；Redont，P。；Soubeyran，A.，非凸问题的近端交替最小化和投影方法：一种基于Kurdyka-Łsojaseewicz不等式的方法，数学。操作。研究，35，2，438-457（2010）·Zbl 1214.65036号 [2] Audet，C。；Dennis，JE Jr，用于约束优化的网格自适应直接搜索算法，SIAM J.Optim。，17, 1, 188-217 (2006) ·Zbl 1112.90078号 [3] Audet，C.，Hare，W.：无导数和黑盒优化，第1版。《Springer运筹学与金融工程丛书》，Springer国际出版社，瑞士查姆（2017）·Zbl 1391.90001号 [4] Aussel，D.，拟凸和伪凸函数的次微分性质：统一方法，J.Optim。理论。申请。，97, 1, 29-45 (1998) ·Zbl 0911.90295号 [5] 巴吉洛夫，AM；Karasözen，B。；Sezer，M.，《离散梯度法：非光滑优化的无导数方法》，J.Optim。理论。申请。，137, 2, 317-334 (2008) ·Zbl 1165.90021号 [6] 本宁，M。；Burger，M.，《反问题的现代正则化方法》，《数值学报》。，27, 1-111 (2018) ·Zbl 1431.65080号 [7] Benning，M.，Riis，E.S.，Schönlieb，C.B.：稀疏优化的Bregman Itoh-Abe方法。数学杂志。成像视觉（2020年）。文件编号：10.1007/s10851-020-00944-x·Zbl 1491.65045号 [8] JM Borwein；朱庆杰，次微分学及其应用综述，非线性分析。理论方法应用。，38, 6, 687-773 (1999) ·Zbl 0933.49006号 [9] Bredies，K。；Holler，M.，基于TGV的可变图像解压缩、缩放和重建框架。第一部分：分析，SIAM J.Imag。科学。，2814-2850年8月4日（2015年）·兹比尔1333.94006 [10] Bredies，K。；库尼施，K。；Pock，T.，总广义变异，SIAM J.Imag。科学。，3, 3, 492-526 (2010) ·Zbl 1195.49025号 [11] 汉堡，M。；Osher，S。；汉堡，M。；Osher，S.，电视动物园指南，基于水平集和PDE的成像重建方法：Cetraro，意大利，2008，1-70（2013），Cham:Springer International Publishing，Cham·Zbl 1277.94002号 [12] 伯克，合资公司；FE柯蒂斯；路易斯，AS；奥弗顿，ML；模拟，LE；巴吉洛夫，AM；高迪奥索，M。；北卡罗来纳州卡米萨。；梅克尔，MM；Taheri，S.，非光滑优化的梯度采样方法，数值非光滑优化：最新算法，201-225（2020），Cham:Springer International Publishing，Cham [13] Calatroni，L.，Chung，C.，De Los Reyes，J.C.，Schönlieb，C.B.，Valkonen，T.：变分成像模型学习的双层方法arXiv:1505.02120（2015） [14] Cartis，C。；菲亚拉，J。；Marteau，B。；Roberts，L.，《提高基于模型的无导数优化求解器的灵活性和鲁棒性》，ACM Trans。数学。软件，45，3，1-41（2019）·Zbl 1486.65064号 [15] Celledoni，E。；艾德内斯，S。；奥雷恩，B。；Ringholm，T.，黎曼流形上的耗散数值格式及其在梯度流中的应用，SIAM J.Sci。计算。，40、6、A3789-A3806（2018）·Zbl 1403.49029号 [16] Chambolle，A。；Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。成像视觉，40，1，120-145（2011）·Zbl 1255.68217号 [17] Chung，K.，《概率论课程》（2001），圣地亚哥：学术出版社，圣地亚哥 [18] Clarke，F.H.：最优控制和变分法中非光滑问题的必要条件。华盛顿大学博士论文（1973年） [19] Clarke，F.H.：优化与非光滑分析，第1版。应用数学经典。SIAM，费城（1990）·Zbl 0696.49002号 [20] FE柯蒂斯；Que，X.，非光滑优化的自适应梯度采样算法，Optim。方法软件。，28, 6, 1302-1324 (2013) ·Zbl 1284.49036号 [21] FE柯蒂斯；Que，X.，具有全局收敛保证的非凸非光滑优化的拟Newton算法，数学。程序。计算。，7, 4, 399-428 (2015) ·Zbl 1333.49042号 [22] 德洛斯·雷耶斯，J.C。；Schönlieb，C.B。；Valkonen，T.，高阶全变差调节模型的双层参数学习，J.Math。成像视觉，57，1，1-25（2017）·Zbl 1425.94010号 [23] 杜邦，B。；Cagan，J.，用于多级风电场优化的混合扩展模式搜索/遗传算法，Optim。工程师，17，1，77-103（2016）·Zbl 1364.90393号 [24] Ehrhardt，M.J.，Riis，E.S.，Ringholm，T.，Schönlieb，C.B.：平滑优化的几何积分方法：离散梯度法的基础arXiv:1805.06444（2018） [25] Ehrhardt，M.J.，Roberts，L.：双层学习的非精确无导数优化。数学杂志。成像。视觉。63, 580-600 (2021) ·Zbl 1515.68263号 [26] 埃克兰，I。；Téman，R.，凸分析和变分问题（1999），宾夕法尼亚州费城，美国：SIAM，宾夕法尼亚州，美国·Zbl 0939.49002号 [27] 法萨诺，G。；刘齐，G。；Lucidi，S。；Rinaldi，F.，基于线性搜索的无导数非光滑约束优化方法，SIAM J.Optim。，24, 3, 959-992 (2014) ·Zbl 1302.90207号 [28] 福勒，KR；里斯，JP；CE Kees；小丹尼斯；康涅狄格州凯利；康涅狄格州米勒；Audet，C。；AJ·布克；时装，G。；Darwin，RW，《地下水供应和水力捕集社区问题的无导数优化方法比较》，水资源高级研究所。，31, 5, 743-757 (2008) [29] 贾尔斯，JR；艾伯哈特，A。；希尔，R。；D.拉尔夫。；Glover，BM，Clarke次微分和局部Lipschitz函数可微性的调查，优化进展：澳大利亚的贡献，3-26（1999），美国，波士顿，马萨诸塞州：斯普林格，美国，波斯顿·Zbl 0947.49013号 [30] Gonzalez，O.，时间积分和离散哈密顿系统，J.非线性科学。，6, 5, 449-467 (1996) ·Zbl 0866.58030号 [31] 灰色，佐治亚州；科尔达，TG；销售额，K。；Young，MM，优化跨膜蛋白结构测定的经验评分函数，INFORMS J.Compute。，16, 4, 406-418 (2004) ·Zbl 1239.90115号 [32] Griewank，A.，Walther，A.：评估衍生工具：算法区分的原理和技术，第2版。费城工业和应用数学学会（2008）·Zbl 1159.65026号 [33] Grimm，V.，McLachlan，R.I.，McLaren，D.I.，Quispel，G.R.W.，Schönlieb，C.B.：求解变分图像正则化模型的离散梯度方法。《物理学杂志》。A： 数学。西奥。50(29) (2017). doi:10.1088/1751-8121/aa747c·Zbl 1371.94146号 [34] Gürbüzbalaban，M。；奥弗顿，ML，关于内斯特罗夫的非光滑切比雪夫-罗森布鲁克函数，非线性分析。理论方法应用。，75, 3, 1282-1289 (2012) ·Zbl 1269.49018号 [35] 海尔，E。；卢比奇，C。；Wanner，G.，《几何-数值积分：常微分方程的结构-保留算法》（2006），柏林：Springer Science&Business Media出版社，柏林·Zbl 1094.65125号 [36] Heath，MT，《科学计算：入门调查》（2002），纽约：McGraw-Hill，纽约·兹比尔1411.65003 [37] Hintermüller，M.，基于近似次梯度的近端束方法，计算。最佳方案。申请。，2045-266年3月20日（2001年）·Zbl 1054.90053号 [38] Hintermüller，M。；Wu，T.，盲反褶积中校准点扩散函数的双层优化，逆Prob。成像，9，4，1139-1169（2015）·Zbl 1343.49023号 [39] Ito，K.，Jin，B.：《反问题：Tikhonov理论和算法》，第1版。应用数学系列。新加坡世界科学出版公司（2014） [40] 伊藤，T。；Abe，K.，基于变分差商的哈密顿守恒离散正则方程，J.Compute。物理。，76, 1, 85-102 (1988) ·Zbl 0656.70015号 [41] Kämpf，JH；Robinson，D.，《使用约束进化算法优化太阳能利用建筑形式》，《能源建筑》。，42, 6, 807-814 (2010) [42] 卡里米，H。；Nutini，J。；施密特，M。；Frasconi，P。；Landwehr，N。；Manco，G。；Vreeken，J.，Polyak-Łojasiewicz条件下梯度和近似粒度方法的线性收敛，数据库机器学习和知识发现联合欧洲会议，795-811（2016），Cham:Springer，Springer International Publishing，Cham [43] Kiwiel，KC，不可微优化的下降方法（1985），柏林：施普林格出版社，柏林·Zbl 0561.90059号 [44] Kiwiel，KC，非光滑非凸优化梯度采样算法的非导数版本，SIAM J.Optim。，20, 4, 1983-1994 (2010) ·Zbl 1205.90230号 [45] Kunisch，K。；Pock，T.，变分模型中参数学习的双层优化方法，SIAM J.Imag。科学。，6, 2, 938-983 (2013) ·Zbl 1280.49053号 [46] Larson，J。；Menickelly，M。；Wild，SM，无导数优化方法，Acta Numer。，28, 287-404 (2019) ·兹比尔1461.65169 [47] Le Digabel，S.，《算法909:NOMAD:MADS算法的非线性优化》，ACM Trans。数学。软件，37，4，1-15（2011）·兹比尔1365.65172 [48] Le Digabel，S.，Tribes，C.，Audet，C.：NOMAD用户指南。技术报告g-2009-37。技术代表，德国高等教育研究院（2009年） [49] 路易斯，AS；Overton，ML，通过拟Newton方法进行非光滑优化，数学。程序。，141, 135-163 (2013) ·Zbl 1280.90118号 [50] 刘齐，G。；Truempha，K.，使用NOMAD和线搜索的非光滑问题的并行混合优化方法，计算。申请。数学。，37, 3172-3207 (2018) ·Zbl 1409.90190号 [51] Martin，D.，Fowlkes，C.，Tal，D.，Malik，J.：人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。摘自：《第八届计算机视觉国际会议记录》，第2卷，第416-423页。IEEE（2001） [52] McLachlan，R.I.，Quispel，G.R.W.：关于ODE几何积分的六次讲座，第155-210页。伦敦数学学会讲座笔记系列。剑桥大学出版社，剑桥（2001）·Zbl 0978.65056号 [53] 罗得岛州麦克拉克伦；基斯佩尔，GRW；Robidoux，N.，使用离散梯度的几何积分，Philos。事务处理。数学。物理学。工程科学。，357, 1754, 1021-1045 (1999) ·Zbl 0933.65143号 [54] Michel，P。；Penot，JP，Calcul sous-différentiel pour des functions lipschitziennes et non-lipschithziennes，C.R.Acad。科学。巴黎，298269-272（1984）·Zbl 0567.49008号 [55] 宫崎骏，Y。；Sogabe，T。；Zhang，SL，关于线性系统的SOR型方法与梯度系统的离散梯度方法之间的等价性，J.Compute。申请。数学。，342, 58-69 (2018) ·Zbl 1392.65066号 [56] 内尔德，JA；Mead，R.，函数最小化的单纯形方法，计算。J.，7，4308-313（1965年）·兹比尔0229.65053 [57] 内斯特罗夫，Y。；Spokoiny，V.，凸函数的随机无梯度最小化，发现。计算。数学。，17, 2, 527-566 (2017) ·Zbl 1380.90220号 [58] Ochs，P。；Ranftl，R。；布罗克斯，T。；Pock，T。；JF奥约尔；尼科洛娃，M。；Papadakis，N.，非光滑低层问题的双层优化，计算机视觉中的尺度空间和变分方法，654-665（2015），Cham:Springer International Publishing，Cham·Zbl 1444.94018号 [59] 机动，R。；Bierlaire，M.，医学图像配准问题的一种新的无导数算法，国际J模型。模拟。，27, 2, 115-124 (2007) [60] Pathiraja，S。；Reich，S.，计算贝叶斯推断的离散梯度，J.Compute。动态。，6, 2, 385-400 (2019) ·Zbl 1437.62110号 [61] 彭诺，JP；Quang，PH，函数的广义凸性和集值映射的广义单调性，J.Optim。理论。申请。，92, 2, 343-356 (1997) ·Zbl 0886.90177号 [62] Polyak，BT，《优化导论》（1987），纽约：Optimization Software Inc，纽约·Zbl 0708.90083号 [63] 鲍威尔，MJD；Di Pillo，G。；Roma，M.，《无导数无约束优化的NEWUOA软件》，《大尺度非线性优化》，255-297（2006），美国，马萨诸塞州波士顿：斯普林格，美国，波士顿·Zbl 1108.90005号 [64] Powell，M.J.D.：无导数的有界约束优化的BOBYQA算法。剑桥大学技术代表（2009年） [65] 基斯佩尔，GRW；Turner，GS，《在保持第一个积分的同时数值求解常微分方程的离散梯度方法》，J.Phys。A： 数学。Gen.，29，13，341-349（1996）·兹比尔0901.34022 [66] Ringholm，T.等人。；Lazic，J。；Schonlieb，CB，使用离散梯度方案的欧拉弹性变分图像正则化，SIAM J.Imaging Sci。，11, 4, 2665-2691 (2018) ·Zbl 1426.49031号 [67] Robinson，SM，强正则广义方程，数学。操作。研究，5，1，43-62（1980）·Zbl 0437.90094号 [68] Rosenbrock，HH，一种自动查找函数最大值或最小值的方法，Compute。J.，3，3，175-184（1960） [69] 李鲁丁；Osher，S。；Fatemi，E.，基于非线性总变差的噪声去除算法，Physica D，60，1-4，259-268（1992）·Zbl 0780.49028号 [70] Rudin，W.：《数学分析原理》，第三版。纯数学和应用数学国际系列。McGraw-Hill，纽约（1976年）·Zbl 0346.26002号 [71] Scherzer，O.、Grasmair，M.、Grossauer，H.、Haltmier，M.和Lenzen，F.：成像中的变分方法，第1版。应用数学科学。施普林格，纽约（2008） [72] 王，Z。；博维克，AC；Sheikh，人力资源部；Simoncelli，EP，《图像质量评估：从错误可见性到结构相似性》，IEEE Trans。图像处理。，13, 4, 600-612 (2004) 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。