岳曼昌;周子瑞;Man-Cho那么，Anthony 局部误差界条件下三次正则化方法的二次收敛性。 （英语） Zbl 1411.90284号 SIAM J.Optim公司。 29，第1号，904-932（2019）. 小结：在本文中，我们考虑了三次正则化（CR）方法，它是经典牛顿方法的正则化版本，用于最小化两次连续可微函数。众所周知，CR方法是全局收敛的，并且具有优越的全局迭代复杂度，但现有的关于其局部二次收敛的结果需要严格的非退化条件。我们证明了在局部误差界（EB）条件下，CR方法生成的迭代序列至少Q-二次收敛到二阶临界点，该条件比现有的非退化条件弱得多。这表明，添加三次正则化不仅使牛顿方法具有显著的全局收敛性，而且使其即使在存在退化解的情况下也能二次收敛。作为副产品，我们表明，在不假设凸性的情况下，所提出的EB条件等价于二次增长条件，这可能是独立的。为了证明我们的收敛分析的有用性和相关性，我们重点讨论了相位恢复和低秩矩阵恢复中出现的两个具体的非凸优化问题，并证明了用CR方法生成的迭代序列以压倒性的概率至少Q二次收敛到全局极小值。为了支持和补充我们的理论发展，我们还提供了CR方法用于解决这两个问题时的数值结果。 引用于7文件 MSC公司： 90C26型 非凸规划，全局优化 90立方 非线性规划 65克05 数值数学规划方法 49英里15 牛顿型方法 关键词：立方正则化;局部二次收敛;错误界限;二阶临界点;非孤立溶液;相位恢复;低秩矩阵恢复 PDF格式BibTeX公司 XML格式引用 \textit{M.-C.Yue}等人，SIAM J.Optim。29，第1号，904--932（2019；Zbl 1411.90284） 全文： 内政部 arXiv公司 参考文献： [1] F.J.Aragon Artacho和M.H.Geoffroy，{次微分度量正则性的刻画}，J.凸分析。，15（2008年），第365-380页·Zbl 1146.49012号 [2] S.Bellavia和B.Morini，非线性最小二乘自适应正则化方法的强局部收敛性，IMA J.Numer。分析。，35（2014），第947-968页·Zbl 1316.65061号 [3] R.Bhatia，{矩阵分析}，梯度。数学课文。169，施普林格，纽约，1997年。 [4] S.Bhojanapalli、B.Neyshabur和N.Srebro，{低秩矩阵恢复局部搜索的全局优化}，《高级神经信息处理》。系统。29，Curran Associates，纽约州Red Hook，2016年，第3873-3881页。 [5] J.Bolt、T.P.Nguyen、J.Peypouquet和B.W.Suter，《从凸函数的误差边界到一阶下降法的复杂性》，《数学》。程序。，165（2017），第471-507页·Zbl 1373.90076号 [6] E.J.Candès，《受限等距特性及其对压缩传感的影响》，C.R.Acad。科学。巴黎Ser。一、 346（2008），第589-592页·Zbl 1153.94002号 [7] E.J.Candès、X.Li和M.Soltanolkotabi，《通过Wirtinger流进行相位恢复：理论和算法》，IEEE Trans。《信息论》，61（2015），第1985-2007页·Zbl 1359.94069号 [8] E.J.Candès和Y.Plan，{从最少数量的噪声随机测量中恢复低秩矩阵的紧预言不等式}，IEEE Trans。Inf.Theory，57（2011），第2342-2359页·Zbl 1366.90160号 [9] Y.Carmon和J.C.Duchi，{it Gradient Descent Efficient Finds the Cubic-Regularized Non-Convex Newton Step}，预印本，2016年·Zbl 1461.65135号 [10] C.Cartis，N.I.M.Gould和Ph.L.Toint，{关于最速下降的复杂性，非凸无约束优化问题的牛顿和正则化牛顿方法}，SIAM J.Optim。，20（2010年），第2833-2852页·Zbl 1211.90225号 [11] C.Cartis、N.I.M.Gould和Ph.L.Toit，无约束优化的自适应三次正则化方法。第一部分：动机、收敛和数值结果，数学。程序。，127（2011），第245-295页·Zbl 1229.90192号 [12] C.Cartis、N.I.M.Gould和Ph.L.Toint，《无约束优化的自适应三次正则化方法》，第二部分：最坏情况函数和导数估值复杂性，数学。程序。，130（2011年），第295-319页·Zbl 1229.90193号 [13] D.Drusvyatskiy、A.D.Ioffe和A.S.Lewis，{使用类泰勒模型的非光滑优化：误差界、收敛和终止标准}，预印本，2016年·Zbl 1459.65083号 [14] D.Drusvyatskiy、B.S.Mordukhovich和T.T.Nghia，{次微分的二阶增长、倾斜稳定性和度量规则}，J.凸分析。，21（2014），第1165-1192页·Zbl 1311.49035号 [15] J.-y.Fan和y.-x.Yuan，｛\it关于无非奇异性假设的Levenberg-Marquardt方法的二次收敛性｝，《计算》，74（2005），第23-39页·Zbl 1076.65047号 [16] A.Fischer，{带非孤立解的广义方程迭代框架的局部行为}，数学。程序。，94（2002），第91-124页·Zbl 1023.90067号 [17] A.Griewank，{《用有界三次项修正牛顿法进行无约束优化》，技术报告，英国剑桥大学应用数学和理论物理系，1981年。 [18] P.Hartman，{常微分方程}，经典应用。数学。38，宾夕法尼亚州费城SIAM，2002年·Zbl 1009.34001号 [19] K.Levenberg，{用最小二乘法求解某些非线性问题的方法}，Quart。申请。数学。，2（1944年），第164-168页·Zbl 0063.03501号 [20] D.-H.Li、M.Fukushima、L.Qi和N.Yamashita，{奇异解凸极小化问题的正则化牛顿方法}，计算。最佳方案。申请。，28（2004），第131-147页·Zbl 1056.90111号 [21] G.Li和T.K.Pong，{发现Kurdyka-Łojasiewicz不等式的指数演算及其在一阶方法线性收敛中的应用}。计算。数学。，18（2018），第1199-1232页·Zbl 1405.90076号 [22] S.Łojasiewicz，{it Sur les trajectoires du gradient d'une function analyzique}，《几何研讨会》（博洛尼亚1982/83），博洛尼亚大学，1984年，第115-117页·兹比尔0606.58045 [23] D.R.Luke，{阶段检索，新增内容？}，SIAG/OPT观点和新闻，25（1）（2017），第1-5页。 [24] 罗志清，曾培生，{可行下降法的误差界和收敛性分析：一种通用方法}，Ann.Oper。研究，46（1993），第157-178页·Zbl 0793.90076号 [25] D.W.Marquardt，{非线性参数最小二乘估计算法}，J.Soc.Ind.Appl。数学。，11（1963年），第431-441页·兹比尔0112.10055 [26] B.S.Mordukhovich，{变分分析与广义微分I:基础理论}，格兰德伦数学。威斯。330，施普林格，查姆，2006年。 [27] 于。Nesterov和B.T.Polyak，{牛顿方法的立方正则化及其全局性能}，数学。程序。，108（2006），第177-205页·Zbl 1142.90500 [28] J.Nocedal和S.J.Wright，{数值优化}，Springer，纽约，2006年·兹比尔1104.65059 [29] R.T.Rockafellar和R.J.-B.Wets，{变分分析}，格兰德伦数学。威斯。317，施普林格，柏林，1998年·Zbl 0888.49001号 [30] Y.Shechtman、Y.C.Eldar、O.Cohen、H.N.Chapman、J.Miao和M.Segev，《光学成像应用中的相位恢复：当代综述》，IEEE信号处理。Mag.，32（2015），第87-109页。 [31] J.Sun、Q.Qu和J.Wright，《相位恢复的几何分析》，Found。计算。数学。，18（2018），第1131-1198页·Zbl 1401.94049号 [32] Toint博士，{非线性步长控制，无约束优化的信赖域和正则化}，Optim。方法软件。，28（2013），第82-95页·Zbl 1270.90078号 [33] P.Tseng，{优化中一些Newton型方法的误差界和超线性收敛性分析}，载于《非线性优化及相关主题》，G.D.Pillo和F.Giannessi编辑，Springer，纽约，2000年，第445-462页·Zbl 0965.65091号 [34] N.Yamashita和M.Fukushima，《关于Levenberg-Marquardt方法的收敛速度》，载于《数值分析专题》，G.Alefeld和X.Chen编辑，《计算》。补充15，施普林格，维也纳，2001年，第239-249页·Zbl 1001.65047号 [35] Y.-x.Yuan，{\it信赖域算法的最新进展}，数学。程序。，151（2015），第249-281页·Zbl 1317.65141号 [36] M.-C.Yue、Z.Zhou和A.M.-C.So，｛\it一类基于Luo-Tseng误差界性质的具有可证明收敛保证的非光滑凸最小化的不精确SQA方法｝，Math。程序。(2018), . ·Zbl 1412.49061号 [37] 周瑜和梁瑜，{神经网络梯度优势和正则条件的表征}，预印本，2017。 [38] Z.Zhou和A.M.-C.So，{\it结构化凸优化问题误差界的统一方法}，数学。程序。，165（2017），第689-728页·兹比尔1380.65109 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。