×
多米尼克·奥尔班;亚伯·索尔斯·西奎拉

约束非线性最小二乘的正则化方法。 （英语） Zbl 1446.90151号

计算。最佳方案。申请。 76，第3期，961-989（2020）.
摘要：我们提出了一种求解等式约束非线性最小二乘问题的正则化方法。我们的方法模仿了S.Arreckx公司第一作者[SIAM J.Optim.28，No.2，1613–1639（2018；Zbl 1390.90389号)]和M.Dehghani先生等人[“约束线性最小二乘法的正则化内点法”，INFOR：Inf.Syst.Oper.Res.58，No.2，202-224（2020；doi:10.1080/03155986.2018.1559428)]并应用了一个可被视为增广拉格朗日函数的重新公式的选择性正则化方案。我们的公式避免了算子（A（x）^ T A（x。在导数有界的条件下，我们建立了不可行测度的KKT点或平稳点的全局收敛性。如果二阶导数是Lipschitz连续的，并且满足二阶充分条件，我们可以在不需要约束条件的情况下建立超线性收敛。收敛速度是由Dennis-Moré型条件决定的。我们用支持多个浮点系统的Julia语言描述我们的实现。我们演示了一个简单的渐进方案，以获得四倍精度的解。由于我们的方法类似于在相关问题上应用具有精确价值函数的SQP方法，因此我们的实现在IEEE双精度方面优于IPOPT。

引用于2文件

MSC公司：

90立方 非线性规划

关键词：

正则化;最小二乘问题;非线性最小二乘;约束非线性最小二乘;朱莉娅

引文：

Zbl 1390.90389号

软件：

OPALQP公司;低密度脂蛋白;小背包;高铁;MA57型;MPFR公司;伊波特;CUTEst公司;DecFP公司;双浮子.jl;JuliaSmoothOptimizers公司;NLPLSQ公司;转发差异;NLP模型Ipopt.jl;朱莉娅;JuMP公司;双双.jl
PDF格式BibTeX公司 XML格式引用
\textit{D.Orban}和\textit{A.S.Siqueira}，计算。最佳方案。申请。76，第3号，961--989（2020；Zbl 1446.90151）
全文： 内政部

参考文献：

[1] 安德烈亚尼，R。；马丁内斯，J。；拉莫斯，A。；Silva，P.，A con-continuity constraint qualification and algorithmic consuccessions，SIAM J.Optim。，26, 1, 96-110 (2016) ·Zbl 1329.90162号 ·数字对象标识代码：10.1137/15M1008488
[2] 安萨里，MR；Mahdavi-Amiri，N.，约束非线性最小二乘的稳健组合信任区域线搜索精确惩罚投影结构化方案，Optim。方法软件。，30, 1, 162-190 (2014) ·Zbl 1326.49048号 ·doi:10.1080/10556788.2014.909970
[3] 阿尔芒，P。；Omeni，R.，一种用于等式约束优化的全局和二次收敛的原对偶增广拉格朗日算法，Optim。方法软件。，32, 1, 1-21 (2015) ·Zbl 1365.90209号 ·doi:10.1080/10556788.2015.1025401
[4] 阿尔芒，P。；Benoist，J。；Orban，D.，《非线性优化内部方法从全局到局部收敛》，Optim。方法软件。，28, 5, 1051-1080 (2013) ·Zbl 1278.90254号 ·doi:10.1080/10556788.2012.668905
[5] 阿尔芒，P。；Benoist，J。；奥姆尼，R。；Pateloup，V.，等式约束最小化的原对偶算法研究，计算。最佳方案。申请。，59, 3, 405-433 (2014) ·Zbl 1304.49050号 ·doi:10.1007/s10589-014-9679-3
[6] 阿雷克斯，S。；Orban，D.，等式约束优化的正则化无因子分解方法，SIAM J.Optim。，28, 2, 1613-1639 (2018) ·Zbl 1390.90389号 ·doi:10.1137/16M1088570
[7] Bartholomew-Biggs，MC；Hernandez，MDFG，在稀疏约束优化的增广拉格朗日SQP方法中使用KKT矩阵，J.Optim。理论应用。，85, 1, 201-220 (1995) ·Zbl 0823.90110号 ·doi:10.1007/BF02192305
[8] Bellavia，S.，Gurioli，G.，Morini，B.，Toint，Ph.L.：非凸优化的不精确评估的自适应正则化算法。Namur大学技术报告（2018年）。统一资源定位地址http://www.optimization-online.org/DB_HTML/2018/11/6919.HTML ·Zbl 1427.90228号
[9] Bidabadi，N.，使用谱标度结构BFGS方法求解约束非线性最小二乘，Optim。方法软件。(2017) ·Zbl 1415.90117号 ·doi:10.1080/10556788.2017.1385073
[10] 北卡罗来纳州比达巴迪。；Mahdavi-Amiri，N.，约束非线性最小二乘的带投影结构正割更新的超线性收敛精确惩罚方法，J.Optim。理论应用。，162, 1, 154-190 (2013) ·Zbl 1321.90126号 ·doi:10.1007/s10957-013-0438-x
[11] Davis，TA，《849算法：简明稀疏Cholesky因子分解包》，ACM-Trans。数学。软质。，31, 4, 587-591 (2005) ·Zbl 1136.65311号 ·doi:10.1145/1114268.1114277
[12] Dehghani，M。；兰姆，A。；Orban，D.，约束线性最小二乘的正则化内点方法，INFOR：信息系统。操作。决议（2019年）·Zbl 1509.90218号 ·doi:10.1080/03155986.2018.1559428
[13] Dekker，TJ，一种扩展可用精度的浮点技术，Numer。数学。，18, 3, 224-242 (1971) ·Zbl 0226.65034号 ·doi:10.1007/BF01397083
[14] JE丹尼斯；莫雷，JJ，《准纽顿方法、动机和理论》，SIAM Rev.，19，1，46-89（1977）·Zbl 0356.65041号 ·doi:10.1137/1019005
[15] JE丹尼斯；Walker，HF，最小变化割线更新方法的收敛定理，SIAM J.Numer。分析。，18, 6, 949-987 (1981) ·Zbl 0527.65032号 ·数字对象标识代码：10.1137/0718067
[16] 小JE丹尼斯；男同性恋，DM；Welsch，RE，自适应非线性最小二乘算法，ACM Trans。数学。软质。，7, 3, 348-368 (1981) ·Zbl 0464.65040号 ·数字对象标识代码：10.1145/355958.355965
[17] 教育部多兰；Moré，JJ，Benchmarking optimization software with performance profile，数学。程序。序列号。A、 91、2、201-213（2002）·邮编：1049.90004 ·doi:10.1007/s101070100263
[18] Duff，IS，MA57-求解稀疏对称定和不定系统的代码，ACM-Trans。数学。软质。，30, 2, 118-144 (2004) ·Zbl 1070.65525号 ·doi:10.1145/992200.992202
[19] 邓宁，I。；哈切特，J。；Lubin，M.，JuMP:一种用于数学优化的建模语言，SIAM Rev.，59，2295-320（2017）·Zbl 1368.90002号 ·doi:10.1137/15M1020575
[20] 费尔南达，M。；Costa，P。；Fernandes，EMGP，非线性最小二乘约束问题的原对偶内点算法，Top，13，1，145-166（2005）·Zbl 1139.90431号 ·doi:10.1007/bf02578992
[21] 费尔南德斯，D。；Solodov，M.，《稳定序列二次规划：一项调查》，Pesq。操作。，34, 3, 463-479 (2014) ·doi:10.1590/0101-7438.2014.034.03.0463
[22] 费尔南德斯，D。；皮洛塔，EA；Torres，GA，针对sSQP方法全球化的不精确恢复策略，计算。最佳方案。申请。，54, 3, 595-617 (2012) ·Zbl 1295.90077号 ·doi:10.1007/s10589-012-9502-y
[23] Forsgren，A.，优化算法的惯性控制因子分解，应用。数字。数学。，43, 1-2, 91-107 (2002) ·兹比尔1016.65039 ·doi:10.1016/s0168-9274（02）00119-8
[24] 弗里德兰德，议员；Orban，D.，凸二次规划的一种原对偶正则化内点方法，数学。程序。公司。，4, 1, 71-107 (2012) ·Zbl 1279.90193号 ·doi:10.1007/s12532-012-0035-2
[25] 吉尔，体育；Kungurtsev，V.公司。；Robinson，DP，一种稳定的SQP方法：超线性收敛，数学。程序。，163, 1-2, 369-410 (2016) ·Zbl 1367.49003号 ·doi:10.1007/s10107-016-1066-7
[26] 吉尔，体育；Kungurtsev，V.公司。；Robinson，DP，《稳定的SQP方法：全局收敛》，IMA J.Numer。分析。，37, 1, 407-443 (2016) ·Zbl 1433.90162号 ·doi:10.1093/imanum/drw004
[27] 古尔德，NI；欧尔班博士。；Toint、PhL、CUTEst：一个有约束和无约束的测试环境，具有用于数学优化、计算的安全线程。最佳方案。申请。，60, 3, 545-557 (2015) ·Zbl 1325.90004号 ·doi:10.1007/s10589-014-9687-3
[28] Gould，NIM，关于简单可微罚函数搜索方向的精确确定，IMA J.Numer。分析。，6, 3, 357-372 (1986) ·Zbl 0691.65054号 ·doi:10.1093/imanum/6.3.357
[29] Gratton，S.，Toint，Ph.L.：关于在可变精度下解决非线性优化问题的注释。Namur大学技术报告（2018年）。统一资源定位地址http://www.optimization-online.org/DB_HTML/2018/12/6982.HTML
[30] Gratton，S.，Simon，E.，Toint，Ph.L.：用可变精度Krylov方法最小化凸二次型。Namur大学技术报告（2018年）。arXiv公司：1807.07476
[31] Gupta，S.、Agrawal，A.、Gopalakrishnan，K.、Narayanan，P.：有限数值精度的深度学习。摘自：第32届国际机器学习会议记录，ICML’15第37卷，第1737-1746页。JMLR.org（2015）。http://dl.acm.org/citation.cfm？id=3045118.3045303
[32] 霍克·W。；Schittkowski，K.，《非线性编程代码的测试示例》（1981），柏林：施普林格出版社，柏林·Zbl 0452.90038号
[33] 高铁。HSL数学软件库。STFC卢瑟福阿普尔顿实验室（2007）。http://www.hsl.rl.ac.uk
[34] 伊兹迈洛夫，空军；Solodov，MV；Uskov，EI，将稳定SQP与增广拉格朗日算法相结合，计算。最佳方案。申请。，62, 2, 405-429 (2015) ·Zbl 1353.90144号 ·doi:10.1007/s10589-015-9744-6
[35] 伊兹迈洛夫，空军；Solodov，MV；Uskov，EI，利用光滑原对偶精确罚函数对稳定序列二次规划方法进行全局化，J.Optim。理论应用。，169, 1, 148-178 (2016) ·Zbl 1360.65167号 ·doi:10.1007/s10957-016-0889-y
[36] 李，Z。；奥斯本，M。；Prvan，T.，约束最小二乘问题的自适应算法，J.Optim。理论应用。，114, 2, 423-441 (2002) ·Zbl 1026.90083号 ·doi:10.1023/A:1016043919978
[37] Li，ZF，关于大规模约束非线性最小二乘问题的有限记忆SQP方法，ANZIAM J.，42，900（2000）·兹比尔1009.90132 ·doi:10.21914/anziamj.v42i0.627
[38] Lukšan，L.，Vlček，J.：无约束和等式约束优化的稀疏和部分可分离测试问题。技术报告V-767，布拉格：ICS AS CR（1999）·Zbl 0955.90102号
[39] Ma，D.，Saunders，M.A.：使用四倍精度的单纯形方法求解多尺度线性规划。摘自：《数值分析与优化》，第223-235页。施普林格国际出版公司（2015）。10.1007/978-3-319-17689-5_9 ·Zbl 1330.65088号
[40] Mahdavi-Amiri，N。；Ansari，MR，约束非线性最小二乘的非光滑线搜索超线性收敛罚函数法，苏丹卡布斯大学科学与技术学院。[SQUJS]，17，1，103（2012）·doi:10.24200/squjs.vol17iss1pp103-124
[41] Mahdavi-Amiri，N。；Bartels，RH，约束非线性最小二乘法：具有投影结构准牛顿更新的精确惩罚方法，ACM Trans。数学。软质。，15, 3, 220-242 (1989) ·Zbl 0900.65181号 ·doi:10.1145/66888.66891
[42] Mahdavi-Amiri，N。；Bidabadi，N.，《约束非线性最小二乘法：一种超线性收敛的投影结构化割线法》，国际电工杂志。计算。系统。(2012) ·Zbl 1292.49038号 ·doi:10.11159/ijecs.2012.001
[43] 马丁内斯，JM；桑托斯，LT，递归二次规划算法的一些新理论结果，J.Optim。理论应用。，97, 435-454 (1998) ·Zbl 0907.90220号 ·doi:10.1023/A:1022686919295
[44] Micikevicius，P.、Narang，S.、Alben，J.、Diamos，G.F.、Elsen，E.、García，D.、Ginsburg，B.、Houston，M.、Kuchaiev，O.、Venkatesh，G.、Wu，H.：混合精确训练。参加：2018年4月30日至5月3日在加拿大不列颠哥伦比亚省温哥华举行的第六届国际学习代表大会，会议跟踪记录（2018）。https://openreview.net/forum？id=r1gs9JgRZ
[45] 莫雷，JJ；Garbow，理学学士；Hillstrom，KE，测试无约束优化软件，ACM Trans。数学。软质。，7, 1, 17-41 (1981) ·Zbl 0454.65049号 ·数字对象标识代码：10.1145/355934.355936
[46] Orban，D.，Arioli，M.：对称准定线性系统的迭代解。SIAM聚焦。费城工业和应用数学学会（2017）。10.1137/1.9781611974737 ·Zbl 1409.65004号
[47] Orban，D.，Siqueira，A.S.：JuliaSmoothOptimizers，Julia中非线性优化方法的开发框架。技术报告，《GERAD会议纪要》（2020年）。正在准备中
[48] 希特科夫斯基，K。；霍夫曼，K-H；Zowe，J。；希里亚特·乌鲁蒂，J-B；Lemaréchal，C.，用通用SQP方法求解约束非线性最小二乘问题，《数学优化趋势：第四届法国-德国优化会议》，295-309（1988），巴塞尔：Birkhäuser，巴塞尔
[49] Schittkowski，K.：NLPLSQ：用于最小二乘优化的SQP-Gauss-Newton算法的Fortran实现。Bayreuth大学计算机科学系技术报告（2007年）
[50] 范德贝，RJ，对称拟定矩阵，SIAM J.Optim。，5, 1, 100-113 (1995) ·Zbl 0822.65017 ·数字对象标识代码：10.1137/0805005
[51] 瓦希特，A。；Biegler，LT，《关于大规模非线性规划中点内滤波器线性搜索算法的实现》，数学。程序。，106, 1, 25-57 (2006) ·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y
[52] Wright，SJ，稳定SQP方法到退化解的超线性收敛，计算。最佳方案。申请。，11, 3, 253-275 (1998) ·Zbl 0917.90279号 ·doi:10.1023/A:1018665102534
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。