袁、龚琳;孟泽红;李勇 针对大规模非光滑最小化和非线性方程组，提出了一种改进的Hestenes和Stiefel共轭梯度算法。 （英语） Zbl 1332.65081号 J.优化。理论应用。 168，第1期，129-152（2016）. 摘要：众所周知，非线性共轭梯度法对大规模光滑优化问题非常有效。然而，对于实际中经常遇到的大规模非光滑问题，它们的效率还没有得到广泛的研究。针对非光滑凸优化问题，提出了一种改进的Hestenes-Stiefel共轭梯度算法。该方法的搜索方向不仅具有充分的下降性，而且属于信赖域。在适当的条件下，建立了该算法的全局收敛性。数值结果表明，该方法可以成功地求解具有凸性和非凸性（最大维数为60000）的大规模非光滑问题。此外，我们研究了修正的Hestenes-Stiefel方法作为大型非线性方程的求解方法，并建立了其全局收敛性。最后，验证了非线性方程的数值结果，最大维数为100000。 引用于72文件 MSC公司： 65千5 数值数学规划方法 90C26型 非凸规划，全局优化 关键词：非光滑的;非线性方程组;共轭梯度;大规模;全球收敛 软件：小背包;低密度脂蛋白;PNEW公司;PDCO公司;PBNCGC公司;质量安全管理;SolvOpt解决方案;MPBNGC公司 PDF格式BibTeX公司 XML格式引用 \textit{G.Yuan}等人，J.Optim。理论应用。168、1号、129--152（2016；Zbl 1332.65081） 全文： 内政部 参考文献： [1] Kärkkäinen，T.，Majava，K.，Mäkelä，M.M.：图像恢复问题的公式和解决方法的比较。反向探测。17, 1977-1995 (2001) ·Zbl 1016.94004号 ·doi:10.1088/0266-5611/17/6/326 [2] Li，J.，Li，X.，Yang，B.，Sun，X.：基于分割的图像复制-移动伪造检测方案。IEEE传输。Inf.法医安全。10, 507-518 (2015) ·doi:10.10109/TIFS.2014.2381872 [3] Zhang，H.，Wu，Q.，Nguyen，T.，Sun，X.：通过修改的学生T-混合模型对合成孔径雷达图像进行分割。IEEE传输。地质科学。遥感52，4391-4403（2014）·doi:10.1109/TGRS.2013.2281854 [4] Mäkelä，M.M.，Neitaanmaki，P.：非光滑优化：分析和算法及其在最优控制中的应用。新加坡世界科学出版公司（1992）·Zbl 0757.49017号 ·数字对象标识代码：10.1142/1493 [5] Chen，S.S.，Donoho，D.L.，Saunders，M.A.：通过基追踪进行原子分解。SIAM J.科学。计算。20, 33-61 (1998) ·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010 [6] Birge，J.R.，Qi，L.，Wei，Z.：一些非光滑凸优化方法收敛性的一般方法。申请。数学。最佳方案。38, 141-158 (1998) ·兹比尔0910.90228 ·doi:10.1007/s002459900086 [7] Rockafellar，R.T.：单调算子和近点算法。SIAM J.控制优化。14, 877-898 (1976) ·Zbl 0358.90053号 ·数字对象标识代码：10.1137/0314056 [8] Birge，J.R.，Qi，L.，Wei，Z.：最小化非光滑凸函数的一些方法的收敛性分析。J.优化。理论应用。97, 357-383 (1998) ·Zbl 0907.90216号 ·doi:10.1023/A:1022630801549 [9] Bonnans，J.F.，Gilbert，J.C.，Lemaréchal，C.，Sagastizábal，C.A.：可变度量近似方法家族。数学。程序。68, 15-47 (1995) ·兹比尔0832.9102 [10] Wei，Z.，Qi，L.：近似牛顿法的收敛性分析。数字。功能。分析。最佳方案。17, 463-472 (1996) ·Zbl 0884.90123号 ·网址：10.1080/01630569608816705 [11] Wei，Z.，Qi，L.，Birge，J.R.：非光滑凸优化的新方法。J.不平等。申请。2, 157-179 (1998) ·Zbl 0903.90131号 [12] Yuan，G.，Wei，Z.：非光滑凸优化问题的带非单调线搜索的Barzilai和Borwein梯度方法。数学。模型。分析。17, 203-216 (2012) ·Zbl 1242.90170号 ·数字标识代码：10.3846/13926292.2012.661375 [13] Sagara，N.，Fukushima，M.：非光滑凸优化的信赖域方法。J.工业管理。最佳方案。1, 171-180 (2005) ·Zbl 1177.90319号 ·doi:10.3934/jimo.2005.1.171 [14] Yuan，G.，Wei，Z.，Wang，Z.：非光滑凸最小化的有限内存BFGS更新梯度信赖域算法。计算。最佳方案。申请。第54页，第45-64页（2013年）·Zbl 1267.90101号 ·doi:10.1007/s10589-012-9485-8 [15] Lemaréchal，C.：梯度方法和应用的扩展。巴黎第二大道（1980）·Zbl 0174.48001号 [16] Wolfe，P.：最小化不可微凸函数的共轭次梯度方法。数学。程序。螺柱3145-173（1975）·Zbl 0369.90093号 ·doi:10.1007/BFb0120703 [17] Kiwiel，K.C.：凸不可微优化的束方法中的邻近控制。数学。程序。46, 105-122 (1990) ·Zbl 0697.90060号 ·doi:10.1007/BF01585731 [18] Schramm，H.，Zowe，J.：最小化非光滑函数的捆绑思想的一个版本：概念思想，收敛分析，数值结果。SIAM J.Optim公司。2, 121-152 (1992) ·Zbl 0761.90090号 ·doi:10.1137/0802008年 [19] Kiwiel，K.C.：不可微优化的下降方法。《数学讲义》，第1133卷。柏林施普林格（1985）·Zbl 0561.90059号 [20] Kiwiel，K.C.：凸不可微优化、鞍点问题和变分不等式的近似水平丛方法。数学。程序。69, 89-109 (1995) ·Zbl 0857.90101号 [21] Schramm，H.：Eine combination on bundle-und trust-region-verfahren zur Lösung nichtdifferenzierbare optimierungs问题。Bayreuther Mathematische Schriften，Heft 30。德国拜勒大学（1989）·Zbl 0920.90132号 [22] Haarala，M.，Miettinen，K.，Mäkelä，M.M.：用于大规模非光滑优化的新的有限内存束方法。最佳方案。方法软件。19, 673-692 (2004) ·兹比尔1068.90101 ·doi:10.1080/1055678041001689225 [23] Hestenes，M.R.，Stiefel，E.：求解线性方程组的共轭梯度法。《国家研究杂志》。伯尔。站立。49, 409-436 (1952) ·兹比尔0048.09901 ·doi:10.6028/jres.049.044 [24] Fletcher，R.，Reeves，C.：共轭梯度函数最小化。计算。J.7149-154（1964）·Zbl 0132.11701号 ·doi:10.1093/comjnl/7.2.149 [25] Dai，Y.，Yuan，Y.：具有强全局收敛性质的非线性共轭梯度。SIAM J.Optim公司。10, 177-182 (2000) ·Zbl 0957.65061号 ·doi:10.1137/S1052623497318992 [26] Fletcher，R.：实用优化方法，第一卷：无约束优化，第二版。威利，纽约（1997）·Zbl 0828.90123号 [27] Polak，E.，Ribière，G.：注意方向的收敛性。Rev.Fr.通知。里奇。作品。3, 35-43 (1969) ·Zbl 0174.48001号 [28] Gilbert，J.C.，Nocedal，J.：优化共轭梯度法的全局收敛性。SIAM J.Optim公司。2, 21-42 (1992) ·兹比尔0767.90082 ·doi:10.1137/0802003年 [29] Hu，Y.F.，Storey，C.：共轭方法的全局收敛结果。J.优化。理论应用。71, 399-405 (1991) ·兹比尔0794.90063 ·doi:10.1007/BF00939927 [30] Wei，Z.，Li，G.，Qi，L.：非凸无约束优化问题的Polak-Ribière-Polyak共轭梯度法的全局收敛性。数学。计算。77, 2173-2193 (2008) ·Zbl 1198.65091号 ·doi:10.1090/S0025-5718-08-02031-0 [31] Ahmed，T.，Storey，D.：高效混合共轭梯度技术。J.优化。理论应用。64379-394（1990年）·Zbl 0666.90063号 ·doi:10.1007/BF00939455 [32] Al-Baali，A.：具有不精确线搜索的Flecher-Reeves方法的下降性质和全局收敛性。IMA J.数字。分析。121-124年5月（1985年）·兹比尔0578.65063 ·doi:10.1093/imanum/5.1.121 [33] Hager，W.W.，Zhang，H.：一种新的共轭梯度法，具有保证下降和有效的线搜索。SIAM J.Optim公司。16, 170-192 (2005) ·邮编1093.90085 ·doi:10.1137/030601880 [34] Wei，Z.，Yao，S.，Liu，L.：一些新共轭梯度方法的收敛性。申请。数学。计算。183, 1341-1350 (2006) ·Zbl 1116.65073号 ·doi:10.1016/j.amc.2006.05.150 [35] Yuan，G.：用于大规模优化问题的具有充分下降性的改进非线性共轭梯度法。最佳方案。莱特。3, 11-21 (2009) ·Zbl 1154.90623号 ·doi:10.1007/s11590-008-0086-5 [36] Yuan，G.，Lu，X.：一种改进的PRP共轭梯度法。安·Oper。第16673-90号决议（2009年）·Zbl 1163.90798号 ·doi:10.1007/s10479-008-0420-4 [37] Yuan，G.，Lu，X.，Wei，Z.：无约束优化的具有下降方向的共轭梯度法。J.计算。申请。数学。233, 519-530 (2009) ·Zbl 1179.65075号 ·doi:10.1016/j.cam.2009.08.001 [38] Zhang，L.，Zhou，W.，Li，D.：一种下降修正的Polak-Ribière-Polyak共轭方法及其全局收敛性。IMA J.数字。分析。26, 629-649 (2006) ·Zbl 1106.65056号 ·doi:10.1093/imanum/drl016 [39] Buhmiler，S.，Krejić，N.，Lužanin，Z.：奇异非线性系统的实用拟牛顿算法。数字。算法55，481-502（2010）·Zbl 1201.65076号 ·doi:10.1007/s11075-010-9367-z [40] Solodov，MV；斯瓦特，BF；Fukushima，M.（编辑）；Qi，L.（编辑），单调方程组的全局收敛不精确牛顿方法，355-369（1998），Dordrecht·doi:10.1007/978-1-4757-6388-1_18 [41] Toint，P.L.：大型代数非线性方程组的数值解。数学。计算。173, 175-189 (1986) ·Zbl 0614.65058号 ·doi:10.1090/S0025-5718-1986-0815839-9 [42] Yuan，G.，Lu，X.：对称非线性方程的一种新的回溯非精确BFGS方法。计算。数学。申请。55, 116-129 (2008) ·Zbl 1176.65063号 ·doi:10.1016/j.camwa.2006.12.081 [43] Yuan，G.，Yao，S.：求解对称非线性方程的BFGS算法。优化62，82-95（2013）·Zbl 1262.90141号 ·doi:10.1080/02331934.2011.564621 [44] La Cruz，W.，Martínez，J.M.，Raydan，M.：解大型非线性方程组的无梯度信息谱残差法。数学。计算。75, 1429-1448 (2006) ·Zbl 1122.65049号 ·doi:10.1090/S0025-5718-06-01840-0 [45] La Cruz，W.，Raydan，M.：大型非线性系统的非单调谱方法。最佳方案。方法软件。18, 583-599 (2003) ·Zbl 1069.65056号 ·网址：10.1080/1055678031001610493 [46] Tong，X.，Qi，L.：关于求解带退化解的约束非线性方程的信赖域方法的收敛性。J.优化。理论应用。123, 187-211 (2004) ·Zbl 1069.65055号 ·doi:10.1023/B:JOTA0000043997.42194.dc [47] Yuan，G.，Lu，X.，Wei，Z.：对称非线性方程的BFGS信赖域方法。J.计算。申请。数学。230, 44-58 (2009) ·兹比尔1168.65026 ·doi:10.1016/j.cam.2008.10.062 [48] Yuan，G.，Wei，Z.，Lu，X.：非线性方程的BFGS信任域方法。计算92，317-333（2011）·Zbl 1241.65049号 ·doi:10.1007/s00607-011-0146-z [49] Zhang，J.，Wang，Y.：非线性方程的新信赖域方法。数学。方法操作。第58、283-298号决议（2003年）·Zbl 1043.65072号 ·doi:10.1007/s001860300302 [50] Grippo，L.，Sciandrone，M.：非线性方程的非单调无导数方法。计算。最佳方案。申请。37, 297-328 (2007) ·Zbl 1180.90310号 ·doi:10.1007/s10589-007-9028-x [51] Yuan，Y.：大规模非线性方程和非线性最小二乘的子空间方法。最佳方案。工程10，207-218（2009）·Zbl 1171.65040号 ·doi:10.1007/s11081-008-9064-0 [52] Fasano，G.，Lampariello，F.，Sciandone，M.：大型非线性最小二乘问题的截断非单调Gauss-Newton方法。计算。最佳方案。申请。34, 343-358 (2006) ·Zbl 1122.90094号 ·doi:10.1007/s10589-006-6444-2 [53] Li，D.，Fukushima，M.：对称非线性方程的全局和超线性收敛的基于高斯-牛顿的BFGS方法。SIAM J.数字。分析。37, 152-172 (1999) ·Zbl 0946.65031号 ·doi:10.1137/S0036142998335704 [54] Li，D.，Qi，L.，Zhou，S.：对称非线性方程的拟Newton方法的下降方向。SIAM J.数字。分析。1763-1774年（2002年）·Zbl 1018.14018号 ·doi:10.1137/S003614290139175X [55] Kanzow，C.，Yamashita，N.，Fukushima，M.：具有强局部收敛特性的约束非线性方程的Levenberg-Marquardt方法。J.计算。申请。数学。172, 375-397 (2004) ·Zbl 1064.65037号 ·doi:10.1016/j.cam.2004.02.013 [56] Marquardt，D.W.：非线性参数的最小二乘估计算法。SIAM J.应用。数学。11, 431-441 (1963) ·兹比尔0112.10055 ·doi:10.1137/0111030 [57] Bouaricha，A.，Schnabel，R.B.：大型稀疏非线性方程组的张量方法。数学。程序。82, 377-400 (1998) ·Zbl 0951.65046号 [58] Cheng，W.：单调方程组的PRP型方法。数学。计算。模型。50, 15-20 (2009) ·Zbl 1185.65088号 ·doi:10.1016/j.cm.2009.04.007 [59] Yu，G.，Guan，L.，Chen，W.：具有足够下降性的谱共轭梯度法，用于大规模无约束优化。最佳方案。方法软件。23, 275-293 (2008) ·Zbl 1279.90166号 ·doi:10.1080/10556780701661344 [60] Yuan，G.，Wei，Z.，Lu，S.：对称非线性方程的带回溯的有限记忆BFGS方法。数学。计算。模型。54, 367-377 (2011) ·Zbl 1225.65056号 ·doi:10.1016/j.mcm.2011.02.021 [61] Wang，C.W.，Wang，Y.J.，Xu，C.L.：带凸约束的非线性单调方程组的投影方法。数学。方法操作。第66、33-46号决议（2007年）·Zbl 1126.90067号 ·doi:10.1007/s00186-006-0140-y [62] Yu，Z.S.，Lian，J.，Sun，J.、Xiao，Y.H.、Liu，L.、Li，Z.H.：凸约束单调非线性方程的谱梯度投影方法。申请。数字。数学。59, 2416-2423 (2009) ·Zbl 1183.65056号 ·doi:10.1016/j.apnum.2009.04.004 [63] Li，D.，Wang，L.：对称非线性方程的修正Fletcher-Reeves型无导数方法。数字。代数控制优化。1, 71-82 (2011) ·Zbl 1386.65143号 ·doi:10.3934/naco.2011.1.71 [64] Yuan，G.，Wei，Z.，Zhao，Q.：用于大规模优化问题的改进Polak-Ribière-Polyak共轭梯度算法。IIE交易。46, 397-413 (2014) ·doi:10.1080/0740817X.2012.726757 [65] Yuan，G.，Zhang，M.：用于大规模优化的改进Hestenes-Stiefel共轭梯度算法。数字。功能。分析。最佳方案。34, 914-937 (2013) ·Zbl 1274.90287号 ·doi:10.1080/01630563.2013.777350 [66] Zhang，L.，Zhou，W.J.：解非线性单调方程的谱梯度投影法。J.计算。申请。数学。196, 478-484 (2006) ·兹比尔1128.65034 ·doi:10.1016/j.cam.2005.10.002 [67] Andrei，N.：无约束优化的另一种混合共轭梯度算法。数字。算法47，143-156（2008）·Zbl 1141.65041号 ·doi:10.1007/s11075-007-9152-9 [68] Li，Q.，Li，D.：求解大型非线性单调方程的一类无导数方法。IMA J.数字。分析。31, 1625-1635 (2011) ·Zbl 1241.65047号 ·doi:10.1093/imanum/drq015 [69] Fukushima，M.，Qi，L.：非光滑凸最小化的全局超线性收敛算法。SIAM J.Optim公司。6, 1106-1120 (1996) ·Zbl 0868.90109号 ·doi:10.1137/S1052623494278839 [70] 齐，L.，孙，J.：牛顿方法的非光滑版本。数学。程序。58353-367（1993年）·Zbl 0780.90090号 ·doi:10.1007/BF01581275 [71] Correa，R.，Lemaréchal，C.：一些凸极小化算法的收敛性。数学。程序。62, 261-273 (1993) ·Zbl 0805.90083 ·doi:10.1007/BF01585170 [72] Hiriart-Urruti，J.B.，Lemaréchal，C.：凸分析和最小化算法II。柏林施普林格（1993）·兹比尔0795.49002 [73] Calamai，P.H.，Moré，J.J.：线性约束问题的投影梯度法。数学。程序。39, 93-116 (1987) ·Zbl 0634.90064号 ·doi:10.1007/BF02592073 [74] 齐，L.：求解非光滑方程的一些算法的收敛性分析。数学。操作。第18号决议，227-245（1993年）·Zbl 0776.65037号 ·doi:10.1287/门18.1.227 [75] Conn，A.R.，Gould，N.I.M.，Toint，P.L.：信托区域方法。SIAM，费城（2000）·Zbl 0958.65071号 ·数字对象标识代码：10.1137/1.9780898719857 [76] Yuan，G.，Wei，Z.：一种改进的PRP共轭梯度算法，用于非光滑凸优化问题的非单调线搜索。J.应用。数学。计算。（2011年出版）·Zbl 1352.65159号 [77] Yuan，G.，Wei，Z.，Li，G.：一种改进的Polak-Ribière-Polyak共轭梯度算法，用于非光滑凸最小化。J.计算。申请。数学。255, 86-96 (2014) ·Zbl 1291.90315号 ·doi:10.1016/j.cam.2013.04.032 [78] Lukšan，L.，Vlšek，J.：非光滑无约束和线性约束优化的测试问题。第798号技术报告。捷克共和国科学院计算机科学研究所，布拉格（2000年） [79] Lukšan，L.，Vlšek，J.：非光滑无约束极小化的bundle-Newton方法。数学。程序。83, 373-391 (1998) ·Zbl 0920.90132号 [80] Polak，E.：极值问题中的共轭梯度法。计算。数学。数学。物理。9, 94-112 (1969) ·Zbl 0229.49023号 ·doi:10.1016/0041-5553（69）90035-4 [81] Fukushima，M.：非光滑凸优化的下降算法。数学。程序。30, 163-175 (1984) ·Zbl 0545.90082号 ·doi:10.1007/BF02591883 [82] Karmitsa，N.，Bagirov，A.，Mäkelä，M.M.：比较不同的非光滑最小化方法和软件。最佳方案。方法软件。27, 131-153 (2012) ·Zbl 1242.90233号 ·doi:10.1080/10556788.2010.526116 [83] Kappel，F.，Kuntsevich，A.：肖尔r算法的一个实现。计算。最佳方案。申请。15, 193-205 (2000) ·Zbl 0947.90112号 ·doi:10.1023/A:1008739111712 [84] Kuntsevich，A.，Kappel，F.：SolvOpt-局部非线性优化问题的求解器。卡尔·弗兰岑斯格拉茨大学（1997） [85] Shor，N.Z.：不可微函数的最小化方法。柏林施普林格（1985）·Zbl 0561.90058号 ·doi:10.1007/978-3-642-82118-9 [86] Mäkelä，M.M.：非凸非光滑优化的多目标近端束方法：Fortran子程序MPBNGC 2.0。数学信息技术系的报告，B辑，科学计算，第B 13/2003号，Jyväkylä大学 [87] Haarala，M.，Miettinen，K.，Mäkelä，M.M.：大规模非光滑优化的全局收敛有限内存束方法。数学。程序。109181-205（2007年）·Zbl 1278.90451号 ·doi:10.1007/s10107-006-0728-2 [88] Bagirov，A.M.，Karasozen，B.，Sezer，M.：离散梯度法：非光滑优化的无导数方法。J.优化。理论应用。137, 317-334 (2008) ·Zbl 1165.90021号 ·doi:10.1007/s10957-007-9335-5 [89] Bagirov，A.M.，Ganjehlou，A.N.：最小化非光滑函数的拟割线方法。最佳方案。方法软件。25, 3-18 (2010) ·Zbl 1202.65072号 ·doi:10.1080/10556780903151565 [90] Dolan，E.D.，Moré，J.J.：用性能曲线对优化软件进行基准测试。数学。程序。91, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263 [91] Moré，J.，Garbow，B.，Hillström，K.：测试无约束优化软件。ACM事务处理。数学。柔和。7, 17-41 (1981) ·Zbl 0454.65049号 ·数字对象标识代码：10.1145/355934.355936 [92] Solodov，M.V.，Svaiter，B.F.：一种混合投影-近点算法。J.凸面分析。6, 59-70 (1999) ·兹比尔0961.90128 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。