Stanimirović，Predrag S。;布拉尼斯拉夫·伊万诺夫;马海峰;迪亚娜·莫西奇 求解非线性优化的梯度方法综述。 （英语） Zbl 1458.65067号 电子。Res.Arch.公司。 28，第4期，1573-1624（2020）。 摘要：本文从理论和数值上调查、分类和研究了无约束优化的主要线搜索方法。拟纽顿（QN）和共轭梯度（CG）方法被认为是求解大规模无约束优化问题的有效数值方法的代表类。本文对主要的QN和CG方法进行了调查、分类和比较，以对这一领域的科学进展进行总体概述。本文介绍了该领域的一些最新趋势。进行了大量的数值实验，目的是对不同QN和CG方法的数值比较给出一个实验性的自然答案。 引用于4文件 MSC公司： 65千5 数值数学规划方法 90立方 非线性规划 90C06型 数学规划中的大尺度问题 90摄氏52度 减少梯度类型的方法 90元53 拟Newton型方法 关键词：梯度法;共轭梯度法;无约束优化;非线性规划;全球收敛;行搜索法 软件：可爱的;CG_退出;切割机;PPCG_代表 PDF格式BibTeX公司 XML格式引用 \textit{P.S.Stanimirović}等人，《电子》。Res.Arch.公司。28，第4号，1573-1624（2020；Zbl 1458.65067） 全文： 内政部 参考文献： [1] J.Abaffy，共轭方向的一种新的重投影，Numer。代数控制优化。，9, 157-171 (2019) ·Zbl 1477.65056号 ·doi:10.3934/naco.2019012 [2] M.Al-Baali，Fletcher-Rives方法与不精确线搜索的下降性质和全局收敛性，IMA J.Numer。分析。，5, 121-124 (1985) ·Zbl 0578.65063号 ·doi:10.1093/imanum/5.1.121 [3] N.Andrei，无约束优化测试函数集合，高级模型。最佳。，10, 147-161 (2008) ·Zbl 1161.90486号 [4] 安德烈，无约束优化的带回溯的梯度下降加速算法，数值。算法，42，63-73（2006）·Zbl 1101.65058号 ·doi:10.1007/s11075-006-9023-9 [5] 安德烈，带特征值聚类的Dai-Liao共轭梯度算法，数值。算法，77，1273-1282（2018）·兹伯利06860411 ·doi:10.1007/s11075-017-0362-5 [6] N.Andrei，松弛梯度下降和无约束优化的新梯度下降方法，访问时间：2018年8月19日。 [7] N.安德烈，无约束优化的非线性共轭梯度法第（1）版，施普林格国际出版公司，2020年·Zbl 1514.90250号 [8] L.Armijo，具有Lipschitz连续一阶偏导数的函数的最小化，太平洋数学杂志。，16, 1-3 (1966) ·Zbl 0202.46105号 ·doi:10.2140/pjm.19661.16 [9] S.Babaie-Kafaki；R.Ghanbari，具有最佳参数选择的Dai-Liao非线性共轭梯度法，欧洲期刊Oper。研究，234625-630（2014）·Zbl 1304.90216号 ·doi:10.1016/j.ejor.2013.11.012 [10] B.Baluch，Z.Salleh，A.Alhawarat和U.A.M.Roslan，一种新的具有充分下降性质的修正三项共轭梯度法及其全局收敛性，数学杂志。，2017（2017），文章ID 2715854，12页·Zbl 1461.90166号 [11] J.Barzilai；J.M.Borwein，两点步长梯度法，IMA J.Numer。分析。，8, 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141 [12] M.Bastani和D.K.Salkuyeh，关于图像恢复的GSOR迭代方法，数值代数、控制与优化, (2020). [13] A.E.J.Bogaers；S.Kok；B.D.雷迪；T.Franz，《应用于涉及自由表面流动和固体接触的FSI问题的准Newton方法评估》，计算机与结构，173，71-83（2016）·doi:10.1016/j.compstruc.2016.05.018 [14] I.邦加兹；A.R.连接；N.古尔德；Ph.L.Toint，CUTE：约束和非约束测试环境，ACM Trans。数学。软质。，21, 123-160 (1995) ·Zbl 0886.65058号 ·doi:10.1145/200979.201043 [15] C.Brezinski，拟Newton方法的分类，Numer。算法，33，123-135（2003）·Zbl 1030.65053号 ·doi:10.1023/A：1025551602679 [16] J.Cao；吴建国，共轭梯度算法及其在图像恢复中的应用，应用。数字。数学。，152, 243-252 (2020) ·Zbl 07173173号 ·doi:10.1016/j.apnum.2019.12.002 [17] W.Cheng，基于PRP的两项下降方法，Numer。功能。分析。最佳。，28, 1217-1230 (2007) ·Zbl 1138.90028号 ·网址：10.1080/01630560701749524 [18] Y.Cheng；问牟；十、平移；姚绍，充分下降共轭梯度法及其全局收敛性，Optim。方法软件。，31, 577-590 (2016) ·Zbl 1351.90130号 ·doi:10.1080/10556788.2015.1124431 [19] A.I.Cohen，下降法的步长分析，J.Optim。理论应用。，33, 187-205 (1981) ·Zbl 0421.49030号 ·doi:10.1007/BF00935546 [20] A.R.连接；N.I.M.古尔德；Toint博士，对称秩一更新生成的拟Newton矩阵的收敛性，数学。编程，50，177-195（1991）·Zbl 0737.90062号 ·doi:10.1007/BF01594934 [21] Y.-H-Dai，非线性共轭梯度法《威利运营研究与管理科学百科全书》（2011年）。 [22] Y.-H.Dai，交替阶梯梯度法，AMSS-2001-041报告，中国科学院数学与系统科学研究院，2001年。 [23] 戴勇，无约束优化的非单调共轭梯度算法，J.Syst。科学。复杂。，15, 139-145 (2002) ·Zbl 1019.90039号 [24] Y.-H.Dai和R.Fletcher，一些新梯度方法的渐近性质《数值分析报告》，NA/212，数学系。英国苏格兰邓迪大学，2003年。 [25] 戴耀华；C.-X.Kou，一种具有最优性质和改进的wolfe线搜索的非线性共轭梯度算法，SIAM。J.Optim。，23, 296-320 (2013) ·Zbl 1266.49065号 ·数字对象标识代码：10.1137/100813026 [26] Y.-H.Dai；廖立中，新共轭条件及相关非线性共轭梯度法，应用。数学。最佳。，43, 87-101 (2001) ·Zbl 0973.65050号 ·doi:10.1007/s002450010019 [27] Y.-H.Dai；Liao，Barzilai和Borwein梯度法的R-线性收敛性，IMA J.Numer。分析。，22, 1-10 (2002) ·Zbl 1002.65069号 ·doi:10.1093/imanum/22.1.1 [28] Y.-H.Dai；Q.Ni，测试大规模无约束优化的不同共轭梯度方法，J.Compute。数学。，21, 311-320 (2003) ·Zbl 1041.65048号 [29] Z.Dai；F.Wen，另一种具有充分下降性的改进的Wei-Yao-Liu非线性共轭梯度法，Appl。数学。计算。，218, 7421-7430 (2012) ·Zbl 1254.65074号 ·doi:10.1016/j.amc.2011.12.091 [30] Y.-H.Dai；Y.Yuan，一种具有强全局收敛性的非线性共轭梯度方法，SIAM J.Optim。，10, 177-182 (1999) ·Zbl 0957.65061号 ·doi:10.1137/S1052623497318992 [31] Y.-H.Dai；Y.Yuan，无约束优化的一种有效的混合共轭梯度法，Ann.Oper。决议，103，33-47（2001）·Zbl 1007.90065号 ·doi:10.1023/A:1012930416777 [32] 戴永华、袁永华，一类全局收敛的共轭梯度法，研究报告ICM-98-030，中国科学院计算数学与科学/工程计算研究所，1998年·Zbl 1217.90159号 [33] Y.Dai；Y.Yuan，一类全局收敛的共轭梯度方法，Sci。中国Ser。A、 46251-261（2003年）·Zbl 1217.90159号 [34] Y.Dai；J.Yuan；袁永霞，无约束优化的改进两点步长梯度法，计算。最佳方案。申请。，22, 103-109 (2002) ·Zbl 1008.90056号 ·doi:10.1023/A:1014838419611 [35] Y.-H.Dai；Y.-X.Yuan，交替最小梯度法，IMA J.Numer。分析。，23, 377-393 (2003) ·Zbl 1055.65073号 ·doi:10.1093/imanum/23.3377 [36] Y.-H.Dai；袁永霞，单调梯度法分析，J.Ind.Manag。最佳。，1, 181-192 (2005) ·Zbl 1071.65084号 ·doi:10.3934/jimo.2005.1.181 [37] Y.-H.Dai和H.Zhang，一种自适应两点步长梯度法《研究报告》，中国科学院计算数学与科学/工程计算研究所，2001年。 [38] J.W.Daniel，线性和非线性算子方程的共轭梯度法，SIAM J.Numer。分析。，4, 10-26 (1967) ·兹比尔0154.40302 ·doi:10.1137/0704002 [39] S.Delladji、M.Belloufi和B.Sellami，无约束优化中PRP和HZ方法组合的行为，数值代数、控制与优化, (2020). [40] 丁勇；E.卢氏；Q.Li，无约束优化的拟Newton方法研究，国际计算机应用杂志，29，48-58（2010） [41] S.S.Djordjević，下降梯度法中乘法参数方法的两个修正，应用。数学、计算。，218, 8672-8683 (2012) ·Zbl 1245.65070号 ·doi:10.1016/j.amc.2012.02.029 [42] S.S.Djordjević，无约束优化方法：共轭梯度法和信赖域法，图书章节，2019。 [43] E.D.多兰；J.J.Moré，带性能曲线的基准优化软件，数学。程序。，91, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263 [44] M.S.Engelman；G.绞合线；K.-J.Bathe，拟牛顿方法在流体力学中的应用，国际。J.数字。方法工程，17，707-718（1981）·Zbl 0461.76020号 ·doi:10.1002/nme.1620170505 [45] D.K.Faddeev和I.S.Sominski，高等代数问题集。戈斯特基兹达特第二版，莫斯科，1949年。 [46] A.G.Farizawani、M.Puteh、Y.Marina和A.Rivaie，基于多变量共轭梯度法的人工神经网络学习规则综述，物理学杂志：会议系列, 1529 (2020). [47] R.Fletcher，实用优化方法，无约束优化第（1）版，威利出版社，纽约，1987年·Zbl 0905.65002号 [48] R.Fletcher；C.M.Reeves，共轭梯度函数最小化，计算。J.，7149-154（1964）·兹伯利0132.11701 ·doi:10.1093/comjnl/7.2.149 [49] J.C.吉尔伯特；J.Nocedal，共轭梯度优化方法的全局收敛性，SIAM J.Optim。，2, 21-42 (1992) ·Zbl 0767.90082号 ·doi:10.1137/0802003年 [50] A.A.Goldstein，《关于最陡下降》，J.SIAM Control Ser。A、 3147-151（1965）·Zbl 0221.65094号 ·数字对象标识代码：10.1137/0303013 [51] L.Grippo；F.Lampariello；S.Lucidi，牛顿法的非单调线搜索技术，SIAM J.Numer。分析。，23707-716（1986年）·Zbl 0616.65067号 ·doi:10.1137/0723046 [52] L.Grippo；F.Lampariello；S.Lucidi，无约束优化中的一类非单调稳定性方法，Numer。数学。，59, 779-805 (1991) ·Zbl 0724.90060号 ·doi:10.1007/BF01385810 [53] L.Grippo；F.Lampariello；S.Lucidi，无约束优化的非单调线搜索截断牛顿法，J.Optim。理论应用。，60, 401-419 (1989) ·Zbl 0632.90059号 ·doi:10.1007/BF00940345 [54] L.Grippo；M.Sciandone，Barzilai-Borwein梯度法的非单调全球化技术，计算。最佳方案。申请。，23, 143-169 (2002) ·Zbl 1028.90061号 ·doi:10.1023/A:1020587701058 [55] W.W.Hager；张浩，一种新的保下降共轭梯度法和有效的线性搜索，SIAM J.Optim。，16, 170-192 (2005) ·邮编1093.90085 ·doi:10.1137/030601880 [56] W.W.Hager；H.Zhang，算法851:CG_DESCENT，一种保证下降的共轭梯度法，ACM-Trans。数学。软件，32，113-137（2006）·Zbl 1346.90816号 ·数字对象标识代码：10.1145/1132973.1132979 [57] W.W.哈格；张浩，非线性共轭梯度法综述，太平洋。J.Optim。，2, 35-58 (2006) ·Zbl 1117.90048号 [58] L.Han；M.Neumann，结合准Newton和Cauchy方向，国际期刊应用。数学。，12, 167-191 (2003) ·Zbl 1042.90041号 [59] B.A.Hassan，基于新的拟Newton方程的新型拟Newton更新公式，Numer。代数控制优化。，10, 227-235 (2020) ·Zbl 1447.90074号 ·doi:10.3934/naco.2019049 [60] M.R.赫斯滕斯；E.Stiefel，求解线性系统的共轭梯度方法，J.Res.Nat.Bur。标准，49，409-436（1952）·Zbl 0048.09901号 ·doi:10.6028/jres.049.044 [61] 胡玉凤；C.Storey，共轭梯度法的全局收敛结果，J.Optim。理论应用。，71, 399-405 (1991) ·Zbl 0794.90063号 ·doi:10.1007/BF00939927 [62] S.Ishikawa，新迭代法的不动点，Proc。美国数学。《社会学杂志》，44，147-150（1974）·Zbl 0286.47036号 ·网址：10.1090/S0002-9939-1974-0336469-5 [63] B.Ivanov、P.S.Stanimirovć、G.V.Milovanović、S.Djordjević和I.Brajević），解决无约束优化问题的加速多步长方法，优化方法和软件, (2019). [64] Z.Jia，共轭梯度法在最优曲面参数化中的应用，国际计算杂志。数学。，87, 1032-1039 (2010) ·Zbl 1198.65040号 ·doi:10.1080/00207160802275951 [65] J.Jian；L.Han；X.Jiang，无约束优化问题的一种具有下降性质的混合共轭梯度法，应用。数学。型号。，39, 1281-1290 (2015) ·Zbl 1432.90145号 ·doi:10.1016/j.apm.2014.08.008 [66] S.H.Khan，Picard-Mann混合迭代过程，不动点理论应用。，2013（2013），文章编号：69，10页·Zbl 1317.47065号 [67] Z.Khanaiah；G.Hmod，《求解无约束优化问题的新型混合算法》，《国际物理化学与数学新研究杂志》，4，36-42（2017） [68] N.Kontrec；M.Petrović，《航空业未成年人成本优化梯度法的实施》，《大学思想》，自然科学出版社，6，71-74（2016）·doi:10.5937/univtho6-10134 [69] J.Kwon；P.Mertikopoulos，在线优化的连续时间方法，J.Dyn。奥运会，4125-148（2017）·Zbl 1359.90095号 ·doi:10.3934/jdg.2017008 [70] 李先生；B.S.Goh；H.G.哈诺；K.H.Lim，关于等式约束非线性优化的两阶段近似最大下降法，Numer。代数控制优化。，8, 315-326 (2018) ·Zbl 1407.49049号 ·文件编号：10.3934/naco.2018020 [71] D.-H.Li；M.Fukushima，一种改进的BFGS方法及其在非凸极小化中的全局收敛性，J.Compute。申请。数学。，129, 15-35 (2001) ·Zbl 0984.65055号 ·doi:10.1016/S0377-0427（00）00540-9 [72] 十、李；阮庆，优化问题的一种带信赖域的改进PRP共轭梯度算法，数值。功能。分析。最佳。，32, 496-506 (2011) ·Zbl 1230.65068号 ·doi:10.1080/01630563.2011.554948 [73] 十、李；C.沈；张力宏，线性响应特征值问题的投影预处理共轭梯度法，数值。代数控制优化。，8, 389-412 (2018) ·Zbl 1411.65058号 ·doi:10.3934/naco.2018025 [74] D.-H.Li；X.-L.Wang，对称非线性方程的修正Fletcher-Reeves型无导数方法，Numer。代数控制优化。，1, 71-82 (2011) ·Zbl 1386.65143号 ·doi:10.3934/naco.2011.1.71 [75] K.H.Lim；H.H.Tan；H.G.Harno，神经网络优化中的近似最大下降，Numer。代数控制优化。，8, 327-336 (2018) ·Zbl 1405.68294号 ·doi:10.3934/naco.2018021 [76] J.Liu，S.Du和Y.Chen，解（M）张量方程的一种充分下降非线性共轭梯度法，J.计算。申请。数学。第371页（2020年），第112709页，第11页·兹比尔1433.65115 [77] 刘建凯；李世杰，凸约束单调非线性方程的投影方法及其应用，计算。数学。申请。，70, 2442-2453 (2015) ·Zbl 1443.65073号 ·doi:10.1016/j.camwa.2015.09.014 [78] 刘毅（Y.Liu）；C.Storey，高效广义共轭梯度算法，第1部分：理论，J.Optim。理论应用。，69, 129-137 (1991) ·Zbl 0702.90077号 ·doi:10.1007/BF00940464 [79] 刘淇；X.Zou，带损失率的有限时域半马尔可夫决策过程的风险最小化问题，J.Dyn。奥运会，5143-163（2018）·Zbl 1406.90124号 ·doi:10.3934/jdg.2018009 [80] I.E.Livieris和P.Pintelas，基于修正正割方程的下降Dai-Liao共轭梯度法及其全局收敛性，ISRN计算数学，2012（2012），文章ID 435495·Zbl 1245.65067号 [81] M.Lotfi和S.M.Hosseini，通过重新计算搜索方向方程中的CG参数实现的高效Dai-Liao型共轭梯度法，J.计算。申请。数学。，371（2020），112708，15页·Zbl 1493.65111号 [82] Y.-Z.罗；G.-J.Tang；L.-N.Zhou，用混沌优化和拟牛顿方法求解非线性方程组的混合方法，应用软计算，81068-1073（2008）·doi:10.1016/j.soc.2007.05.013 [83] W.R.Mann，迭代中的平均值方法，Proc。阿默尔。数学。Soc.，4，506-510（1953年）·Zbl 0050.11603号 ·doi:10.1090/S0002-9939-1953-0054846-3 [84] 米拉迪诺维奇；P.Stanimirović；S.Miljković，解决大规模无约束极小化问题的标量校正方法，J.Optim。理论应用。，151, 304-320 (2011) ·Zbl 1229.90087号 ·doi:10.1007/s10957-011-9864-9 [85] S.K.Mishra和B.Ram，带R的无约束优化导论第（1）版，施普林格新加坡，施普林格自然新加坡私人有限公司，2019年·Zbl 1527.90225号 [86] I.S.Mohammed、M.Mamat、I.Abdulkarim和F.S.Bt.Mohamad，关于共轭梯度方法最近修改的调查，2015年深圳大学研究会议论文集（URC 5）苏丹扎伊纳尔·阿比丁大学，2015年4月14日至16日。 [87] H.穆罕默德；M.Y.Waziri；S.A.Santos，《解决非线性最小二乘问题方法的简要概述》，Numer。代数控制优化。，9, 1-13 (2019) ·Zbl 1477.65094号 ·doi:10.3934/naco.2019001 [88] Y.Narushima；H.Yabe，无约束优化的充分下降共轭梯度法综述，SUT J.Math。，50, 167-203 (2014) ·Zbl 1329.90142号 [89] J.L.Nazareth，共轭梯度方法，收录于：C.Floudas和P.Pardalos（编辑），《优化百科全书》，第二版，斯普林格，波士顿，2009年。 [90] J.Nocedal和S.J.Wright，数值优化纽约斯普林格出版社，1999年·Zbl 0930.65067号 [91] W.F.H.W.Osman，M.A.H.Ibrahim和M.Mamat，求解无约束优化问题的混合DFP-CG方法，物理学杂志：Conf.系列, 890 (2017), 012033. [92] S.Panić；M.J.Petrović；M.Mihajlov Carević，混合加速梯度下降过程的初步改进，公牛。澳大利亚。数学。Soc.，98，331-338（2018年）·Zbl 1461.65181号 ·doi:10.1017/S0004972718000552 [93] A.Perry，一种改进的共轭梯度算法，Oper。决议，261073-1078（1978）·Zbl 0419.90074号 ·doi:10.1287/opre.26.6.1073 [94] M.J.Petrović，无约束优化中的加速双步长方法，应用数学。计算。，250, 309-319 (2015) ·Zbl 1328.90115号 ·doi:10.1016/j.amc.2014.10.104 [95] M.J.Petrović；N.Kontrec；S.Panić，基于泰勒级数的梯度下降迭代中加速因子的确定，大学思想，自然科学出版物，7，41-45（2017）·doi:10.5937/univtho7-14337 [96] M.J.Petrović；V.Rakoćević；N.Kontrec；S.Panić；D.Ilić，加速梯度下降法的杂交，数值。算法，79，769-786（2018）·Zbl 1464.65057号 ·文件编号：10.1007/s11075-017-0460-4 [97] M.J.Petrović；V.Rakoćević；D.Valjarević；D.Ilić，关于杂交过程应用于转换双步长模型的注释，《数值算法》，85，449-465（2020）·Zbl 1462.65070号 ·doi:10.1007/s11075-019-00821-8 [98] M.J.Petrović和P.S.Stanimirović，求解无约束优化问题的加速双向方法，数学。问题。工程师。，2014（2014），文章ID 965104，8页·Zbl 1407.90262号 [99] M.J.Petrović、P.S.Stanimirovć、N.Kontrec和J.Mladenović，加速双向法的混合改进，数学。问题。工程师。，2018（2018），文章ID 1523267，8页·Zbl 1426.90199号 [100] 佩哈米先生；H.Ahmadzadeh；A.Fazli，Dai Liao家族中一类新的高效且全局收敛的共轭梯度方法，Optim。方法软件。，30, 843-863 (2015) ·Zbl 1328.90143号 ·doi:10.1080/10556788.2014.1001511 [101] E.Picard，《方程辅助导数部分和近似序列方法的记忆》，J.Math。Pures应用。，6145-210年（1890年） [102] E.Polak和G.Ribière，《关于方向共轭方法收敛性的注》，Française Imformat Recherche Opértionelle牧师, 3 (1969), 35-43. ·Zbl 0174.48001号 [103] B.T.Polyak，极端问题中的共轭梯度法，苏联计算。数学。和数学。物理。，9, 94-112 (1969) ·Zbl 0229.49023号 ·doi:10.1016/0041-5553（69）90035-4 [104] M.J.D.Powell，使用拉格朗日函数的非线性约束算法，数学。编程，14，224-248（1978）·Zbl 0383.90092号 ·doi:10.1007/BF01588967 [105] M.Raydan，关于Barzilai和Borwein梯度法步长的选择，IMA J.Numer。分析。，13, 321-326 (1993) ·Zbl 0778.65045号 ·doi:10.1093/imanum/13.3321 [106] M.Raydan，大规模无约束极小化问题的Barzilai和Borwein梯度法，SIAM J.Optim。，7, 26-33 (1997) ·Zbl 0898.90119号 ·doi:10.1137/S1052623494266365 [107] M.Raydan；B.F.Svaiter，松弛最速下降和Cauchy-Barzilai-Borwein方法，计算。最佳方案。申请。，21, 155-167 (2002) ·Zbl 0988.90049号 ·doi:10.1023/A:1013708715892 [108] N.Shapiee；M.Rivaie；M.Mamat；P.L.Ghazali，共轭梯度系数的新族及其应用，《国际工程技术杂志》，7，36-43（2018）·doi:10.14419/ijet.v7i3.28.20962 [109] 石振杰，无约束优化中线搜索方法的收敛性，应用。数学。计算。，157, 393-405 (2004) ·兹比尔1072.65087 ·doi:10.1016/j.amc.2003.08.058 [110] S.Shoid；N.Shapiee；N.Zull；N.H.A.Ghani；N.S.穆罕默德；M.Rivaie；M.Mamat，《新共轭梯度法在估算数据中的应用》，《国际工程技术杂志》，2018年第7期，第25-27页·doi:10.14419/ijet.v7i2.14.11147 [111] H.S.Sim；梁伟杰（W.J.Leong）；陈春云；S.N.I.Ibrahim，用于大规模无约束优化的具有修正弱割线关系的多级谱梯度方法，数字。代数控制优化。，8, 377-387 (2018) ·Zbl 07006517号 ·doi:10.3934/naco.2018024 [112] P.S.Stanimirović；B.伊万诺夫；S.Djordjević；I.Brajević，新杂交共轭梯度和Broyden-Fletcher-Goldfarb-Shanno共轭梯度方法，J.Optim。理论应用。，178, 860-884 (2018) ·Zbl 1409.90193号 ·doi:10.1007/s10957-018-1324-3 [113] P.S.Stanimirović；V.N.Katsikis；D.Pappas，基于秩一更新的（2，4）和（2，3）-逆的计算，线性多线性代数，66，147-166（2018）·Zbl 1388.15004号 ·doi:10.1080/03081087.2017.1290042 [114] P.S.Stanimirović；V.N.Katsikis；D.Pappas，利用Sherman-Morrison公式计算（2,4}）和（2,3}）-逆，应用。数学。计算。，273, 584-603 (2015) ·Zbl 1410.15014号 ·doi:10.1016/j.amc.2015.10.023 [115] P.S.Stanimirović；M.B.Miladinović，带线搜索的加速梯度下降法，数值。阿尔及利亚。，54003-520（2010年）·Zbl 1198.65104号 ·doi:10.1007/s11075-009-9350-8 [116] P.S.Stanimirovć，G.V.Milovanović，M.J.Petrović和N.Z.Kontrec，无约束优化加速双步长法的转换，数学。问题。工程师。，2015（2015），文章ID 283679，8页·Zbl 1394.65043号 [117] W.Sun；J.Han；Sun，无约束优化问题非单调下降法的全局收敛性，J.Comp。申请。数学。，146, 89-98 (2002) ·Zbl 1007.65044号 ·doi:10.1016/S0377-0427（02）00420-X [118] Z.孙；T.Sugie，基于分布式梯度的多智能体协调控制系统中Hessian矩阵的识别，Numer。代数控制优化。，9，297-318（2019）·Zbl 1422.93011号 ·doi:10.3934/naco.2019020 [119] 孙文华、袁义霞，优化理论与方法：非线性规划，（1^{st}）版，施普林格，纽约，2006·邮编1129.90002 [120] Toint博士，凸约束非线性优化的非单调信赖域算法，数学。掠夺。，77, 69-94 (1997) ·Zbl 0891.90153号 ·doi:10.1007/BF02614518 [121] D.图阿提·阿赫迈德；C.Storey，高效混合共轭梯度技术，J.Optim。理论应用。，64, 379-397 (1990) ·Zbl 0666.90063号 ·doi:10.1007/BF00939455 [122] M.N.Vrahatis；G.S.Androulakis；J.N.Lambrinos；G.D.Magoulas，一类具有自适应步长的梯度无约束最小化算法，J.Comp。申请。数学。，114, 367-386 (2000) ·Zbl 0958.65072号 ·doi:10.1016/S0377-0427（99）00276-9 [123] Z.Wei；G.李；李琦，无约束优化问题的新拟牛顿方法，应用。数学。计算。，1751156-1188（2006年）·Zbl 1100.65054号 ·doi:10.1016/j.amc.2005.08.027 [124] Z.Wei；G.李；李琦，大型无约束优化问题的新非线性共轭梯度公式，应用。数学。计算。，179, 407-430 (2006) ·Zbl 1106.65055号 ·doi:10.1016/j.amc.2005.11.10 [125] Z.Wei；姚明；刘磊，一些新共轭梯度法的收敛性，应用。数学。计算。，183, 1341-1350 (2006) ·Zbl 1116.65073号 ·doi:10.1016/j.amc.2006.05.150 [126] P.Wolfe，上升法的收敛条件，SIAM Rev.，11226-235（1969）·Zbl 0177.20603号 ·数字对象标识代码：10.1137/1011036 [127] M.Xi；W.孙；J.Chen，无导数优化综述，数值。代数控制优化。，10, 537-555 (2020) ·Zbl 1452.90323号 ·doi:10.3934/naco.2020050 [128] Y.Xiao；朱浩，求解凸约束单调方程的共轭梯度法及其在压缩传感中的应用，J.Math。分析。申请。，405, 310-319 (2013) ·Zbl 1316.90050号 ·doi:10.1016/j.jmaa.2013.04.017 [129] H.Yabe；M.Takano，带修正割线条件的非线性共轭梯度法的全局收敛性，计算。最佳方案。申请。，28, 203-225 (2004) ·Zbl 1056.90130号 ·doi:10.1023/B:COAP.000026885.81997.88 [130] X.Yang，Z.Luo和X.Dai，LS-CD混合共轭梯度法的全局收敛性，高级数字。分析。，2013（2013），文章ID 517452，5 pp·Zbl 1292.65066号 [131] S.Yao，X.Lu和Z.Wei，大规模无约束优化问题的全局收敛共轭梯度法，J.应用。数学。，2013（2013），文章ID 730454，9 pp·Zbl 1397.65092号 [132] G.元；Z.Wei，基于凸极小的改进BFGS方法的收敛性分析，Comp。最佳方案。申请。，47, 237-255 (2010) ·Zbl 1228.90077号 ·doi:10.1007/s10589-008-9219-0 [133] 姚明；Z.Wei；黄宏，关于WYL共轭梯度法及其应用的注记，应用。数学。计算。，191381-388（2007年）·Zbl 1193.90213号 ·doi:10.1016/j.amc.2007.02.094 [134] Y.Yuan，最速下降法的新步长，J.Compute。数学。，24, 149-156 (2006) ·Zbl 1101.65067号 [135] G.元；T.Li；胡伟，用于大规模非线性方程和图像恢复问题的共轭梯度算法，应用。数字。数学。，147, 129-141 (2020) ·Zbl 1433.90165号 ·doi:10.1016/j.apnum.2019.08.022 [136] G.Yuan，T.Li和W.Hu，共轭梯度算法及其在大规模优化问题和图像恢复中的应用，J.不平等。申请。，2019（2019），文章编号：247，25 pp·Zbl 1499.90131号 [137] G.元；Z.Wei；吴彦，无约束优化中带非单调线搜索的改进有限记忆BFGS方法，韩国数学杂志。Soc.，47，767-788（2010年）·Zbl 1193.65105号 ·doi:10.4134/JKMS.2010.47.4.767 [138] 张磊，用于优化计算的一种改进的魏耀柳非线性共轭梯度法，应用。数学。计算。，215, 2269-2274 (2009) ·Zbl 1181.65089号 ·doi:10.1016/j.amc.2009.08.016 [139] Y.Zheng；郑斌，无约束优化问题的两种新的Dai-Liao型共轭梯度法，J.Optim。理论应用。，175, 502-509 (2017) ·Zbl 1380.65108号 ·doi:10.1007/s10957-017-1140-1 [140] H.Zhong；G.Chen；郭晓霞，中心Lipschitz条件下Newton-HSS方法的半长收敛性，数值。代数控制优化。，9, 85-99 (2019) ·Zbl 1422.65064号 ·doi:10.3934/naco.2019007 [141] 周西；L.Zhang，一种基于MBFGS割线条件的非线性共轭梯度方法，Optim。方法软件。，21, 707-714 (2006) ·Zbl 1112.90096号 ·doi:10.1080/10556780500137041 [142] G.Zoutendijk，非线性规划，计算方法，In:J.Abadie（eds.）：整数与非线性规划，阿姆斯特丹北荷兰德，（1970年），37-86·Zbl 0336.90057号 [143] N.Zull；N.’Aini；M.Rivaie；M.Mamat，求解线性回归模型的一种新梯度方法，国际近期技术与工程杂志，7624-630（2019） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。