×

线性约束优化问题的部分谱投影梯度法及主动集策略。 (英语) Zbl 1185.65096号

研究了线性不等式约束下连续可微函数(f:mathbb{R}^n到mathbb}R})的极小化问题。提出了一种基于松弛形式的谱投影梯度(SPG)方法的新算法。该算法克服了SPG方法的主要缺点,即计算投影代价昂贵。新算法扩大了投影必须计算到的集合,并将类SPG迭代与“本质上”无约束迭代相结合,这很容易计算。仔细管理每次迭代时必须保留的约束条件,就产生了本文提出的部分投影梯度算法。证明了该算法的收敛性,并讨论了其实际实现。CUTE库中示例的数值试验结果报告放在论文的最后部分。

MSC公司:

65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Abadie,J.:GRG方法的修改。RAIRO操作。第323–326号决议(1979年)·Zbl 0412.90061号
[2] Abadie,J.、Guerrero,G.:广义约化梯度法(GRG)、全局牛顿法及其在数学规划中的应用。RAIRO操作。第18号决议,319–351(1984年)·兹伯利0551.90081
[3] Andreani,R.,Birgin,E.G.,Martínez,J.M.,Schuverdt,M.L.:关于具有一般低层约束的增广拉格朗日方法。SIAM J.优化。18, 1286–1309 (2007) ·Zbl 1151.49027号 ·数字对象标识代码:10.1137/060654797
[4] Andreani,R.,Birgin,E.G.,Martínez,J.M.,Schuverdt,M.L.:恒定正线性相关约束条件下的增广拉格朗日方法。数学。程序。111, 5–32 (2008) ·Zbl 1163.90041号 ·doi:10.1007/s10107-006-0077-1
[5] Andreani,R.,Birgin,E.G.,Martínez,J.M.,Yuan,J.-Y.:线性不等式优化的谱投影梯度和可变度量方法。IMA J.数字。分析。25, 221–252 (2005) ·Zbl 1072.90051号 ·doi:10.1093/imanum/drh020
[6] Andretta,M.,Birgin,E.G.,Martínez,J.M.:实用的活动集欧几里德信任区域方法,带有用于有界约束最小化的谱投影梯度。优化54,305–325(2005)·兹比尔1079.65070 ·doi:10.1080/02331930500100270
[7] Andretta,M.,Birgin,E.G.,Martínez,J.M.:线性约束优化的活性集策略的部分光谱投影梯度法。技术报告MCDO090309(参见http://www.ime.usp.br/gbirgin网站/),巴西UNICAMP应用数学系(2009年)·Zbl 1185.65096号
[8] Barzilai,J.,Borwein,J.M.:两点步长梯度法。IMA J.数字。分析。8, 141–148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[9] Bello,L.,Raydan,M.:地震反射层析成像问题的凸约束优化。J.应用。地球物理学。62, 158–166 (2007) ·doi:10.1016/j.japgeo.2006.10.004
[10] Bertsekas,D.P.:关于Goldstein-Levitin-Polyak梯度投影法。IEEE传输。自动化。合同。21, 174–184 (1976) ·兹伯利0326.49025 ·doi:10.1109/TAC.1976.1101194
[11] Birgin,E.G.,Biloti,R.,Tygel,M.,Santos,L.T.:受限优化:快速准确实施公共反射面方法的线索。J.应用。地球物理学。42, 143–155 (1999) ·doi:10.1016/S0926-9851(99)00035-X
[12] Birgin,E.G.,Castillo,R.,Martínez,J.M.:非凸问题增广拉格朗日算法的数值比较。计算。最佳方案。申请。31, 31–56 (2005) ·Zbl 1101.90066号 ·doi:10.1007/s10589-005-1066-7
[13] Birgin,E.G.,Evtushenko,Y.G.:最优控制问题的自动微分和光谱投影梯度方法。最佳方案。方法软件。10, 125–146 (1998) ·Zbl 0943.65073号 ·数字对象标识代码:10.1080/10556789808805707
[14] Birgin,E.G.,Martínez,J.M.:具有负曲率方向和谱投影梯度的箱约束优化算法。计算。【补充】15、49–60(2001)·Zbl 1002.65067号
[15] Birgin,E.G.,Martínez,J.M.:具有谱投影梯度的大规模活动集箱约束优化方法。计算。最佳方案。申请。23, 101–125 (2002) ·Zbl 1031.90012号 ·doi:10.1023/A:1019928808826
[16] Birgin,E.G.,Martínez,J.M.:用于增广拉格朗日优化的结构化最小记忆非精确拟Newton方法和正割预条件。计算。最佳方案。申请。39, 1–16 (2008) ·兹比尔1147.90412 ·doi:10.1007/s10589-007-9050-z
[17] Birgin,E.G.,Martínez,J.M.,Raydan,M.:凸集上的非单调谱投影梯度方法。SIAM J.优化。10, 1196–1211 (2000) ·Zbl 1047.90077号 ·doi:10.1137/S1052623497330963
[18] Birgin,E.G.、Martínez,J.M.、Raydan,M.:算法813:SPG–凸约束优化软件。ACM事务处理。数学。柔和。27, 340–349 (2001) ·Zbl 1070.65547号 ·数字对象标识代码:10.1145/502800.502803
[19] Birgin,E.G.,Martínez,J.M.,Raydan,M.:凸集上的非精确谱投影梯度方法。IMA J.数字。分析。23, 539–559 (2003) ·Zbl 1047.65042号 ·doi:10.1093/imanum/23.4539
[20] Bongartz,I.,Conn,A.R.,Gould,N.I.M.,Toint,Ph.L.:CUTE:约束和非约束测试环境。ACM事务处理。数学。柔和。21, 123–160 (1995) ·Zbl 0886.65058号 ·doi:10.1145/200979.201043
[21] Conn,A.R.,Gould,N.I.M.,Sartenaer,A.,Toint,Ph.L.:一般等式和线性约束组合优化的增广拉格朗日算法的收敛性。SIAM J.优化。6, 674–703 (1996) ·Zbl 0856.90098号 ·doi:10.1137/S1052623493251463
[22] Cores,D.,Loreto,M.:转换波的广义两点椭球各向异性射线追踪。选择。工程8,373–396(2007)·兹比尔1175.74053 ·doi:10.1007/s11081-007-9020-4
[23] Dai,Y.H.:交替阶梯梯度法。优化52、395–415(2003)·Zbl 1056.65055号 ·doi:10.1080/02331930310001611547
[24] Dai,Y.H.,Fletcher,R.:大型箱约束二次规划的投影Barzilai-Borwein方法。数字。数学。100, 21–47 (2005) ·Zbl 1068.65073号 ·doi:10.1007/s00211-004-0569-y
[25] Dai,Y.H.,Fletcher,R.:关于一些新梯度方法的渐近行为。数学。程序。103, 541–559 (2005) ·Zbl 1099.90038号 ·doi:10.1007/s10107-004-0516-9
[26] Dai,Y.H.,Fletcher,R.:具有下界和上界的线性约束二次规划的新算法。数学。程序。106, 403–421 (2005) ·Zbl 1134.90030号 ·doi:10.1007/s10107-005-0595-2
[27] Dai,Y.H.,Hager,W.W.,Schittkowski,K.,Zhang,H.C.:无约束优化的循环Barzilai-Borwein方法。IMA J.数字。分析。26, 604–627 (2006) ·Zbl 1147.65315号 ·doi:10.1093/imanum/drl006
[28] Dai,Y.H.,Zhang,H.C.:自适应两点步长梯度算法。数字。算法27,377–385(2001)·Zbl 0992.65063号 ·doi:10.1023/A:1013844413130
[29] Deidda,G.P.,Bonomi,E.,Manzi,C.:用Tikhonov正则化方法反演电导率数据:一些考虑因素。地球物理学年鉴。46, 549–558 (2003)
[30] Diniz-Ehrhardt,M.A.、Gomes-Ruggiero,M.A.,Martínez,J.M.、Santos,S.A.:基于谱投影梯度的增广拉格朗日算法,用于解决非线性规划问题。J.优化。理论应用。123, 497–517 (2004) ·兹比尔1186.90109 ·doi:10.1007/s10957-004-5720-5
[31] Dolan,E.D.,Moré,J.J.:用性能曲线对优化软件进行基准测试。数学。程序。91, 101–213 (2002) ·邮编:1049.90004 ·doi:10.1007/s101070100263
[32] Fletcher,R.:关于Barzilai-Borwein方法。苏格兰邓迪,NA/207,邓迪大学数学系(2001年)·Zbl 1118.90318号
[33] Friedlander,A.、Martínez,J.M.、Molina,B.、Raydan,M.:具有延迟和推广的梯度法。SIAM J.数字。分析。36, 275–289 (1998) ·Zbl 0940.65032号 ·doi:10.1137/S003614299427315X
[34] Gabay,D.,Luenberger,D.G.:基于简化梯度的高效收敛最小化方法。SIAM J.控制14,42–61(1976)·Zbl 0342.90043号 ·数字对象标识代码:10.1137/0314004
[35] Gill,P.E.,Golub,G.H.,Murray,W.,Saunders,M.A.:修改矩阵分解的方法。数学。计算。28, 505–535 (1974) ·Zbl 0289.65021号 ·doi:10.1090/S0025-5718-1974-0343558-6
[36] Goldfarb,D.,Idnani,A.:求解严格凸二次规划的数值稳定对偶方法。数学。程序。27, 1–33 (1983) ·Zbl 0537.90081号 ·doi:10.1007/BF02591962
[37] Goldstein,A.A.:希尔伯特空间中的凸规划。牛市。美国数学。Soc.70709-710(1964年)·Zbl 0142.17101号 ·doi:10.1090/S0002-9904-1964-1178-2
[38] Gomes-Ruggiero,M.A.,Martínez,J.M.,Santos,S.A.:非凸约束最小化的不精确恢复谱投影梯度法。SIAM科学杂志。计算。31, 1628–1652 (2009) ·Zbl 1220.90123号 ·doi:10.1137/070707828
[39] Gonzaga,C.C.,Karas,E.,Vanti,M.:非线性规划的全局收敛滤波方法。SIAM J.优化。14, 646–669 (2003) ·Zbl 1079.90129号 ·doi:10.1137/S1052623401399320
[40] Grippo,L.,Lampariello,F.,Lucidi,S.:牛顿方法的非单调线搜索技术。SIAM J.数字。分析。23, 707–716 (1986) ·Zbl 0616.65067号 ·doi:10.1137/0723046
[41] Grippo,L.,Sciandone,M.:Barzilai-Borwein梯度法的非单调全球化技术。计算。最佳方案。申请。23, 143–169 (2002) ·Zbl 1028.90061号 ·doi:10.1023/A:1020587701058
[42] Grippo,L.,Sciandone,M.:非线性方程的非单调无导数方法。计算。最佳方案。申请。37, 297–328 (2007) ·兹比尔1180.90310 ·doi:10.1007/s10589-007-9028-x
[43] 江,Z.:条件非线性最优摄动在木星大气稳定性和敏感性研究中的应用。高级大气。科学。23, 775–783 (2006) ·doi:10.1007/s00376-006-0775-x
[44] Jüdice,J.J.,Raydan,M.,Rosa,S.S.,Santos,S.A.:关于用谱投影梯度算法求解对称特征值互补问题。数字。算法47、391–407(2008)·Zbl 1144.65042号 ·doi:10.1007/s11075-008-9194-7
[45] Levitin,E.S.,Polyak,B.T.:约束最小化问题。苏联计算。数学。数学。物理学。6, 1–50 (1966) ·Zbl 0161.07002号 ·doi:10.1016/0041-5553(66)90114-5
[46] Martínez,J.M.:非线性规划的拉格朗日切线减少和新价值函数的非精确重存储方法。J.优化。理论应用。111, 39–58 (2001) ·Zbl 1052.90089 ·doi:10.1023/A:1017567113614
[47] Martínez,J.M.,Pilotta,E.A.:约束优化的不精确重存储算法。J.优化。理论应用。104, 135–163 (2000) ·Zbl 0969.90094号 ·doi:10.1023/A:1004632923654
[48] Martínez,J.M.,Pilotta,E.A.,Raydan,M.:线性约束优化的谱梯度方法。J.优化。理论应用。125, 629–651 (2005) ·Zbl 1079.90164号 ·doi:10.1007/s10957-005-2093-3
[49] Murtagh,B.A.,Saunders,M.A.:大规模线性约束优化。数学。程序。14, 41–72 (1978) ·Zbl 0383.90074号 ·doi:10.1007/BF01588950
[50] Powell,M.J.D.:关于Goldfarb和Idnani的二次规划算法。数学。程序。螺柱25、46–61(1985)·Zbl 0584.90069号
[51] Powell,M.J.D.:线性约束优化计算的容错算法。数学。程序。45, 547–566 (1989) ·Zbl 0695.90084号 ·doi:10.1007/BF01589118
[52] Ramirez Porras,A.,Vargas Castro,W.E.:可见光通过氧化铜膜的透射:使用光谱投影梯度法的可行性。申请。选择。43, 1508–1514 (2004) ·doi:10.1364/AO.43.001508
[53] Raydan,M.:关于Barzilai和Borwein梯度法步长的选择。IMA J.数字。分析。13, 321–326 (1993) ·Zbl 0778.65045号 ·doi:10.1093/imanum/13.3321
[54] Raydan,M.:大规模无约束最小化问题的Barzilai和Borwein梯度法。SIAM J.优化。7, 26–33 (1997) ·Zbl 0898.90119号 ·doi:10.1137/S1052623494266365
[55] Raydan,M.,Svaiter,B.F.:松弛最陡下降和Cauchy-Barzilai-Borwein方法。计算。最佳方案。申请。21, 155–167 (2002) ·Zbl 0988.90049号 ·doi:10.1023/A:1013708715892
[56] Rosen,J.B.:非线性规划的梯度投影法2。线性约束。J.Soc.Ind.申请。数学。8, 181–217 (1960) ·Zbl 0099.36405号 ·数字对象标识代码:10.1137/0108011
[57] Schittkowski,K.:QL:凸二次规划的Fortran代码。用户指南,2.1版(2004)
[58] Serafini,T.、Zanghirati,G.、Zanni,L.:二次规划的梯度投影方法及其在训练支持向量机中的应用。最佳方案。方法软件。20, 347–372 (2005) ·Zbl 1072.90026号
[59] Toint,Ph.L.:无约束优化中非单调线搜索技术的评估。SIAM科学杂志。计算。17, 725–739 (1996) ·Zbl 0849.90113号 ·doi:10.1137/S106482759427021X
[60] Vargas,W.E.,Azofeifa,D.E.,Clark,N.:通过应用光谱投影梯度法从透射率测量中恢复吸收衬底上薄膜的光学特性。固体薄膜425,1-8(2003)·doi:10.1016/S0040-6090(02)01117-3
[61] Wächter,A.,Biegler,L.T.:关于大规模非线性规划的点内滤波器线性搜索算法的实现。数学。程序。106, 25–57 (2006) ·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y
[62] Wang,C.Y.,Liu,Q.:不精确投影梯度法的收敛性。优化55、301–310(2006)·Zbl 1124.90036号 ·doi:10.1080/0233193600711448
[63] Wang,C.Y.,Liu,Q.,Yang,X.M.:非单调谱投影梯度法的收敛性。J.计算。申请。数学。182, 51–66 (2005) ·Zbl 1072.90052号 ·doi:10.1016/j.cam.2004.10.018
[64] Yuan,Y.-X.:最速下降法的新步长。J.计算。数学。24, 149–156 (2006) ·Zbl 1101.65067号
[65] Zeev,N.,Savasta,O.,Cores,D.:应用于全波形反演的非单调谱投影梯度法。地球物理学。前景。54, 525–534 (2006) ·doi:10.1111/j.1365-2478.2006.00554.x
[66] Zhang,H.,Hager,W.W.:非单调线搜索技术及其在无约束优化中的应用。SIAM J.优化。14, 1043–1056 (2004) ·兹比尔1073.90024 ·doi:10.1137/S1052623403428208
[67] Zhang,L.,Zhou,W.J.:解非线性单调方程的谱梯度投影法。J.计算。申请。数学。196, 478–484 (2006) ·Zbl 1128.65034号 ·doi:10.1016/j.cam.2005.10.002
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。