文章

信赖域步长的子空间最小化方法

作者:

詹妮弗·B·。埃尔韦和

菲利普·E·。腮作者信息和声明

SIAM优化期刊,体积20,问题三

页1439-1461

https://doi.org/10.1137/08072440X

出版:2009年11月1日出版历史

摘要

我们考虑基于寻找二次函数在两范数信任域约束下的近似极小值的大规模无约束极小化方法。Steihaug-Toint方法使用共轭梯度法最小化扩展子空间序列上的二次方，直到迭代收敛到内部点或跨越约束边界。然而，如果共轭梯度法与预处理子一起使用，则Steihaug-Toint方法要求根据预处理矩阵定义信任区域范数。如果每个子问题使用不同的预处理子，信任区域的形状可以从一个子问题到下一个子问题发生实质性变化，这使得调整信任区域半径的标准方法所依据的许多假设无效。在本文中，我们提出了一种允许独立于预条件定义信任区域范数的方法。该方法求解了演化低维子空间序列上不等式约束的信任域子问题。每个子空间都包含一个加速器方向，该方向由正则化牛顿方法定义，以满足原对偶内点法的最优性条件。这个方向的一个关键特性是，它可以通过将预处理共轭梯度方法应用于信任域子问题的原变量和对偶变量中的正定系统来计算。对CUTEr测试集合中的问题进行的数值实验表明，与其他方法相比，该方法所需的功能评估要少得多。此外，使用通用预处理程序的实验表明，相对于不进行预处理的情况，可以显著减少矩阵向量乘积的数量。

工具书类

[1]

I.Bongartz，A.R.Conn，N.I.M.Gould，和Ph.L.Toint，CUTE：约束和非约束测试环境，ACM Trans。数学。《软件》，21（1995），第123-160页。

[2]

A.R.Conn、N.I.M.Gould和P.-L.Toint，信任区域方法，SIAM，费城，2000年。

[3]

E.D.Dolan和J.J.Moré，具有COPS的基准优化软件《ANL/MCS-TM-246技术备忘录》，阿贡国家实验室，伊利诺伊州阿贡，2000年。

[4]

J.B.Erway和P.E.Gill，信赖域步长的内点子空间最小化方法《数值分析报告08-1》，加州大学数学系，圣地亚哥，拉霍亚，加利福尼亚州，2008年。

[5]

J.B.Erway、P.E.Gill和J.D.Griffin，寻找信任区域步骤的迭代方法，SIAM J.Optim。，20（2009年），第1110-1131页。

[6]

A.Forsgren，P.E.Gill和J.D.Griffin，内点方法中产生的增广系统的迭代解，SIAM J.Optim。，18（2007年），第666-690页。

[7]

A.Forsgren、P.E.Gill和M.H.Wright，非线性优化的内部方法，SIAM Rev.，44（2002），第525-597页。

[8]

D.M.Gay，计算最优局部约束步长，SIAM J.Sci。统计师。计算。，2（1981），第186-197页。

[9]

E.M.Gertz，无约束优化的组合信赖域线搜索方法1999年，加州大学圣地亚哥分校数学系博士论文。

[10]

E.M.Gertz，一种准纽顿信任区域方法，数学。程序。，100（2004年），第447-470页。

[11]

N.I.M.Gould、S.Lucidi、M.Roma和Ph.L.Toint，使用Lanczos方法解决信任区域子问题，SIAM J.Optim。，9（1999），第504-525页。

[12]

N.I.M.Gould，D.Orban和Ph.L.Toint，CUTEr和SifDec:受限和非受限测试环境，重访ACM Trans。数学。《软件》，29（2003），第373-394页。

[13]

W.W.Hager，最小化球面上的二次型，SIAM J.Optim。，12（2001），第188-208页。

[14]

W.W.Hager和S.Park，最小化球面上二次型的SSM的全局收敛性，数学。公司。，74（2004），第1413-1423页。

[15]

C.Keller、N.I.M.Gould和A.J.Wathen，《不定线性系统的约束预处理》，SIAM J.矩阵分析。申请。，21（2000），第1300-1317页。

[16]

C.-J.Lin和J.J.Moré，记忆有限的不完全Cholesky因子分解，SIAM J.Sci。计算。，21（1999），第24-45页。

[17]

J.J.Moré和D.C.Sorensen，计算信任区域步骤，SIAM J.Sci。统计师。计算。，4（1983年），第553-572页。

[18]

J.J.Moré和D.C.Sorensen，牛顿法，数学硕士，数值分析研究。，24，G.H.Golub主编，美国数学协会，华盛顿特区，1984年，第29-82页。

[19]

S.G.Nash，通过Lanczos方法实现牛顿型最小化，SIAM J.Numer。分析。，21（1984），第770-788页。

[20]

C.C.Paige和M.A.Saunders，稀疏线性方程组的解，SIAM J.Numer。分析。，第12页（1975年），第617-629页。

[21]

F.Rendl和H.Wolkowicz，信赖域子问题的半定框架及其在大规模最小化中的应用，数学。《程序设计》，77（1997），第273-299页。

[22]

M.Rojas、S.A.Santos和D.C.Sorensen，大规模信任区域子问题的一种新的无矩阵算法，SIAM J.Optim。，11（2000），第611-646页。

[23]

M.Rojas和D.C.Sorensen，大规模离散形式病态问题正则化的信任区域方法，SIAM J.Sci。计算。，23（2002），第1842-1860页。

[24]

D.C.Sorensen，模型信赖域修正的牛顿方法，SIAM J.Numer。分析。，19（1982），第409-426页。

[25]

D.C.Sorensen，球面约束下大型二次函数的最小化，SIAM J.Optim。，7（1997），第141-161页。

[26]

T.Steihaug，共轭梯度法和大规模优化中的信赖域，SIAM J.Numer。分析。，20（1983年），第626-637页。

[27]

Ph.L.厕所，一种高效的稀疏性牛顿最小化方法《稀疏矩阵及其使用》，I.S.Duff主编，学术出版社，伦敦，纽约，1981年，第57-88页。

[28]

袁永霞，关于截断共轭梯度法，数学。程序。，87（2000），第561-573页。

引用人

布鲁斯特J布尔达科夫OErway J公司马西娅·R(2022)算法1030:SC-SR1:MATLAB有限内存SR1信任域方法软件ACM数学软件汇刊10.1145/355026948:4(1-33)在线发布日期：2022年12月19日
https://dl.acm.org/doi/10.1145/3550269
黄W盖利凡·K(2022)具有重启策略的有限内存黎曼对称秩一信任域方法科学计算杂志2007年10月10日/10915-022-01962-093:1在线发布日期：2022年10月1日
https://dl.acm.org/doi/10.1007/s10915-022-01962-0
李明（Li M）刘浩刘Z(2018)无约束优化问题的一种新的非单调线搜索子空间极小化共轭梯度法数值算法2007年10月10日/11075-017-0434-679:1(195-219)在线发布日期：2018年9月1日
https://dl.acm.org/doi/10.1007/s11075-017-0434-6
显示更多引用者

索引术语

信赖域步长的子空间最小化方法
1. 信息系统
  1. 数据管理系统
    1. 数据库管理
      1. 数据字典
2. 计算理论
  1. 算法的设计和分析
    1. 数学优化

索引项已通过自动分类分配给内容。

建议

寻找信赖域步长的迭代方法

我们考虑大规模无约束极小化方法，其基础是找到二次函数在二范数信任区域不等式约束下的近似极小值。Steihaug-Toint方法使用共轭梯度算法来计算。。。
阅读更多信息
箱约束非光滑方程的主动集投影信赖域算法

本文利用主动集策略，提出了一种求解箱约束非光滑方程组的信任域方法。该方法的优良特性包括：（a）所有迭代都是可行的；（b）搜索方向，如果合适的话。。。
阅读更多信息
非线性规划的信赖域内点方法
TAPIA’05：2005年计算多样性会议记录

在温和的条件下，（非凸）非线性规划的Karush-Kuhn-Tucker（KKT）系统的雅可比矩阵在孤立解附近是非奇异的。然而，此属性可能无法阻止这种解决方案。为了增强。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片SIAM优化杂志

SIAM优化期刊第20卷第3期

2009年8月

552页

ISSN公司：1052-6234

出版商

工业与应用数学学会

美国

出版历史

出版：2009年11月1日

作者标记

限定符

第条

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

8
引文总数
查看引文
0
总下载次数

下载量（最近12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

引用人

布鲁斯特J伯达科夫OErway J公司马西娅·R(2022)算法1030:SC-SR1:MATLAB有限内存SR1信任域方法软件ACM数学软件汇刊10.1145/355026948:4(1-33)在线发布日期：2022年12月19日
https://dl.acm.org/doi/10.1145/3550269
黄W盖利凡·K(2022)具有重启策略的有限内存黎曼对称秩一信任域方法科学计算杂志2007年10月10日/10915-022-01962-093:1在线发布日期：2022年10月1日
https://dl.acm.org/doi/10.1007/s10915-022-01962-0
李明（Li M）刘浩刘Z(2018)一种新的无约束优化的非单调线搜索子空间最小化共轭梯度方法数值算法2007年10月10日/11075-017-0434-679:1(195-219)在线发布日期：2018年9月1日
https://dl.acm.org/doi/10.1007/s11075-017-0434-6
布鲁斯特JErway J公司马西娅·R(2017)关于L-SR1信赖域子问题的求解计算优化与应用2007年10月10日/10589-016-9868-366:2(245-266)在线发布日期：2017年3月1日
https://dl.acm.org/doi/10.1007/s10589-016-9868-3
哈赞E科伦T(2016)信赖域问题的线性时间算法数学编程：系列A和B2007年10月10日/10107-015-0933年158:1-2(363-381)在线发布日期：2016年7月1日
https://dl.acm.org/doi/10.1007/s10107-015-0933-y
埃尔韦J马西娅·R(2014)算法943ACM数学软件汇刊10.1145/261658840:4(1-12)在线发布日期：2014年7月8日
https://dl.acm.org/doi/10.1145/2616588
Phan D公司(2012)最优潮流的拉格朗日对偶和分枝定界算法运筹学10.1287/opre.1110.103660:2(275-285)在线发布日期：2012年3月1日
https://dl.acm.org/doi/10.1287/opere.1110.1036
古尔德N波塞利M卫生间P(2012)自适应立方正则化算法中正则化参数的更新计算优化与应用2007年10月10日/10589-011-9446-753:1(1-22)在线发布日期：2012年9月1日
https://dl.acm.org/doi/10.1007/s10589-011-9446-7

视图选项

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录