研究论文

具有重启策略的有限内存黎曼对称秩一信任域方法

作者:

凯尔·A。加利文作者信息和声明

科学计算杂志,体积93,问题1

https://doi.org/10.1007/s10915-022-01962-0

出版:2022年10月1日出版历史

摘要

有限记忆形式的拟Newton方法是解决欧氏空间中大规模优化问题的有效方法。特别是，在信任区域设置中使用的准纽顿对称秩一更新已被证明是一种有效的方法。本文将切线向量的内在表示与最近提出的欧几里德有限内存对称秩一信任域子问题的高效求解器相结合，提出了一种具有重启策略的有限内存黎曼对称秩壹信任域方法。在向量传输是等距的、代价函数是Lipschitz连续可微的假设下，建立了全局收敛性。分析了计算复杂度和空间复杂度，并描述了详细的实现。利用矩阵补全、独立分量分析、相位恢复和盲反褶积等问题，将该方法的性能与有限记忆黎曼BFGS方法和其他最先进的方法进行了比较。该方法对于黎曼空间和欧几里德空间的问题是新颖的。

工具书类

[1]

黎曼流形上的Absil P-A、Baker CG和Gallivan KA信赖域方法已找到。计算。数学。2007 7 3 303-330

[2]

Absil P-A、Mahony R和Sepulchre R矩阵流形上的优化算法2008年普林斯顿，新泽西州普林斯顿大学出版社

[3]

布思比，W.M.：介绍可微流形和黎曼几何。学术出版社，第二版（1986）

[4]

Brust，J，Burdakov，O，Erway，J.B.，Marcia，R.F.，Yuan，Y.-X.：算法XXX:SC-SR1:MATLAB软件，用于求解形状变换L-SR1信任区域子问题。arXiv:1607.03533v2(2018)

[5]

Brust J、Erway JB和Marcia RF关于解决L-SR1信任区域子问题计算。最佳方案。申请。2017 66 2 245-266

[6]

Burdakov O、Gong L、Zikrin S和YX关于有效结合有限记忆和信任区域技术数学。程序。计算。2017 9 1 101-134

[7]

Byrd RH、Nocedal J和Schnabel RB拟牛顿矩阵的表示及其在有限记忆方法中的应用数学。程序。1994 63 1–3 129-156

[8]

Candés EJ、Li X和Soltanolkotabi M通过Wirtier流进行相位恢复：理论和算法IEEE传输。Inf.理论2016 64 4 1985-2007

[9]

正定矩阵的Cherian A和Sra S黎曼字典学习和稀疏编码IEEE传输。神经网络。学习系统。2017 28 12 2859-2871

[10]

对称秩一更新生成的拟Newton矩阵的Conn AR、Gould NIM和Toint PL收敛性数学。程序。1991 50 1–3 177-195

[11]

坎宁安JP和Ghahramani Z线性降维：调查、见解和概括J.马赫。学习。物件。2015 16 89 2859-2900

[12]

Dolan ED和MoréJJ Benchmarking优化软件及性能简介数学。程序。2001 91 2 201-213

[13]

Edelman A、Arias TA和Smith ST正交约束算法的几何结构SIAM J.矩阵分析。申请。1998 20 2 303-353

[14]

Erway JB和Gill PE信任域步长的子空间最小化方法SIAM J.Optim公司。2010 20 3 1439-1461

[15]

Erway JB、Gill PE和Griffin JD查找信任区域步骤的迭代方法SIAM J.Optim公司。2009 20 2 1110-1131

[16]

Golub，G.H。，Van Loan，C.F.公司：矩阵计算。约翰·霍普金斯数学科学研究。约翰·霍普金斯大学出版社，第三版（1996年）

[17]

Huang，W.：黎曼流形上的优化算法及其应用。佛罗里达州立大学数学系博士论文（2013年）

[18]

Huang W、Absil P-A和Gallivan KA A黎曼对称秩一信任域方法数学。程序。2015 150 2 179-216

[19]

Huang W，Absil P-A，and Gallivan KA矩阵流形上切向量和向量输运的内在表示数字。数学。2017 136 2 523-543

[20]

Huang W、Absil P-A、Gallivan KA和Hand P ROPTLIB：一个用于优化黎曼流形的面向对象C++库ACM数学软件汇刊2018 4 44 43:1-43:21

[21]

Huang，W.，Gallivan，K.A.：有限记忆黎曼对称秩一信赖域方法及其子问题的有效算法。第24届网络与系统数学理论国际研讨会论文集https://www.math.fsu.edu/~whuang2/papers/ALMRTRSR1.htm，接受（2021年）

[22]

Huang W、Gallivan KA和Absil P-A黎曼优化的Broyden类拟牛顿方法SIAM J.Optim公司。2015 25 3 1660-1685

[23]

Huang W、Gallivan KA、Srivastava A和Absil P-A弹性形状分析中曲线配准的黎曼优化J.数学。图像视觉2015 54 3 320-343

[24]

Huang W，Absil P-A，and Gallivan KA A非凸优化问题无微分收缩的黎曼BFGS方法SIAM J.Optim公司。2018 28 1 470-495

[25]

Huang W、Gallivan KA和Zhang X使用低阶黎曼优化方法求解复杂半定约束的PhaseLiftSIAM J.科学。计算。2017 39 5 B840-B859

[26]

商流形上基于最速下降算法的Huang W和Hand P盲反褶积SIAM J.图像。科学。2018 11 4 2757-2785

[27]

Iannazzo B和Porcelli M带非单调线搜索和矩阵几何平均值计算的黎曼-巴兹莱-鲍尔温方法IMA J.数字。分析。2018 38 1 495-517

[28]

Jeuris B、Vandebril R和Vandereycken B当代矩阵几何平均值计算算法综述与比较电子。事务处理。数字。分析。2012 39 379-402

[29]

Kasai，H.，Mishra，B.：低秩张量补全：黎曼流形预处理方法。《机器学习研究论文集》第48卷，第1012-1021页，美国纽约州纽约市，2016年6月20日至22日。PMLR公司

[30]

Liu DC和Nocedal J关于大规模优化的有限记忆BFGS方法数学。程序。1989 45 1 503-528

[31]

Nocedal，J.、Wright，S.J.：数值优化。斯普林格，第二版，（2006）

[32]

Nocedal J用有限存储更新拟Newton矩阵数学。计算。1980 35 151 773-773

[33]

Omar，D.G.，Erway，J.B.，Marcia，R.F.：准牛顿更新的完整broyden类的紧凑表示。数值线性代数及其应用，25，e2186（2017）

[34]

Reed-Mb L-Broyden方法：L-BFGS方法对有限记忆Broyden族的推广国际期刊计算。数学。2009 86 4 606-615

[35]

黎曼流形上的环W和Wirth B优化方法及其在形状空间中的应用SIAM J.Optim公司。2012 22 2 596-627

[36]

弱Wolfe条件下的Sato H A Dai-Yuan型黎曼共轭梯度法计算。最佳方案。申请。2016 64 1 101-118

[37]

Sato H和Iwai T一种新的全局收敛的黎曼共轭梯度法优化2015 64 4 1011-1031

[38]

正定矩阵流形上的Sra S和Hosseini R锥几何优化SIAM J.Optim公司。2015 25 1 713-739

[39]

Sun J，Qing Q，and Wright J相位反演的几何分析已找到。计算。数学。2018 18 5 1131-1198

[40]

蒂斯·F·J·。，卡森，T.P。，Absil，P.-A.：通过Stiefel流形上的联合对角化实现ICA的软降维。第八届独立分量分析和信号分离国际会议论文集，5441, 354–361 (2009)

[41]

通过黎曼优化完成Vandereycken B Low-rank矩阵-扩展版本SIAM J.Optim公司。2013 23 2 1214-1236

[42]

Wen Z、Yin W和Zhang Y用非线性逐次过松弛算法求解矩阵补全的低阶因式分解模型数学。程序。计算。2012 4 4 333-361

[43]

Yuan，X.、Huang，W.、Absil，P.-A、Gallivan，K.A.：计算矩阵几何平均值：黎曼与欧几里德条件、实现技术和黎曼BFGS方法。技术报告UCL-INMA-2019.05，U.C.Louvain（2019）

[44]

Zhou X、Yang C、Zhao H和Weichuan Y低水位建模及其在图像分析中的应用ACM计算调查（CSUR）2014 47 2 1-33

[45]

Stiefel流形优化的Zhu X A黎曼共轭梯度法计算。最佳方案。申请。2017 67 1 73-110

引用人

Taghipour M公司阿米尼卡·H(2024)基于分数次Zigzag上升对角函数的分布阶分数阶Korteweg-de-Vries方程数值解数值算法2007年10月10日/11075-023-01664-096:2(739-776)在线发布日期：2024年6月1日
https://dl.acm.org/doi/10.1007/s11075-023-01664-0
李浩彭Z泛C赵D(2023)低秩矩阵估计的快速梯度法科学计算杂志2007年10月10日/10915-023-02266-796:2在线发布日期：2023年6月17日
https://dl.acm.org/doi/10.1007/s10915-023-02266-7

建议

一种黎曼对称秩一信任域方法

著名的对称秩一信任域方法（其中Hessian近似是由对称秩1更新生成的）被推广到最小化实值函数的问题$$d$$d美元-维黎曼流形。这个。。。
阅读更多信息
黎曼流形上的自适应信赖域方法
摘要
我们提出了一种用于黎曼优化问题的自适应信赖域方法。特别地，利用自适应技术使信赖域半径收敛到零，并用截断的三项共轭函数求解信赖域子问题。。。
阅读更多信息
一种对称秩一信赖域方法的分析

最近的一些计算研究表明，对称秩一（SR1）更新在优化算法中是一种非常有竞争力的准牛顿更新。本文对求解无约束优化问题的信赖域SR1方法进行了新的分析。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片科学计算杂志

科学计算杂志第93卷第1期

2022年10月

1000页

国际标准编号：0885-7474

©作者，经Springer Science+Business Media，LLC独家授权，隶属于Springer Nature 2022。Springer Nature或其许可人根据与作者或其他权利持有人签订的出版协议，对本文章享有独家权利；作者对本文已被接受的手稿版本的自行归档仅受此类出版协议和适用法律的条款管辖。

出版商

增压器压力

美国

出版历史

出版：2022年10月1日

认可的：2022年7月14日

收到的修订：2022年5月26日

收到：2021年3月11日

作者标记

限定符

研究文章

资金来源

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

2
引文总数
查看引文
0
总下载次数

下载次数（过去12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

引用人

Taghipour M公司阿米尼卡·H(2024)基于分数次Zigzag上升对角函数的分布阶分数阶Korteweg-de-Vries方程数值解数值算法2007年10月10日/11075-023-01664-096:2(739-776)在线发布日期：2024年6月1日
https://dl.acm.org/doi/10.1007/s11075-023-01664-0
李浩彭Z泛C赵D(2023)低秩矩阵估计的快速梯度法科学计算杂志2007年10月10日/10915-023-02266-796:2在线发布日期：2023年6月17日
https://dl.acm.org/doi/10.1007/s10915-023-02266-7

视图选项

查看选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录