SuperMann:求非扩张算子不动点的超线性收敛算法

@第{主题2016SuperMannas,title={SuperMann:求非扩张算子不动点的超线性收敛算法},author={安德烈亚斯·塞米利斯(Andreas Themelis)和帕纳吉奥蒂斯·帕特里诺斯(Panagiotis Patrinos)},journal={IEEE自动控制事务处理},年份={2016年},体积={64},页码={4875-4890},url={https://api.semanticscholar.org/CorpusID:54515317}}
本文提出了求解NE算子不动点的Newton型算法SuperMann,它推广了经典的Krasnosel的kii–Mann格式,具有良好的全局收敛性,并且需要完全相同的预言。

本文中的数字

近似包络:非光滑问题的平滑优化算法

本文将近似算法解释为相关函数上的无约束梯度方法,近似包络线在非光滑优化和光滑优化之间提供了联系,并允许将更高效和稳健的光滑优化算法应用于非光滑问题的求解,可能受到约束的问题。

非凸组合优化的Bregman前向背向分裂:超线性收敛到非孤立临界点

我们引入Bella,一种局部超线性收敛的Bregman前向背向分裂方法,用于最小化两个非凸函数的和,其中一个函数满足相对光滑性

非凸组合优化的Bregman前向-后向线性搜索算法:对非孤立局部极小值的超线性收敛

Bella是一种局部超线性收敛的Bregman前向后向分裂方法,用于最小化两个非凸函数的和,只要方向选择得当,即使极限点是非孤立的极小值,也可以达到超线性收敛速度。

凸优化的算子分裂方法:分析与实现

结果表明,交替方向乘数法(ADMM)可以检测不可行问题,而OSQP是一种基于ADMM的新型二次规划通用求解器,其性能显著优于基于原始非凸问题凸松弛的通用方法。

非凸优化的Douglas-Rachford分裂和ADMM:加速和Newton型算法

数值实验表明,L-BFGS在该框架中的应用大大提高了DRS和ADMM的收敛性,使其对病态条件具有鲁棒性,并且在极限点正则性和非退化性假设下,当采用拟Newton-Broyden方向时,显示出超线性收敛性。

Douglas–用于非凸优化的Rachford分裂和ADMM:加速和Newton型线搜索算法

数值实验表明,L-BFGS在该框架中的应用大大提高了DRS和ADMM的收敛性,使其对病态条件具有鲁棒性,并且当采用拟Newton-Broyden方向时,超线性收敛。

求解尖锐半光滑问题的超线性收敛次梯度法

这项工作为一大类尖锐半光滑函数的这个问题提供了一个积极的答案:是否可以设计一个超线性收敛的次梯度方法?

单调夹杂的带偏差正反向分裂

一种新的惯性原对偶算法,通过选择动量方向上的偏差并使用范数条件确定偏差的大小,提供了极大的灵活性,为设计新的和改进的基于前向-后向的算法开辟了道路,同时保留了全局收敛性保证。

实Hilbert空间中多智能体拟非扩张算子的线性收敛算法

提出了一种分布式算法,称为分布式准平均算子跟踪算法(DOT),并对其进行了严格的分析,结果表明,在有界线性正则性条件下,该算法可以以线性速率收敛到全局算子的一个不动点,在凸优化中,它严格弱于函数的强凸性。

二次曲线问题正则点处的解精化

一种简单的方法,使用LSQR、最小二乘问题的共轭梯度的变体和残差映射的导数来细化二次曲线程序的近似解,通常情况下,计算成本与获得原始近似解的成本相比通常很小。
...

非光滑优化问题的正反向拟Newton方法

本文提出了一种算法方案,当问题是凸的,或者当目标函数在其临界点具有Kurdyka–Łojasiewicz性质时,该方案具有与FBS相同的全局收敛性,并且超线性收敛性的分析是基于Dennis和Moré定理的推广。

单调方程组的全局收敛非精确牛顿方法

提出了一种求解单调方程组的算法,该算法将牛顿法、近点法和投影法相结合,具有真正的全局收敛性,并且不会陷入价值函数的驻点。

迭代中的平均值方法

在很大程度上,由于塞萨罗、费杰尔和托普利茨的工作,平均值方法在求发散级数的过程中变得很著名。本文的目的是证明相同的方法可以

基于算子分裂和齐次自对偶嵌入的二次曲线优化

我们介绍了一种求解大型凸锥规划的一阶方法。该方法使用算子分裂法,即交替方向乘数法来求解齐次

变分分析中解映射的正则性和条件

长期以来,条件作用的概念在求解方程组的数值工作中一直很重要,但近年来,人们试图将其推广到可行性条件、最优化

两个非凸函数和的前后包络:进一步的性质和非单调线性搜索算法

结果表明,前向反向包络(FBE)是一个精确且严格连续的原始代价惩罚函数,它仍然具有良好的一阶和二阶性质,这是ZeroFPR收敛结果的关键。

不可微凸优化的近似拟Newton方法

该方法监测‖vk‖值的减少,以确定何时应使用f上的线性搜索并全局收敛,收敛速度为Q线性。

近似算法

讨论了近似算子和算法的许多不同解释,描述了它们与优化和应用数学中许多其他主题的联系,综述了一些流行的算法,并提供了大量在实践中常见的近似算子示例。