Inertial Newton Algorithms Avoiding Strict Saddle Points

出版，文件解除 Anneée:2021年

避免严格鞍点的惯性牛顿算法

(1)

卡米尔·卡斯特拉

信号与通信

我们研究了混合牛顿法和惯性梯度下降法的二阶算法在非凸地形中的渐近行为。我们表明，尽管这些方法具有牛顿行为，但它们几乎总是避开严格的鞍点。我们还证明了这些方法的超参数在临界点附近的定性行为中所起的作用。理论结果得到了数值例证的支持。

非凸优化优化机器学习算法稳定歧管

优化与控制[math.OC] 认证信息[cs.LG]

菲奇尔校长

2111.04596.pdf（822.77 Ko）

原籍	菲奇尔斯（Fichiers）出品的par l’（les）auteur（s）

https://ut3-toulouseinp.hal.science/hal-03433202

Soumis le:mercredi 2021-16:08:08年11月17日

Dernière修改le:lundi 8 avril 2024-14:24:41

hal-03433202，版本1 (17-11-2021)

卡米尔·卡斯特拉。惯性牛顿算法避免了严格的鞍点。2021⟨哈尔-03433202⟩

UNIV-TLSE2型中国科学院 UT1-大写字母 TDS-MACS系统 IRIT公司 IRIT-SC公司 IRIT-SI公司 TOULOUSE-INP公司 UNIV-UT3型 UT3-TOULOUSEINP公司

63 磋商

52 交易费用