×

度量空间中梯度流和近点序列全局收敛的局部条件。 (英语) Zbl 07853743号

摘要:本文讨论梯度流轨迹收敛到全局极小值的局部准则及其离散化。为了获得收敛速度的定量估计,我们考虑了一大类参数函数的经典Kurdyka-Łojasiewicz不等式的变化。我们的假设是根据初始数据给出的,没有参考任何平衡点。主要结果是梯度流曲线和接近点序列的收敛声明,以及收敛速度的精确定量估计。这些收敛结果适用于完备度量空间上下半连续泛函的一般设置,推广了最近关于(mathbb{R}^n)上光滑泛函的结果。虽然非光滑设置涵盖了非常一般的空间,但它也适用于\(\mathbb{R}^n\)上的(非)光滑泛函。

MSC公司:

34Gxx公司 抽象空间中的微分方程
49J52型 非平滑分析
65K10码 数值优化和变分技术
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ambrosio,Luigi,度量空间和概率测度空间中的梯度流,ETH Z数学讲座“{u} 富有的,x+334页,2008年,Birkh“{a} 用户巴塞尔Verlag·Zbl 1145.35001号
[2] Ambrosio,Luigi,《公制度量空间中的微积分和热流及其在具有Ricci边界的空间中的应用》,发明。数学。,289-391, 2014 ·Zbl 1312.53056号 ·doi:10.1007/s00222-013-0456-1
[3] 关于涉及分析特征的非光滑函数的近似算法的收敛性,Math。程序。,5-16, 2009 ·Zbl 1165.90018号 ·文件编号:10.1007/s10107-007-0133-5
[4] 阿特Touch,H\'{e} 第y天,非凸问题的近似交替极小化和投影方法:基于Kurdyka-\L ojasiewicz不等式的方法,数学。操作。2010年第438-457号决议·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[5] Attouch,Hedy,半代数和驯服问题下降方法的收敛性:近似算法,前向-后向分裂,正则高斯-赛德尔方法,数学。程序。,91-129, 2013 ·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[6] Peter L.Bartlett,《深度学习:统计观点》,《数值学报》。,87-201, 2021 ·Zbl 1514.65078号 ·doi:10.1017/S0962492921000027
[7] Blanchet,Adrien,《函数不等式家族:L ojasiewicz不等式和置换凸函数》,J.Funct。分析。,1650-1673, 2018 ·Zbl 1403.39023号 ·doi:10.1016/j.jfa.2018.06.014
[8] 螺栓,J{e} 对\^ome,\L ojasewicz不等式的特征:次梯度流,talweg,凸性,Trans。阿默尔。数学。Soc.,3319-33632010年·Zbl 1202.26026号 ·doi:10.1090/S0002-9947-09-05048-X
[9] J.Bolt、L.Miclo和S.Villeneuve,《全局优化的Swarm梯度动力学:密度案例》,2204.013062022年。
[10] S.Bombari,M.H。Amani和M.Mondelli,最小过参数化深度神经网络的记忆和优化,Adv。神经信息。过程。系统。35 (2022), 7628-7640
[11] E.Boursier、L.Pillaud-Vivien和N.Flamarion,平方损失和正交输入下浅层ReLU网络的梯度流动动力学,2206.009392022。
[12] S.Chatterjee,深度神经网络梯度下降收敛,2203.164622022。
[13] Jean Dolbeault,《测量之间的一类新的传输距离》,《计算变量偏微分方程》,193-2312009年·Zbl 1157.49042号 ·doi:10.1007/s00526-008-0182-5
[14] Drusvyatskiy,D.,下降曲线,SIAM J.控制优化。,114-138, 2015 ·Zbl 1345.26027号 ·doi:10.1137/130920216
[15] Hauer,Daniel,Kurdyka-\L ojasiewicz-Simon度量空间梯度流不等式,Trans。阿默尔。数学。Soc.,4917-49762019年·Zbl 1425.49023号 ·doi:10.1090/tran/7801
[16] 关于积分泛函的下半连续性。一、 SIAM J.控制优化。,521-538, 1977 ·兹比尔0361.46037 ·doi:10.1137/0315035
[17] Ioffe,A.D.,度量正则性和次微分学,俄罗斯数学。调查。Uspekhi Mat.Nauk,103-1622000年·Zbl 0979.49017号 ·doi:10.1070/rm2000v055n03ABEH000292
[18] 乔丹,理查德,福克-普朗克方程的变分公式,SIAM J.数学。分析。,1-17, 1998 ·Zbl 0915.35120号 ·doi:10.1137/S0036141096303359
[19] H.Karimi、J.Nutini和M.Schmidt,Polyak-ohasiewicz条件下梯度和近似粒度方法的线性收敛,数据库中的机器学习和知识发现,Springer International Publishing,Cham,2016年,第795-811页
[20] Kondratyev,Stanislav,《球面Hellinger-Kantorovich梯度流》,SIAM J.Math。分析。,2053-2084, 2019 ·兹比尔1428.35602 ·doi:10.1137/18M1213063
[21] Kurdyka,Krzysztof,《关于可定义为o-极小结构的函数的梯度》,《傅里叶研究年鉴》(格勒诺布尔),769-7831998年·Zbl 0934.32009
[22] Liu,Linshan,Polyak-\L ojasiewicz测度空间不等式与平均场生灭过程的收敛性,应用。数学。最佳。,第48号论文,第27页,2023年·Zbl 1515.49025号 ·doi:10.1007/s00245-022-09962-0
[23] S.ojasiewicz,实解析子集的拓扑性质,Equ。衍生党派,巴黎1962年,国际学术讨论会。国家康复中心。科学。,第117卷,1963年,第87-89页·Zbl 0234.57007号
[24] \L ojasiewicz,Stanislas,苏拉{e} om公司\'{e} 特里semi-et-sous-analtique,《傅里叶研究年鉴》(格勒诺布尔),1575-15951993年·Zbl 0803.32002号
[25] Maas,Jan,有限马尔可夫链的熵梯度流,J.Funct。分析。,2250-2292, 2011 ·Zbl 1237.60058号 ·doi:10.1016/j.jfa.2011.06.009
[26] 马丁内特、B、R{e} 规则化“输入”{e} 方程式variationnelles par近似序列,Rev.Fran \c{c} 美国证券交易所Informat公司。重新整理操作{e} 理性主义者, 154-158, 1970 ·Zbl 0215.21103号
[27] Alexander Mielke,《反应扩散系统和能量漂移扩散系统的梯度结构》,非线性,1329-13462011年·Zbl 1227.35161号 ·doi:10.1088/0951-7715/24/2016
[28] Muratori,Matteo,度量空间中的梯度流和演化变分不等式。一: 结构特性,J.Funct。分析。,108347,67页,2020年·Zbl 1448.49015号 ·doi:10.1016/j.jfa.2019.108347
[29] S.Oymak和M.Soltanolkotabi,过度参数化非线性学习:梯度下降采用最短路径?第36届机器学习国际会议论文集,《机器学习研究论文集》,第97卷,2019年6月9日至15日,第4951-4960页。
[30] B.波利亚。函数最小化的梯度方法。苏联计算数学和数学物理,3(4):864-8781963·Zbl 0196.47701号
[31] Rockafellar,R.Tyrrell,Monotone操作符和近点算法,SIAM J.Control Optim。,877-898, 1976 ·Zbl 0358.90053号 ·数字对象标识代码:10.1137/0314056
[32] Simon,Leon,《一类非线性发展方程的渐近性及其在几何问题中的应用》,《数学年鉴》。(2), 525-571, 1983 ·Zbl 0549.35071号 ·doi:10.2307/2006981
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。