迈克尔·梅特尔。;秋子武田 非光滑非凸约束稀疏优化的随机逼近方法。 （英语） Zbl 07370632号 J.马赫。学习。物件。 22，第115号文件，第36页（2021）. 摘要：本文主要研究随机近似梯度法，用于优化具有非光滑非凸正则化子和凸约束的光滑非凸损失函数。据我们所知，我们给出了这类问题的第一个非渐近收敛界。针对一般随机和有限和优化问题，我们提出了两种简单的随机近似梯度算法。在数值实验中，我们将我们的算法与当前最先进的确定性算法进行了比较，发现我们的算法具有优越的收敛性。 引用于三文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 关键词：随机优化;非凸优化;非光滑优化;约束优化;稀疏优化 软件：RCV1型;ProxSARAH公司;MNIST公司 PDF格式BibTeX公司 XML格式引用 \textit{M.R.Metel}和\textit{A.Takeda}，J.Mach。学习。第22号决议，第115号文件，第36页（2021；兹bl 07370632） 全文： arXiv公司 链接 参考文献： [1] Heinz H Bauschke、Minh N Bui和Xianfu Wang。投影到圆锥体和球体的交点上。SIAM优化杂志，28（3）：2158-21882018·Zbl 06913575号 [2] 阿米尔·贝克。最优化中的一阶方法。SIAM，2017年·Zbl 1384.65033号 [3] Emmanuel J Candes、Michael B Wakin和Stephen P Boyd。通过加权最小化提高稀疏性。傅里叶分析与应用杂志，14（5-6）：877-9052008·Zbl 1176.94014号 [4] 德米特里·德鲁夫亚茨基和考特尼·帕奎特。最小化凸函数和光滑映射的组合的效率。数学规划，178（1）：503-5582019·Zbl 1431.90111号 [5] 范建清，李润泽。基于非冲突惩罚似然的变量选择及其Oracle性质。美国统计协会杂志，96（456）：1348-13602001·Zbl 1073.62547号 [6] 赛义德·加迪米（Saeed Ghadimi）、兰光辉（Guanghui Lan）和张洪超（Hongchao Zhang）。非凸随机组合优化的Mini-bactch随机逼近方法。数学规划，155（1-2）：267-3052016·Zbl 1332.90196号 [7] 龚平华，张长水，卢兆松，黄建华，叶洁平。非凸正则优化问题的通用迭代收缩和阈值算法。2013年国际机器学习会议，第37-45页。 [8] 丹尼尔·卡尼曼和阿莫斯·特维斯基。前景理论：风险下的决策分析。《计量经济学》，47（2）：263-2921979年·Zbl 0411.90012号 [9] Veronica K¨obberling和Peter P Wakker。损失厌恶指数。《经济理论杂志》，122（1）：119-1312005·Zbl 1118.91057号 [10] 伊曼纽尔·劳德（Emanuel Laude）、陶武（Tao Wu）和丹尼尔·克莱默斯（Daniel Cremers）。Moreau-Yosida正则化下的非凸近似分裂算法。在国际人工智能和统计会议上，第491-499页。PMLR，2018年。 [11] Hoai An Le Thi和Tao Pham Dinh。DC编程和DCA：三十年的发展。数学规划，169（1）：5-682018·Zbl 1387.90197号 [12] 延乐村。手写数字的MNIST数据库。http://yann.lecun.com/exdb/mnist/, 1998. [13] David D Lewis、Yiming Yang、Tony G Rose和Fan Li。RCV1：文本分类研究的新基准集合。机器学习研究杂志，5（4月）：361-3972004。 [14] 李志泽，李健。非光滑非凸优化的简单近似随机梯度法。《神经信息处理系统进展》，第5564-5574页，2018年。 [15] 刘天祥、彭廷基和武田昭子。一类非凸非光滑优化问题的逐次凸差分逼近方法。数学规划，176（1-2）：339-3672019·Zbl 1415.90121号 [16] 刘艳丽和尹沃涛。Davis-In分裂和严格避免鞍点的信封。优化理论与应用杂志，181（2）：567-5872019·Zbl 07063787号 [17] Michael R Metel和Akiko Takeda。非光滑非凸正则优化的简单随机梯度方法。2019年国际机器学习会议，第4537-4545页。 [18] Nhan H Pham、Lam M Nguyen、Dzung T Phan和Quoc Tran-Dinh。ProxSARAH：一种用于随机复合非凸优化的高效算法框架。arXiv预印arXiv:1902.056792019。 [19] Traian A Pirvu和Klaas Schulze。前景理论下的多股票投资组合优化。数学与金融经济学，6（4）：337-3622012·Zbl 1260.91231号 [20] Sashank J Reddi、Suvrit Sra、Barnab´as P´oczos和Alexander J Smola。非光滑非凸有限和优化的近似随机方法。《神经信息处理系统进展》，第1145-1153页，2016年。 [21] R Tyrrell Rockafellar和Roger J-B Wets。变分分析，第317卷。Springer科学与商业媒体，2009年。 [22] Shai Shalev-Shwartz和Shai Ben-David。理解机器学习：从理论到算法。剑桥大学出版社，2014年·Zbl 1305.68005号 [23] 她一元和欧文。使用非凸惩罚回归进行异常检测。《美国统计协会杂志》，106（494）：626-6392011·兹比尔1232.62068 [24] 沈立新、徐月生、曾雪莹。用0稀疏正则化进行小波修补。应用和计算谐波分析，41（1）：26-532016·Zbl 1338.65061号 [25] Bharath K Sriperumbudur和Gert RG《柳叶刀》。关于凹凸过程的收敛性。《第22届神经信息处理系统国际会议论文集》，1759-1767页。Curran Associates Inc.，2009年。 [26] 王伟然（Weiran Wang）和米格尔（Miguel A Carreira-Perpin´an）。概率单纯形上的投影：一种具有简单证明的有效算法和应用。arXiv预印本arXiv:1309.15412013。 [27] 徐毅、金荣和杨天宝。非光滑非凸正则问题的随机近似梯度方法。arXiv预印本arXiv:1902.076722019a。 [28] 徐毅、齐奇、林启航、金荣和杨天宝。DC函数的随机优化和具有非症状收敛性的非光滑非凸正则化器。在国际机器学习会议上，第6942-69512019b页。 [29] 穆罕默德·比拉尔·扎法尔（Muhammad Bilal Zafar）、伊莎贝尔·瓦莱拉（Isabel Valera）、曼努埃尔·戈麦斯·罗格里格斯（Manuel Gomez Rogriguez）和克里希纳·普·古马迪。公平约束：公平分类机制。《人工智能与统计》，第962-970页，2017年。 [30] Ron Zass和Amnon Shashua。非负稀疏PCA。神经信息处理系统进展，第1561-1568页，2007年。 [31] 张存辉等。极小极大凹罚下的几乎无偏变量选择。《统计年鉴》，38（2）：894-9422010年·Zbl 1183.62120号 [32] Lei Zhao、Musa Mammadov和John Yearwood。从凸到非凸：二元分类的损失函数分析。在2010年IEEE国际数据挖掘研讨会上，第1281-1288页。IEEE，2010年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。