伊杜卡，Hideaki 非单调双函数随机平衡问题的非精确随机次梯度投影方法：机器学习中期望风险最小化的应用。 （英语） Zbl 1472.65069号 J.全球。最佳方案。 80，编号2479-505（2021）. 摘要：本文讨论了一个随机均衡问题，该问题的函数是非单调双函数的期望形式，约束集是闭的和凸的。该问题包括各种应用，如随机变分不等式、随机纳什均衡问题和非凸随机优化问题。为了解决这个随机均衡问题，我们提出了一种不精确的随机次梯度投影方法。该方法设置了双函数的随机实现，然后利用其随机次梯度和对约束集的投影更新其近似。本文的主要贡献是给出了一个收敛性分析，表明在一定的假设条件下，由该方法生成的序列的任何累加点（步长为常数）几乎肯定属于随机均衡问题的解集。文中还给出了该方法的收敛速度分析，以说明该方法的有效性。本文的另一个贡献是表明，对于稀疏统计学习中的一类最小绝对选择收缩算子（lasso）问题，基于该方法的机器学习算法实现了预期风险最小化。使用LIBSVM数据集对所提出的机器学习算法与现有机器学习算法进行了数值比较，以实现预期风险最小化，证明了所提出算法的有效性和优越的分类精度。 MSC公司： 65千5 数值数学规划方法 65K15码 变分不等式及相关问题的数值方法 65C99个 概率方法，随机微分方程 90立方厘米 随机规划 90立方厘米26 非凸规划，全局优化 关键词：期望风险最小化;最小绝对选择收缩算子;非凸随机优化;非单调双函数;随机均衡问题;随机变分不等式;随机次梯度投影法 软件：DFVLR-SQP公司;伦敦银行支持向量机;帕伽索斯 PDF格式BibTeX公司 XML格式引用 \文本{H.Iiduka}，J.Glob。最佳方案。80，编号2479-505（2021；兹bl 1472.65069） 全文： 内政部 参考文献： [1] Androulakis，IP；Maranasand，CD；Flouda，CA，（alpha）BB:一般约束非凸问题的全局优化方法，J.global Optim。，7, 337-363 (1995) ·Zbl 0846.90087号 [2] Attouch，H。；博尔特，J。；Redont，P。；Soubeyran，A.，非凸问题的近似交替最小化和投影方法：基于Kurdyka-Lojasiewicz不等式的方法，数学。操作。研究，35，438-457（2010）·兹伯利1214.65036 [3] Bauschke，HH；Borwein，JM，《关于求解凸可行性问题的投影算法》，SIAM Rev.，38，367-426（1996）·Zbl 0865.47039号 [4] Bauschke，HH；Combettes，PL，Hilbert空间中的凸分析和单调算子理论（2011），纽约：Springer，纽约·Zbl 1218.47001号 [5] Bauschke，HH；Goebel，R。；卢塞特，Y。；Wang，X.，《近端平均数：基本理论》，SIAM J.Optim。，19, 766-785 (2008) ·Zbl 1172.26003号 [6] 本托，GC；克鲁斯·内托，JX；洛佩斯，JO；小宾夕法尼亚州苏亚雷斯；Soubeyran，A.，双层平衡问题的广义近距离，SIAM J.Optim。，26, 810-830 (2016) ·Zbl 1333.90134号 [7] 民主党Bertsekas；Nedić，A。；Ozdaglar，AE，凸集分析与优化（2003），贝尔蒙特：雅典娜科学出版社，贝尔蒙特·Zbl 1140.90001号 [8] Bianchi，M。；Schaible，S.，广义单调双函数与平衡问题，J.Math。分析。申请。，90, 31-43 (1996) ·Zbl 0903.49006号 [9] 布鲁姆，E。；Oettli，W.，《从优化和变分不等式到平衡问题》，《数学学生》，63123-145（1994）·Zbl 0888.49007号 [10] Borkar，VS，《随机逼近：动力系统观点》（2008），剑桥：剑桥大学出版社，剑桥·Zbl 1181.62119号 [11] JM Borwein；Lewis，AS，凸分析与非线性优化：理论与实例（2000），纽约：Springer，纽约·Zbl 0953.90001号 [12] Chang，C.C.，Lin，C.J.:LIBSVM：支持向量机库。ACM智能系统与技术汇刊2，27:1-27:27网址：https://www.csie.ntu.edu.tw/cjlin/libsvmtools/datasets/（2011） [13] 陈，X。；Pong，TK公司；Wets，RJB，两阶段随机变分不等式：ERM求解程序，数学。程序。，165, 71-111 (2017) ·Zbl 1386.90157号 [14] 陈，X。；Sun，H。；Wets，RJB，带随机均衡约束的正则化数学程序：估计结构需求模型，SIAM J.Optim。，25, 53-75 (2015) ·Zbl 1358.90138号 [15] 陈，Y。；兰，G。；欧阳，Y.，一类变分不等式的加速格式，数学。程序。，165, 113-149 (2017) ·Zbl 1386.90102号 [16] 张，Y。；Lou，J.，复合惩罚正则化经验风险最小化的近似平均近似增量梯度下降，马赫。学习。，106, 595-622 (2017) ·Zbl 1459.62156号 [17] 组合框，PL；Hirstoaga，SA，Hilbert空间中的平衡规划，J.非线性凸分析。，6117-136（2005年）·Zbl 1109.90079号 [18] 克雷斯皮，GP；Guerraggio，A。；罗卡，M。；艾伯哈特，A。；Hadjisavas，N。；Luc，DT，Minty变分不等式与优化：标量与向量情形，广义凸性，广义单调性与应用。非凸优化及其应用（2005），波士顿：Springer，Boston·Zbl 1071.49003号 [19] 克雷斯皮，GP；Rocca，M.，Minty变分不等式和微分包含的单调轨迹，J.不等式。纯应用程序。数学。，5, 48 (2004) ·Zbl 1060.34029号 [20] 法奇尼，F。；Kanzow，C.，求解广义Nash均衡问题的惩罚方法，SIAM J.Optim。，20, 2228-2253 (2010) ·Zbl 1211.90228号 [21] 法奇尼，F。；Pang，JS，有限维变分不等式与互补问题I（2003），纽约：Springer，纽约·Zbl 1062.90001号 [22] 法奇尼，F。；Pang，JS，有限维变分不等式与互补问题II（2003），纽约：Springer，纽约·Zbl 1062.90002号 [23] 范，L。；刘，S。；Gao，S.，不可微函数的广义单调性和凸性，J.Math。分析。申请。，279, 276-289 (2003) ·Zbl 1014.49014号 [24] 加利福尼亚州佛罗伦萨；Visweswaran，V.，某些非凸NLP类的全局优化算法（GOP）：I，理论。计算机与化学工程，141397-1417（1990） [25] 福岛，M。；Pang，JS，平衡约束数学规划中的一些可行性问题，SIAM J.Optim。，8, 673-681 (1998) ·Zbl 0911.90302号 [26] Gao，DY，规范对偶理论与约束非凸二次规划解，J.全局最优化。，29, 377-399 (2004) ·Zbl 1075.90074号 [27] 加迪米，S。；Lan，G.，强凸随机组合优化的最优随机逼近算法I：通用算法框架，SIAM J.Optim。，1469-1492年（2012年）·Zbl 1301.62077号 [28] 加迪米，S。；Lan，G.，强凸随机组合优化的最优随机逼近算法II：收缩过程和最优算法，SIAM J.Optim。，23, 2061-2089 (2013) ·Zbl 1293.62167号 [29] Goebel，K。；西澳州柯克，《度量不动点理论专题》（1990），剑桥：剑桥高等数学研究。剑桥大学出版社·Zbl 0708.47031号 [30] Goebel，K。；Reich，S.，一致凸性，双曲几何和非扩张映射（1984），纽约：Dekker，纽约·Zbl 0537.46001号 [31] 哈斯蒂，T。；Tibshirani，R。；Wainwright，M.，《稀疏的统计学习：拉索和泛化》（2015），博卡拉顿：查普曼和霍尔/CRC，博卡拉顿·兹比尔1319.68003 [32] Iiduka，H.，不动点优化算法及其在CDMA数据网络功率控制中的应用，数学。程序。，133, 227-242 (2012) ·兹比尔1274.90428 [33] Iiduka，H.，三层约束非凸优化问题的迭代算法及其在网络带宽分配中的应用，SIAM J.Optim。，22, 862-878 (2012) ·Zbl 1267.90139号 [34] Iiduka，H.，分类器集成的随机不动点优化算法，IEEE Trans。赛博。，50, 4370-4380 (2020) [35] 安大略省Iusem；Jofré，A。；罗得岛奥利维拉；汤普森，P.，随机变分不等式的方差约简外梯度法，SIAM J.Optim。，27, 686-724 (2017) ·Zbl 1365.65179号 [36] 安大略省Iusem；Sosa，W.，平衡问题的迭代算法，优化，52301-316（2003）·Zbl 1176.90640号 [37] 安大略省Iusem；Sosa，W.，平衡问题的新存在性结果，非线性分析。理论方法应用。，52, 621-635 (2003) ·Zbl 1017.49008号 [38] Karamardian，S.，单调和伪单调映射锥上的互补问题，J.Optim。理论应用。，第18页，445-454页（1976年）·Zbl 0304.49026号 [39] Kinderlehrer，D.，Stampacchia，G.：变分不等式及其应用简介。经典应用。数学。31.费城SIAM（2000）·Zbl 0988.49003号 [40] 金·A。；Rockafellar，R.，统计估计和随机规划解的渐近理论，数学。操作。决议，第18号，第148-162页（1993年）·Zbl 0798.90115号 [41] 卡夫：序列二次规划的软件包。德国科隆DLR德国航空航天中心飞行力学研究所DFVLR-FB 88-28技术代表（1988年）·Zbl 0646.90065号 [42] 拉姆，M。；卢，S。；Budhiraja，A.，随机变分不等式期望值公式解的个体置信区间，数学。程序。，165, 151-196 (2017) ·Zbl 1386.90159号 [43] 刘，Y。；Xu，H.，具有鲁棒平衡约束的数学程序的熵近似，SIAM J.Optim。，24, 933-958 (2014) ·Zbl 1329.90094号 [44] 卢，Z。；Li，X.，通过部分正则化进行稀疏恢复：模型、理论和算法，数学。操作。决议，43，1290-1316（2018）·Zbl 07179912号 [45] 罗，ZQ；庞，JS；Ralph，D.，《具有平衡约束的数学程序》（1996），剑桥：剑桥大学出版社，剑桥·Zbl 0898.90006号 [46] Nash，JF，（n）人博弈中的均衡点，Proc。美国国家科学院。科学。，36, 48-49 (1950) ·Zbl 0036.01104号 [47] Nash，JF，非合作游戏，Ann.Math。，54, 286-295 (1951) ·Zbl 0045.08202号 [48] Nedić，A。；Lee，S.，《关于加权平均的随机次梯度镜致发光算法》，SIAM J.Optim。，24, 84-107 (2014) ·Zbl 1297.90119号 [49] 内米洛夫斯基，A。；朱迪茨基，A。；兰·G。；Shapiro，A.，随机规划的稳健随机近似方法，SIAM J.Optim。，19, 1574-1609 (2009) ·Zbl 1189.90109号 [50] Nocedal，J。；Wright，SJ，《数值优化》。Springer运筹学和金融工程系列（2006），纽约：Springer，纽约·Zbl 1104.65059号 [51] JM奥尔特加；Rheinboldt，WC，多变量非线性方程的迭代解（1970），阿姆斯特丹：学术出版社，阿姆斯特朗·Zbl 0241.65046号 [52] 庞，JS；Sen，SE；Shanbhag，UV，与风险规避玩家的两阶段非合作游戏，数学。程序。，165, 235-290 (2017) ·Zbl 1411.91074号 [53] 拉瓦特，美国。；Shanbhag，UV，关于随机拟变量不等式和互补问题解的存在性，数学。程序。，165, 291-330 (2017) ·兹比尔1375.90231 [54] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。《统计》，22，400-407（1951）·Zbl 0054.05901号 [55] Rockafellar，RT公司；Wets，RJB，变分分析（2010），柏林：施普林格出版社，柏林·Zbl 0888.49001号 [56] Saigal，R.，广义互补问题的推广，数学。操作。研究，1260-266（1976）·Zbl 0363.90091号 [57] 沙列夫·施瓦茨，S。；辛格，Y。；斯雷布罗，N。；Cotter，A.，Pegasos:SVM的原始估计子梯度解算器，数学。程序。，127，3-30（2011年）·Zbl 1211.90239号 [58] Shanbhag，U.V.，Pang，J.S.，Sen，S.：随机Nash博弈的非精确最佳响应方案：线性收敛和迭代复杂性分析。2016年IEEE第55届决策与控制会议（CDC），第3591-3596页（2016） [59] 夏皮罗，A。；Dentcheva，D。；Ruszczynski，A.，《随机编程讲座：建模与理论》。MOS-SIAM优化系列（2014），费城：SIAM，费城·Zbl 1302.90003号 [60] Sundhar Ram，S。；Nedić，A。；Veeravalli，VV，凸优化的增量随机次梯度算法，SIAM J.Optim。，20, 691-717 (2009) ·兹比尔1231.90312 [61] Sundhar Ram，S。；Nedić，A。；Veeravalli，VV，用于凸优化的分布式随机次梯度投影算法，J.Optim。理论应用。，147, 516-545 (2010) ·Zbl 1254.90171号 [62] 铃木，S.，拟凸函数和的拟凸性，线性非线性分析。，3, 287-295 (2017) ·Zbl 1424.26028号 [63] 塔达，A。；Takahashi，W.，非扩张映射和平衡问题的弱收敛和强收敛定理，J.Optim。理论应用。，133, 359-370 (2007) ·Zbl 1147.47052号 [64] 高桥，W.，非线性函数分析（2000），横滨：横滨出版社，横滨·Zbl 0997.47002号 [65] Vapnik，VN，统计学习理论（1998），加拿大：威利，加拿大·Zbl 0935.62007号 [66] 王，M。；Bertsekas，DP，带随机约束投影的随机一阶方法，SIAM J.Optim。，26, 681-717 (2016) ·Zbl 1333.90098号 [67] Xu，H。；Ye，JJ，带平衡约束的两阶段随机规划的必要最优性条件，SIAM J.Optim。，20, 1685-1715 (2010) ·Zbl 1206.90111号 [68] Xu，Y.，Lin，Q.，Yang，T.：局部误差界条件下的加速随机次梯度方法。arXiv、，https://arxiv.org/abs/1607.01027 [69] Yao，JC，具有\（｛K｝\）-伪单调算子的多值变分不等式，J.Optim。理论应用。，83, 391-403 (1994) ·Zbl 0812.47055号 [70] Yousefian，F。；Nedić，A。；Shanbhag，UV，关于随机变分不等式问题的随机近似方法中的平滑、正则化和平均，数学。程序。，165, 391-431 (2017) ·Zbl 1457.90102号 [71] Zhang，T.，稀疏正则化的多级凸松弛分析，J.Mach。学习。第11号决议，1081-1107（2010年）·兹比尔1242.68262 [72] Zhou，ZH，《集成方法：基础和算法》（Ensemble Methods:Foundations and Algorithms）（2012），博卡拉顿：查普曼和霍尔，博卡拉通 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。