亚辛·拉盖尔;克利须那州皮卢特拉;杰罗姆·马利克;扎伊德·哈查伊 工作中的超分位数：机器学习应用程序和有效的次梯度计算。 （英语） Zbl 07462113号 设定值变量分析。 29，第4期，967-996（2021）. 概述：R.Tyrell Rockafellar及其合作者在一系列工作中介绍了基于超分位数（或条件值-风险）概念的新回归建模方法。这些方法在经济学、金融学、管理学和运筹学领域都有广泛的影响。最近，为了解决分布式稳健性和公平分配的问题，它们重新引起了人们对机器学习的兴趣。在本文中，我们结合最近的发展回顾了超分位数的一些新应用。这些应用包括基于非光滑超分位数的目标函数，允许显式次梯度计算。为了使这些基于超分位数的函数适用于机器学习中流行的基于梯度的算法，我们展示了如何通过内插卷积平滑它们，并详细介绍了计算平滑近似的梯度的数值过程。我们将该方法与其他平滑技术进行了比较，并在玩具示例中进行了说明，从而将其置于正确的角度。 MSC公司： 62克xx 非参数推理 91Gxx公司 精算科学和数学金融 34年X月 常微分方程 90至XX 运筹学、数学规划 47倍 算子理论 关键词：超分位数;平滑的;稳健优化;机器学习 软件：Scikit公司;PyTorch公司;TensorFlow公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Laguel}等人，集值变量分析。29，编号4，967-996（2021；Zbl 07462113） 全文： 内政部 arXiv公司 哈尔 参考文献： [1] Abadi，M.，Barham，P.，Chen，J.，Chen，Z.，Davis，A.，Dean，J.，Devin，M.，Ghemawat，S.，Irving，G.，Isard，M.，Kudlur，M.，Levenberg，J.，Monga，R.，Moore，S.，Murray，D.G.，Steiner，B.，Tucker，P.A.，Vasudevan，V.，Warden，P.，Wicke，M.，Yu，Y.，Zheng，X.：Tensorflow：一个用于大规模机器学习的系统。收录于：Keeton，K.，Roscoe，T.（编辑）第十二届USENIX操作系统设计与实现研讨会，OSDI 2016，美国佐治亚州萨凡纳，2016年11月2-4日，第265-283页。USENIX协会。https://www.usenix.org/conference/osdi16/technical-sessions/presentation/abadi网站 (2016) [2] Kairouz，P.等人：联合学习的进展和开放问题。doi:10.1561/2200000083，第14卷，第1-210页（2021）·Zbl 1524.68284号 [3] 贝克，A。；Teboulle，M.，《平滑和一阶方法：统一框架》，SIAM J.Optim。，22, 2, 557-580 (2012) ·Zbl 1251.90304号 ·doi:10.1137/100818327 [4] Ben-Tal，A。；LE Ghaoui；Nemirovski，A.，稳健优化，普林斯顿应用数学丛书，第28卷（2009），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 1221.90001号 [5] Ben-Tal，A。；Teboulle，M.，随机非线性规划中的期望效用、惩罚函数和对偶性，管理。科学。，321445-1466（1986年）·Zbl 0625.90064号 ·doi:10.1287个/mnsc.32.11.1445 [6] Ben-Tal，A。；Teboulle，M.，凸风险度量的新旧概念：优化确定性等价物，数学。《金融》，17，3，449-476（2007）·Zbl 1186.91116号 ·doi:10.1111/j.1467-9965.2007.00311.x [7] 陈，C。；Mangasarian，OL，非线性和混合互补问题的一类平滑函数，计算。最佳方案。申请。，5, 2, 97-138 (1996) ·Zbl 0859.90112号 ·doi:10.1007/BF00249052 [8] Cucker，F。；周，DX，《学习理论——近似理论观点》，第24卷（2007），剑桥：剑桥大学出版社，剑桥·Zbl 1274.41001号 ·doi:10.1017/CBO9780511618796 [9] Curi，S.、Levy，K.Y.、Jegelka，S.和Krause，A.：随机风险规避学习的自适应抽样。收录于：Larochelle，H.、Ranzato，M.、Hadsell，R.、Balcan，M.和Lin，H.（编辑）《神经信息处理系统进展》33：2020年神经信息处理体系年度会议，NeurIPS 2020，2020年12月6日至12日，虚拟版。https://proceedings.neurips.cc/paper/2020/hash/0b6ace9e8971cf36f1782aa982a708db-Abstract.html (2020) [10] Dantzig，GB，离散变量极值问题，Oper。第5、2、266-288号决议（1957年）·Zbl 1414.90353号 ·doi:10.1287/opre.5.2266 [11] Duchi，J.C.，Namkoong，H.：通过分布稳健优化实现统一性能的学习模型。arXiv:1810.08750（2018）·兹比尔1473.62019 [12] Fan，Y.、Lyu，S.、Ying，Y.和Hu，B.：以平均top-k损失学习。收录于：Guyon，I.，von Luxburg，U.，Bengio，S.，Wallach，H.M.，Fergus，R.，Vishwanathan，S.V.N.，Garnett，R.（编辑）《神经信息处理系统进展》30:2017年12月4日至9日，美国加利福尼亚州长滩，第497-505页。https://proceedings.neurips.cc/paper/2017/hash/6c524f9d5d7027454a783c841250ba71-Abstract.html (2017) [13] Föllmer，H。；Schied，A.，风险和交易约束的凸度量，《金融研究》。，6, 4, 429-447 (2002) ·Zbl 1041.91039号 ·doi:10.1007/s007800200072 [14] 圭格斯，V。；Sagastizábal，CA，大型多阶段随机线性规划的风险规避可行策略，数学。程序。，138, 1-2, 167-198 (2013) ·Zbl 1266.90135号 ·doi:10.1007/s10107-012-0592-1 [15] 希里亚特·乌鲁蒂，JB；Lemaréchal，C.，凸分析和最小化算法（1993），海德堡：施普林格，海德堡·Zbl 0795.49001号 ·doi:10.1007/978-3-662-02796-7 [16] Ho-Nguyen，N.，Wright，S.J.：通过分布稳健性和wasserstein模糊性进行对抗分类。arXiv:2005.13815（2020） [17] Holstein，K.，Vaughan，J.W.，Daumé，H.III，DudíK，M.，Wallach，H.M.：提高机器学习系统中的公平性：行业从业者需要什么？收录于：Brewster，S.A.、Fitzpatrick，G.、Cox，A.L.、Kostakos，V.（编辑）《2019年计算机系统人为因素CHI会议记录》，CHI 2019，英国苏格兰格拉斯哥，2019年5月4日至9日，第600页。ACM公司。doi:10.1145/3290605.3300830（2019） [18] Howard，RA；Matheson，JE，风险敏感马尔可夫决策过程，管理。科学。理论，18，356-369（1972）·Zbl 0238.90007号 ·doi:10.1287/mnsc.18.7.356 [19] Kamishima，T.、Akaho，S.、Asoh，H.、Sakuma，J.：带有偏见去除正则化器的公平软件分类器。摘自：Flach，P.A.、Bie，T.D.、Cristianini，N.（编辑）《数据库中的机器学习和知识发现——欧洲会议》，ECML PKDD 2012，英国布里斯托尔，2012年9月24-28日。论文集，第二部分，计算机科学讲义，第7524卷，第35-50页。斯普林格。doi:10.1007/978-3-642-33486-33（2012） [20] 川口，K.，Lu，H.：有序SGD：经验风险最小化的新随机优化框架。收录于：Chiappa，S.，Calandra，R.（eds.）第23届国际人工智能与统计会议，AISTATS 2020，2020年8月26日至28日，在线[意大利西西里岛巴勒莫]，《机器学习研究论文集》，第108卷，第669-679页。PMLR公司。http://proceedings.mlr.press/v108/kawaguchi20a.html (2020) [21] 奈特·W：亚利桑那州，一辆自动驾驶优步车撞死了一名行人。伦理科技（2018） [22] Laguel，Y.，Malick，J.，Harchaoui，Z.：基于超分位数的监督学习的一阶优化。摘自：第30届IEEE信号处理机器学习国际研讨会，MLSP 2020，芬兰埃斯波，2020年9月21日至24日，第1-6页。电气与电子工程师协会。doi:10.1109/MLSP49062.2020.9231909（2020） [23] Laguel，Y.、Pillutla，K.、Malick，J.、Harchaoui，Z.：使用异构设备进行联合学习的超分位数方法。摘自：第55届信息科学与系统年会，CISS 2021，马里兰州巴尔的摩，美国，2021年3月24日至26日，第1-6页。电气与电子工程师协会。doi:10.1109/CISS50987.2021.9400318（2021） [24] Lee，J.、Park，S.、Shin，J.：风险敏感学习的学习界限。收录于：Larochelle，H.、Ranzato，M.、Hadsell，R.、Balcan，M.和Lin，H.（编辑）《神经信息处理系统进展》33：2020年神经信息处理体系年度会议，NeurIPS 2020，2020年12月6日至12日，虚拟版。https://proceedings.neurips.cc/paper/2020/hash/9f60ab2b55468f104055b16df8f69e81-Abstract.html (2020) [25] Levy，D.，Carmon，Y.，Duchi，J.C.，Sidford，A.：分布稳健优化的大尺度方法。收录于：Larochelle，H.、Ranzato，M.、Hadsell，R.、Balcan，M.和Lin，H.（编辑）《神经信息处理系统进展》33：2020年神经信息处理体系年度会议，NeurIPS 2020，2020年12月6日至12日，虚拟版。https://proceedings.neurips.cc/paper/2020/hash/64986d86a17424eeac96b08a6d519059-Abstract.html (2020) [26] 卢娜，JP；加利福尼亚州萨加斯蒂扎巴尔；Solodov，MV，一类风险规避随机均衡问题的近似方案，数学。程序。，1572451-481（2016）·Zbl 1414.91293号 ·doi:10.1007/s10107-016-0988-4 [27] Metz，R.：微软的neo-Nazi性爱机器人对人工智能助手的制造商来说是一个很好的教训。Artif公司。因特尔。(2018) [28] Mhammedi，Z.，Guedj，B.，Williamson，R.C.：Pac-bayesian对风险条件值的约束。收录于：Larochelle，H.、Ranzato，M.、Hadsell，R.、Balcan，M.和Lin，H.（编辑）《神经信息处理系统进展》33：2020年神经信息处理体系年度会议，NeurIPS 2020，2020年12月6日至12日，虚拟版。https://proceedings.neurips.cc/paper/2020/hash/d02e9bdc27a894e882fa0c9055c99722-Abstract.html (2020) [29] 米兰达，S.I.：超分位数回归：理论、算法和应用。蒙特里卡州海军研究生院技术代表（2014年） [30] Morimura，T.、Sugiyama，M.、Kashima，H.、Hachiya，H.和Tanaka，T.：强化学习的非参数回报分布近似。摘自：Fürnkranz，J.，Joachims，T.（编辑）《第27届国际机器学习会议（ICML-10）论文集》，2010年6月21日至24日，以色列海法，第799-806页。全能女。https://icml.cc/Conferences/2010/papers/652.pdf (2010) [31] 内斯特罗夫，Y。；Spokoiny，V.，凸函数的随机无梯度最小化，Found。计算。数学。，17, 2, 527-566 (2017) ·Zbl 1380.90220号 ·doi:10.1007/s10208-015-9296-2 [32] Nesterov，YE，凸优化入门讲座-基础课程，应用优化，第87卷（2004），柏林：Springer，柏林·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9 [33] Nesterov，YE，非光滑函数的平滑最小化，数学。程序。，103, 1, 127-152 (2005) ·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5 [34] Nocedal，J。；Wright，SJ，《数值优化》（2006），纽约：Springer，纽约·Zbl 1104.65059号 [35] Paszke，A.、Gross，S.、Massa，F.、Lerer，A.、Bradbury，J.、Chanan，G.、Killeen，T.、Lin，Z.、Gimelshein，N.、Antiga，L.、Desmaison，A.、Kopf，A.，Yang，E.、DeVito，Z.，Raison，M.、Tejani，A.、Chilamkurthy，S.，Steiner，B.、Fang，L.，Bai，J.，Chintala，S.：Pytorch：命令式，高性能深度学习库。摘自：Wallach，H.、Larochelle，H.，Beygelzimer，A.、d’Alché-Buc，F.、Fox，E.、Garnett，R.（编辑）《神经信息处理系统进展》32，第8024-8035页。Curran Associates公司。http://papers.neurips.cc/paper/9015-pytorch-an-imperative-style-high-performance-deep-learning-library.pdf (2019) [36] Pedregosa，F.、Varoqueux，G.、Gramfort，A.、Michel，V.、Thirion，B.、Grisel，O.、Blondel，M.、Prettenhofer，P.、Weiss，R.、Dubourg，V.，VanderPlas，J.、Passos，A.、Cournapeau，D.、Brucher，M.，Perrot，M.和Duchesnay，E.：Scikit-lean:机器学习，python，第12卷，第2825-2830页（2011）。http://dl.acm.org/citation.cfm？id=2078195 ·Zbl 1280.68189号 [37] Pollard，D.，《测量理论概率的用户指南》，第8卷（2002），剑桥：剑桥大学出版社，剑桥·Zbl 0992.60001号 [38] Recht，B.，Roelofs，R.，Schmidt，L.，Shankar，V.：图像网络分类器能推广到图像网络吗？收录于：Chaudhuri，K.，Salakhutdinov，R.（编辑）《第36届机器学习国际会议论文集》，2019年6月9日至15日，美国加利福尼亚州长滩，《机器学习研究论文集》第97卷，第5389-5400页。PMLR公司。http://proceedings.mlr.press/v97/recht19a.html (2019) [39] Rockafellar，RT，通过渐进对冲解决风险度量的随机规划问题，集值变量分析。，26, 4, 759-768 (2018) ·Zbl 1416.90027号 ·doi:10.1007/s11228-017-0437-4 [40] Rockafellar，R.T.，Royset，J.O.：超分位数及其在风险、随机变量和回归中的应用。摘自：《影响应用驱动的理论》，第151-167页。信息（2013） [41] Rockafellar，RT公司；Royset，JO，随机变量，单调关系，凸分析，数学。程序。，148, 1-2, 297-331 (2014) ·Zbl 1330.60009号 ·doi:10.1007/s10107-014-0801-1 [42] Rockafellar，RT公司；罗伊斯特，JO；Miranda，SI，《超分位数回归及其在缓冲可靠性、不确定性量化和条件值风险中的应用》，欧洲期刊Oper。研究，234，1，140-154（2014）·Zbl 1305.62175号 ·doi:10.1016/j.ejor.2013.10.046 [43] Rockafellar，RT公司；Uryasev，S.，《一般损失分配的条件风险值》，J.银行。金融，26，7，1443-1471（2002）·doi:10.1016/S0378-4266（02）00271-6 [44] Rockafellar，RT公司；Uryasev，S.，条件价值风险优化，J.risk，2，21-42（2000）·doi:10.21314/JOR.2000.038 [45] Rockafellar，RT公司；Wets，RJB，变异分析，第317卷（2009），柏林：Springer科学与商业媒体，柏林 [46] Ruszczynski，A。；Shapiro，A.，凸风险函数优化，数学。操作。决议，31，3，433-452（2006）·Zbl 1278.90283号 ·doi:10.1287/门1050.0186 [47] Sarykalin，S.、Serraino，G.、Uryasev，S.：风险管理和优化中的价值风险与条件价值风险。摘自：信息密集型时代最先进的决策工具，第270-294页。Informs（2008年） [48] Shafieezadeh-Abadeh，S。；Kuhn博士。；Esfahani，PM，《通过大众运输进行规范化》，J.Mach。学习。决议，20，103:1-103:68（2019）·Zbl 1434.68450号 [49] 沙列夫·施瓦茨，S。；Ben-David，S.，《理解机器学习——从理论到算法》（2014），剑桥：剑桥大学出版社，剑桥·Zbl 1305.68005号 ·doi:10.1017/CBO9781107298019 [50] 夏皮罗，A。；Dentcheva，D。；Ruszczynski，A.，随机编程讲座-建模与理论。MOS-SIAM优化系列，第16卷（2014），费城：SIAM，费城·Zbl 1302.90003号 [51] Soma，T.，Yoshida，Y.：有条件风险值的统计学习。arXiv:2002.05826（2020） [52] 萨顿，RS；Barto，AG，强化学习。《简介》（2018），剑桥：麻省理工学院出版社，剑桥·Zbl 1407.68009号 [53] Sutton，R.S.、McAllester，D.A.、Singh，S.P.、Mansour，Y.：函数逼近强化学习的策略梯度方法。收录于：Solla，S.A.、Leen，T.K.、Müller，K.（编辑）《神经信息处理系统的进展》12，[NIPS会议，美国科罗拉多州丹佛，1999年11月29日至12月4日]，第1057-1063页。麻省理工学院出版社。http://papers.nips.cc/paper/1713-policy-gradient-methods-for-rinformation-learning-with-function-approximation（1999年） [54] Tamar，A.、Chow，Y.、Ghavamzadeh，M.、Mannor，S.：连贯风险度量的政策梯度。摘自：Cortes，C.，Lawrence，N.D.，Lee，D.D.，Sugiyama，M.，Garnett，R.（编辑）《神经信息处理系统进展》28：2015年12月7日至12日，加拿大魁北克省蒙特利尔，第1468-1476页。https://proceedings.neurips.cc/paper/2015/hash/024d7f84fff11dd7e8d9c510137a2381-Abstract.html (2015) [55] Vershynin，R.，《高维概率》。《数据科学应用简介》，第47卷（2018），剑桥：剑桥大学出版社，剑桥·Zbl 1430.60005号 [56] MJ Wainwright，《高维统计》。《非症状观点》，第48卷（2019），剑桥：剑桥大学出版社，剑桥·Zbl 1457.62011年 [57] Williamson，R.C.，Menon，A.K.：公平风险度量。收录于：Chaudhuri，K.，Salakhutdinov，R.（编辑）《第36届机器学习国际会议论文集》，2019年6月9日至15日，美国加利福尼亚州长滩，《机器学习研究论文集》第97卷，第6786-6797页。PMLR公司。http://proceedings.mlr.press/v97/williamson19a.html (2019) 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。