×
陈瑞迪;帕斯卡利迪斯，Ioannis Ch。

基于分布稳健优化的回归模型稳健学习方法。 （英语） Zbl 1437.68149号

J.马赫。学习。物件。 19，第13号论文，48页（2018年）.
总结：我们提出了一个分布稳健优化（DRO）一种在线性回归环境中估计稳健回归平面的方法，当观测到的样本可能被敌对破坏的离群值污染时。我们的方法通过对冲观测数据上的一系列概率分布来减轻异常值的影响，其中一些概率分布将非常低的概率分配给异常值。所考虑的分布集接近于Wasserstein度量意义上的经验分布。我们证明了该DRO公式可以放松为包含一类模型的凸优化问题。通过为Wasserstein度量选择适当的范数空间，我们能够恢复几个常用的正则化回归模型。我们对正则化项提供了新的见解，并从置信域的角度指导正则化系数的选择。我们建立了两种类型的性能保证我们配方在温和条件下的溶液。一个与样本外行为有关（预测偏差），另一个与估计回归平面和真实回归平面之间的差异有关（估计偏差）。大量的数值结果表明，在预测和估计精度方面，我们的方法优于许多回归模型。我们还考虑了我们的鲁棒学习过程在异常值检测中的应用，并表明我们的方法实现了比M-估计高得多的AUC（ROC曲线下面积）[P.J.Huber先生，安。数学。《美国联邦法律大全》第35卷，第73–101页（1964年；Zbl 0136.39805号); Ann.Stat.1，799–821（1973年；Zbl 0289.62033号)].

引用于10文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
90立方厘米 数学规划中的稳健性
62J05型 线性回归；混合模型
60B10型 概率测度的收敛性
62层35 鲁棒性和自适应程序（参数推断）
62J07型 岭回归；收缩估计器（拉索）
90立方厘米 数学规划中的极小极大问题

关键词：

鲁棒学习;分布鲁棒优化;Wasserstein度量;正则回归;通用性保证

引文：

Zbl 0136.39805号;Zbl 0289.62033号

软件：

罗马
PDF格式BibTeX公司 XML格式引用
\textit{R.Chen}和\textit{I.Ch.Paschalidis}，J.Mach。学习。第19号决议，第13号论文，48页（2018年；Zbl 1437.68149）
全文： arXiv公司 链接

参考文献：

[1] Peter L Bartlett和Shahar Mendelson。Rademacher和Gaussian复杂性：风险边界和结构结果。机器学习研究杂志，3:463–4822002·Zbl 1084.68549号
[2] G–uzin Bayraksan和David K Love。使用φ发散的数据驱动随机规划。《运筹学教程》，第1-19页，2015年。44
[3] 迪米特里·贝尔塞卡斯。非线性规划。雅典娜科学贝尔蒙特，1999年·Zbl 1015.90077号
[4] Dimitris Bertsimas和Martin S Copenhaver。线性回归和矩阵回归中鲁棒化和正则化等价性的表征。《欧洲运筹学杂志》，2017年·Zbl 1403.62040号
[5] Dimitris Bertsimas、Vishal Gupta和Ioannis Ch Paschalidis。使用逆优化的平衡数据驱动估计。数学规划，153（2）：595–6332015·Zbl 1334.49017号
[6] Jose Blanchet和Karthyek Murthy。通过优化运输量化分销模式风险。技术报告arXiv:1604.014462016。
[7] 陈瑞迪（Ruidi Chen）、伊奥尼斯·奇·帕沙利迪斯（Ioannis Ch Paschalidis）、Hiroto Hatabu、Vladimir Valtchinov和Jenifer Siegelman。使用正则回归检测患者的未经授权的CT辐射暴露和成像协议元数据。工作文件，2018年。
[8] Sheng Chen和Arindam Banerjee。结构化高维多响应模型的交替估计。arXiv预印arXiv:1606.089572016。
[9] David Coleman、Paul Holland、Neil Kaden、Virginia Klema和Stephen C Peters。用于迭代重加权最小二乘计算的子程序系统。ACM数学软件汇刊（TOMS），6（3）：327-3361980·Zbl 0434.65024号
[10] Erick Delage和Yinyu Ye。矩不确定性下的分布稳健优化及其在数据驱动问题中的应用。运筹学，58（3）：595–6122010·Zbl 1228.90064号
[11] Laurent El Ghaoui和Hervée Lebret。具有不确定数据的最小二乘问题的稳健解。SIAM矩阵分析与应用杂志，18（4）：1035–10641997·Zbl 0891.65039号
[12] 埃尔多·甘和加鲁德·艾扬格。模糊机会约束问题和稳健优化。数学规划，107（1-2）：37-612006·Zbl 1134.90028号
[13] Peyman Mohajerin Esfahani和Daniel Kuhn。使用Wasserstein度量的数据驱动分布式稳健优化：性能保证和易处理的重新设计。可在2015年的Optimization Online上获得·Zbl 1433.90095
[14] 雷·C·费尔。关于计量经济模型的稳健估计。《经济和社会计量年鉴》第3卷第4期第667-677页。NBER，1974年。
[15] 尼古拉斯·福尼尔和阿诺德·吉林。关于经验测度的Wasserstein距离的收敛速度。概率论及相关领域，162（3-4）：707–7382015·兹比尔1325.60042
[16] Jerome Friedman、Trevor Hastie和Robert Tibshirani。统计学习的要素，第1卷。斯普林格统计系列，纽约，2001年·兹比尔0973.62007
[17] Rui Gao和Anton J Kleywegt。具有Wasserstein距离的分布鲁棒随机优化。arXiv预印arXiv:1604.021992016。45
[18] 高锐、陈曦和安东·克莱维特。统计学习中的Wasserstein分布稳健性和正则化。arXiv预印arXiv:1712.06052017。
[19] 乔尔·高和梅尔文·西姆。分布稳健优化及其可处理近似。运筹学，58（4-part-1）：902-9172010年·Zbl 1228.90067号
[20] 特雷弗·哈斯蒂（Trevor Hastie）、罗伯特·蒂布西拉尼（Robert Tibshirani）和瑞安·蒂布西兰尼（Ryan J Tibshilani）。最佳子集选择、正向逐步选择和LASSO.arXiv预印本arXiv:170708692017的扩展比较。
[21] 梅尔文·希尼奇（Melvin J Hinich）和普雷姆·塔尔瓦尔（Prem P Talwar）。稳健回归的简单方法。《美国统计协会杂志》，70（349）：113-1191975年·Zbl 0309.62045号
[22] 亚瑟·E·霍尔和罗伯特·W·肯纳。岭回归：非正交问题的有偏估计。技术计量学，12（1）：55-671970·Zbl 0202.17205号
[23] 胡兆林和L Jeff Hong。Kullback-Leibler发散约束分布稳健优化。可在2013年的Optimization Online上获得。
[24] 彼得·胡贝尔（Peter J Huber）。位置参数的稳健估计。《数理统计年鉴》，35（1）：73-1011964年·Zbl 0136.39805号
[25] 彼得·胡贝尔（Peter J Huber）。稳健回归：渐近、猜想和蒙特卡罗。统计年鉴，1（5）：799–8211973·Zbl 0289.62033号
[26] 姜瑞伟和关永培。数据驱动的机会约束随机程序。数学编程，第1-37页，2015年·Zbl 1346.90640号
[27] 罗凤桥和桑杰·梅赫罗特拉。基于Wasserstein度量的分布鲁棒优化分解算法。arXiv预印本arXiv：1704.039202017。
[28] 安德烈亚斯·莫雷尔、马西米利亚诺·蓬蒂尔和贝尔纳迪诺·罗梅拉·佩雷斯。应用于结构化稀疏性和多任务字典学习的不等式。在COLT中，第440-460页，2014年·兹比尔1360.68696
[29] Sanjay Mehrotra和He Zhang。分布稳健最小二乘问题的模型和算法。数学规划，146（1-2）：123–1412014·Zbl 1293.93790号
[30] Shahar Mendelson、Alain Pajor和Nicole Tomczak-Jaegermann。渐进几何分析中的重构和次高斯算子。几何和功能分析，17（4）：1248–12822007·Zbl 1163.46008号
[31] 大卫·波拉德。最小绝对偏差回归估计量的渐近性。计量经济学理论，7（02）：186-19991991。
[32] 伊奥娜·波佩斯库。随机优化的稳健均值-方差解。运筹学，55（1）：98-1122007·Zbl 1167.90611号
[33] 利昂哈德·詹姆斯·罗杰斯。不等式中某一定理的推广。数学信使，17（2）：145-1501888。46
[34] 彼得·卢梭和维克托·尤海。通过S-估计量进行稳健回归。在稳健和非线性时间序列分析中，第256-272页。斯普林格，1984年·Zbl 0567.62027号
[35] 彼得·卢梭。最小二乘回归。美国统计协会杂志，79（388）：871-8801984·Zbl 0547.62046号
[36] 彼得·卢梭。高崩溃点的多元估计。数学统计与应用，8:283-2971985·Zbl 0609.62054号
[37] Peter J Rousseeuw和Annick M Leroy。稳健回归和异常检测。John Wiley&Sons，2005年·兹比尔0711.62030
[38] 索鲁什·沙菲埃扎德赫·阿巴德（Soroosh Shafieezadeh-Abadeh）、佩曼·穆罕默德·埃斯法哈尼（Peyman Mohajerin Esfahani）和丹尼尔·库恩（Daniel Kuhn）。分布稳健逻辑回归。《神经信息处理系统进展》，第1576–1584页，2015年。
[39] Soroosh Shafieezadeh Abadeh、Daniel Kuhn和Peyman Mohajerin Esfahani。通过大众运输实现正规化。arXiv预印arXiv:1710.100162017。
[40] Aman Sinha、Hongseok Namkoong和John Duchi。通过原则性对抗训练证明分布式鲁棒性。arXiv预印arXiv:1710.105712017。
[41] 罗伯特·提比拉尼（Robert Tibshirani）。通过LASSO进行回归收缩和选择。英国皇家统计学会杂志。B系列（方法学），第267-288页，1996年·Zbl 0850.62538号
[42] 罗曼·弗什宁。高维概率：介绍其在数据科学中的应用。剑桥大学出版社（即将出版），2017年·Zbl 1430.60005号
[43] Li Wang、Michael D Gordon和Ji Zhu。正则化最小绝对偏差回归和参数调整的有效算法。第六届国际数据挖掘会议（ICDM’06），第690-700页。IEEE，2006年。
[44] 王子卓，彼得·W·格林，叶银雨。数据驱动问题的似然稳健优化。计算管理科学，13（2）：241–2612016·Zbl 1397.90225号
[45] 沃尔夫拉姆·维斯曼（Wolfram Wiesemann）、丹尼尔·库恩（Daniel Kuhn）和梅尔文·西姆（Melvyn Sim）。分布稳健凸优化。运筹学，62（6）：1358–13762014·Zbl 1327.90158号
[46] 许欢、君士坦丁·卡拉马尼斯和谢曼诺。支持向量机的鲁棒性和正则化。机器学习研究杂志，10（7月）：1485-15102009·Zbl 1235.68209号
[47] 许欢、君士坦丁·卡拉马尼斯和谢曼诺。稳健回归和LASSO。IEEE信息理论汇刊，56（7）：3561–35742010·Zbl 1366.62147号
[48] 杨文卓和徐欢。类LASSO算法的统一稳健回归模型。在2013年国际机器学习会议上，第585–593页。
[49] 维克多·J·尤海。回归的高分解点和高效稳健估计。《统计年鉴》，第642-656页，1987年。47 ·Zbl 0624.62037号
[50] C Zhao和Y Guan。基于Wasserstein度量的数据驱动风险规避随机优化。2015年在线优化。
[51] Hui Zou和Trevor Hastie。通过弹性网进行规则化和变量选择。《皇家统计学会杂志：B辑（统计方法）》，67（2）：301–320，2005年·Zbl 1069.62054号
[52] S.Zymler、D.Kuhn和B.Rustem。具有二阶矩信息的分布鲁棒联合机会约束。数学规划，137（1-2）：167-1982013·Zbl 1286.90103号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。