卢东渡;贾拉尔·法迪利;克利斯朵夫·切斯诺 低复杂度先验的尖锐预言不等式。 （英语） Zbl 1439.62141号 Ann.Inst.Stat.数学。 72，第2期，353-397（2020）. 设（上划线{y}=（y_1，y_2，dots，y_n）是具有共同边缘分布的观测值，设（mathbf{a}）是一个确定的（n次p）矩阵。作者考虑了与基于数据（上划线{y}）和矩阵（mathbf{a}）的参数向量（mathbb{R}^p中的上划线{theta}）估计有关的问题。设（F:\mathbb{R}^n\times\mathbb}R}^n\rightarrow\mathbb2{R}）是一个假定为光滑凸的损失函数，它分配给每一个成本（F（\mathbf{a}\overline{theta}，\overline{y}）。让\[\上划线{\theta}_0=\mathop{\tathrm{Argmin}}\limits_{\toverline{\theta}\in\mathbb{R}^p}\mathbb{E}\left[F（\mathbf{A}\上划线{theta}，\上划线}）\right]\]将人口风险降至最低。作者给出了两个估计量（上横线{theta}_0）的预测中的一般预言不等式，即经分析的估计量和指数加权聚集。特别注意案例（p>n）。审核人：乔纳斯·萨尤利斯（维尔纽斯） 引用于1文件 MSC公司： 62甲12 多元分析中的估计 62H10型 统计的多元分布 62升10 功能数据分析 60埃15 不平等；随机排序 关键词：高维估计;指数加权聚集;惩罚估计;oracle不等式;低复杂度模型 软件：PDCO公司;相位提升 PDF格式BibTeX公司 XML格式引用 \textit{T.D.Luu}等人，《Ann.Inst.Stat.Math.》。72，第2号，353--397（2020；Zbl 1439.62141） 全文： 内政部 arXiv公司 参考文献： [1] Bach，F.，《组套索和多核学习的一致性》，《机器学习研究杂志》，9，1179-1225（2008）·Zbl 1225.68147号 [2] Bakin，S.（1999）。数据挖掘问题中的自适应回归和模型选择。堪培拉澳大利亚国立大学博士论文。 [3] Bauschke，Hh；Combettes，Pl，Hilbert空间中的凸分析和单调算子理论（2011），纽约：Springer，纽约·Zbl 1218.47001号 [4] Bellec，P.（2014）。Bernstein矩假设下的二次型集中。技术报告1，法国ENSAE。 [5] 比克尔，Pj；Ritov，Y。；Tsybakov，A.，《Lasso和Dantzig选择器的同步分析》，《统计年鉴》，第37、4、1705-1732页（2009年）·Zbl 1173.62022号 [6] 博格丹，M。；范登伯格，E。；萨巴蒂，C。；苏·W。；Candès，Ej，Slope-Adaptive variable selection via凸优化，Annals of Applied Statistics，9，3，1103-1140（2014）·Zbl 1454.62212号 [7] Bühlmann，P。；Van De Geer，S.，《高维数据统计：方法、理论和应用》，《统计学中的斯普林格系列》（2011），柏林，海德堡：斯普林格，柏林，海德堡·Zbl 1273.62015年 [8] 坎迪斯，E。；Plan，Y.，通过（ell_1）最小化选择近理想模型，《统计年鉴》，37，5，2145-2177（2009）·兹比尔1173.62053 [9] 坎迪斯（Ej Candès）；Recht，B.，通过凸优化实现精确矩阵补全，计算数学基础，9，6，717-772（2009）·Zbl 1219.90124号 [10] 坎迪斯（Ej Candès）；李，X。；马云（Ma，Y.）。；Wright，J.，稳健主成分分析？，ACM杂志，58，3，11:1-11:37（2011）·Zbl 1327.62369号 [11] 坎迪斯（Ej Candès）；斯特罗默，T。；Voroninski，V.，《相位提升：通过凸规划从震级测量中准确稳定地恢复信号》，《纯粹与应用数学通信》，66，8，1241-1274（2013）·Zbl 1335.94013号 [12] 卡斯蒂略，I。；施密特·希伯（Schmidt-Hieber），J。；Van Der Vaart，A.，具有稀疏先验的贝叶斯线性回归，《统计年鉴》，第43期，第5期，1986-2018年（2015年）·Zbl 1486.62197号 [13] Catoni，O.（2003）。自适应分类的PAC-Baysian方法。技术报告PMA-840，法国巴黎概率与现代化实验室。 [14] Catoni，O.，PAC-Baysian监督分类（统计学习的热力学），讲稿-专著系列（2007），俄亥俄州比奇伍德：俄亥俄州比奇伍德数学统计研究所·Zbl 1277.62015年 [15] Chandrasekaran，V。；Recht，B。；帕里罗，Pa；Willsky，A.，线性反问题的凸几何，计算数学基础，12，6，805-849（2012）·Zbl 1280.52008年 [16] 陈，S。；多诺霍，D。；Saunders，M.，通过基追踪进行原子分解，SIAM科学计算杂志，20，1，33-61（1999）·Zbl 0919.94002号 [17] Chen，X.、Lin，Q.、Kim，S.、Carbonell，J.G.、Xing，E.P.（2010）。一种用于一般结构稀疏学习的高效近似粒度方法。预印arXiv:1005.4717。 [18] Coste，M.（2000年）。半代数几何导论。matematica/Universityádi Pisa的Dottorato di ricerca，matematica研究生院，国际政治学会，比萨。 [19] Dalalyan，A.，Tsybakov，A.（2009年）。指数权重聚合的预期误差的PAC-Bayesian界。技术报告1，巴黎第六大学，CREST和CERTIS，巴黎巴黎桥技术学院，个人通信。 [20] Dalalyan，A。；Tsybakov，Ab，《指数加权聚合，PAC-Baysian边界和稀疏性》，机器学习，72，1-2，39-61（2008）·Zbl 1470.62054号 ·doi:10.1007/s10994-008-5051-0 [21] Dalalyan，A.S.，Tsybakov，A.B.（2007年）。通过指数加权和尖锐的预言不等式进行聚合。第20届学习理论年会论文集（第97-111页）。施普林格，柏林，海德堡，COLT’07。http://dl.acm.org/citation.cfm？id=1768841.1768854。 ·Zbl 1203.62063号 [22] Dalalyan，As；Tsybakov，Ab，《通过聚合和Langevin Monte-Carlo进行稀疏回归学习》，《计算机与系统科学杂志》，第78、5、1423-1443页（2012年）·Zbl 1244.62054号 ·doi:10.1016/j.jcss.2011.12.023 [23] Dalalyan，As；希比里，M。；Lederer，J.，《关于拉索的预测性能》，伯努利，23，1，552-581（2017）·Zbl 1359.62295号 ·doi:10.3150/15-BEJ756 [24] Dalalyan，As；Grappin，E。；Paris，Q.，《关于拉普拉斯先验指数加权总和》，《统计年鉴》，46，5，2452-2478（2018）·Zbl 1409.62135号 [25] Danilidis，A。；Drusvyatskiy，D。；Lewis，As，正交不变性和可识别性，SIAM矩阵分析与应用杂志，35，2580-598（2014）·Zbl 1339.15007号 ·数字对象标识代码：10.1137/130916710 [26] Donoho，D.，《对于大多数大型欠定线性方程组，最小范数解也是最稀疏的解》，《纯粹与应用数学通讯》，59，6，797-829（2006）·Zbl 1113.15004号 [27] 多诺霍，D。；Tanner，J.，《计算随机投影超立方体和正方体的面数》，《离散与计算几何》，43，3，522-541（2010）·Zbl 1191.52004号 [28] Durmus，A.，Moulines，E.，Pereyra，M.（2016）。当Moreau遇到Langevin时，从凸非连续可微函数采样。https://hal.archives-ouvertes.fr/hal-01267115，预印hal-01267115。 [29] Duy Luu，T.、Fadili，J.M.、Chesneau，C.（2016）。基于指数加权的群体分析稀疏回归的PAC-Baysian风险界。技术报告，hal-01367742。https://hal.archives-ouvertes.fr/hal-01367742。 ·Zbl 1417.62086号 [30] Fadili，M.J.、Peyré，G.、Vaiter，S.、Deledale，C.、Salmon，J.（2013）。分析可分解先验的稳定恢复。《抽样理论与应用》（SAMPTA）（第113-116页）。不来梅：斯普林格。 [31] Fazel，M.、Hindi，H.、Boyd，S.P.（2001）。应用于最小阶系统逼近的秩最小化启发式算法。美国控制会议（ACC）论文集，IEEE，美国阿灵顿（第6卷，第4734-4739页）。 [32] Guedj，B。；Alquier，P.，稀疏加性模型中的PAC贝叶斯估计和预测，《电子统计杂志》，7264-291（2013）·Zbl 1337.62075号 ·doi:10.1214/13-EJS771 [33] Hiriart-Urruti，J.B.，Lemaréchal，C.（2001）。凸分析和最小化算法，Grundlehren der mathematischen Wissenschaften，第一卷和第二卷。柏林，海德堡：施普林格·Zbl 0998.49001号 [34] Jacob，L.、Obozinski，G.、Vert，J.P.（2009）。用重叠和图形套索将套索分组。A.P.Danyluk、L.Bottou、M.L.Littman（编辑），第26届机器学习国际会议（ICML）（第382卷，第55页）。蒙特利尔；ACM出版社。 [35] Jégou，H.、Furon，T.、Fuchs，J.J.（2012）。用于近似最近邻搜索的反解析编码。IEEE声学、语音和信号处理国际会议（ICASSP）（第2029-2032页）。京都：IEEE。 [36] Koltchinskii，V.（2008）。Oracle在经验风险最小化和稀疏恢复问题中的不等式。在第38届概率论和统计学暑期学校圣面粉。数学课堂讲稿（第2033卷）。纽约：斯普林格·Zbl 1223.91002号 [37] 科尔钦斯基，V。；Lounici，K。；Tsybakov，Ab，Nuclear-norm惩罚与噪声低秩矩阵完成的最优速率，《统计年鉴》，39，5，2302-2329（2011）·Zbl 1231.62097号 ·doi:10.1214/11-AOS894 [38] Lecué，G.，《同时适应分类的边缘和复杂性》，《统计年鉴》，35，4，1698-1721（2007）·Zbl 1209.62146号 ·doi:10.1214/00905360000000055 [39] Ledoux，M.（2001）。测量集中现象。数学调查和专著。普罗维登斯，RI：美国数学学会·兹比尔0995.60002 [40] 梁，G。；Barron，Ar，《信息理论与混合最小二乘回归》，IEEE信息理论汇刊，52，8，3396-3410（2006）·Zbl 1309.94051号 [41] Lounici，K。；庞蒂尔，M。；Van De Geer，S。；Tsybakov，Ab，Oracle不等式与群稀疏下的最优推理，《统计年鉴》，39，4，2164-2204（2011）·Zbl 1306.62156号 ·doi:10.1214/11-AOS896 [42] 柳巴尔斯基，Y。；Vershynin，R.，《不确定性原理和矢量量化》，IEEE信息理论汇刊，56，7，3491-3501（2010）·Zbl 1366.94117号 [43] Mai，Tt；Alquier，P.，《噪声矩阵补全的贝叶斯方法：一般抽样分布下的最优率》，《电子统计杂志》，9，1，823-841（2015）·Zbl 1317.62050号 ·doi:10.1214/15-EJS1020 [44] 马萨特，P.（2007）。集中度不等式和模型选择。在概率论和统计学夏令营圣弗洛XXXII-2003。纽约：斯普林格·Zbl 1170.60006号 [45] 内加班，S。；拉维库马尔，P。；Mj Wainwright；Yu，B.，具有可分解正则化子的M-估计量的高维分析的统一框架，统计科学，27，4538-557（2012）·Zbl 1331.62350号 [46] 内米洛夫斯基，A。；埃默里，M。；内米洛夫斯基，A。；Voiculescu，D.，非参数统计学主题，概率论和统计学暑期学校圣弗洛尔XXVIII-1998，数学课堂讲稿，87-285（2000），纽约：施普林格，纽约·Zbl 0941.00026号 [47] 奥斯本，M。；Presnell，B。；Turlach，B.，《最小二乘问题中变量选择的新方法》，IMA数值分析杂志，20，3，389-403（2000）·Zbl 0962.65036号 [48] Peyré，G.、Fadili，J.、Chesneau，C.（2011）。通过二元划分实现自适应结构块稀疏性。在第19届欧洲信号处理会议（EUSIPCO）上。西班牙巴塞罗那：斯普林格。 [49] Raskutti，G。；Mj Wainwright；Yu，B.，球上高维线性回归的Minimax估计率，IEEE信息理论汇刊，57，10，6976-6994（2011）·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799 [50] Recht，B。；法泽尔，M。；Parrilo，Pa，通过核范数最小化保证线性矩阵方程的最小秩解，SIAM Review，52，3，471-501（2010）·Zbl 1198.90321号 [51] Rigollet，P。；Tsybakov，A.，密度估计器的线性和凸聚合，统计数学方法，16，3，260-280（2007）·兹比尔1231.62057 ·doi:10.3103/S1066530707030052 [52] Rigollet，P。；Tsybakov，A.，指数筛选和稀疏估计的最佳速率，《统计年鉴》，39，2，731-771（2011）·兹比尔1215.62043 ·doi:10.1214/10-AOS854 [53] Rigollet，P。；Tsybakov，Ab，《指数加权稀疏估计》，《统计科学》，第27、4、558-575页（2012年）·Zbl 1331.62351号 ·doi:10.1214/12-STS393 [54] Rockafellar，R.，凸分析（1996），新泽西州普林斯顿：普林斯顿大学出版社，新泽西普林斯顿·Zbl 0878.49012号 [55] Rockafellar，Rt；Wets，R.，变分分析（1998），纽约：Springer，纽约·Zbl 0888.49001号 [56] Rudelson，M。；Vershynin，R.，《基于傅里叶和高斯测量的稀疏重建》，《纯粹和应用数学通信》，61,81025-1045（2008）·Zbl 1149.94010号 [57] 鲁丁，L。；Osher，S。；Fatemi，E.，基于非线性总变差的噪声去除算法，Physica D:非线性现象，60，1-4，259-268（1992）·Zbl 0780.49028号 [58] Studer，C.、Yin，W.、Baraniuk，R.G.（2012年）。具有最小范数的信号表示。在第50届Allerton通信、控制和计算年会上。美国香槟-乌尔巴纳：IEEE。 [59] 苏·W。；Candès，Ej，Slope适应未知稀疏性和渐近极小极大，《统计年鉴》，44，3，1038-1068（2015）·Zbl 1338.62032号 [60] Sun，T。；Zhang，Ch，标度稀疏线性回归，Biometrika，99，4，879（2012）·兹比尔1452.62515 ·doi:10.1093/biomet/ass043 [61] 铃木，T.（2015）。贝叶斯张量估计的收敛速度及其极大极小最优性。第32届国际机器学习会议（ICML）（第37卷，第1273-1282页）。法国里尔：ACM出版社。 [62] Talagrand，M.，通用链。随机过程的上下限（2005），柏林：施普林格出版社，柏林·Zbl 1075.60001号 [63] Tibshirani，R.，《通过拉索进行回归收缩和选择》，《皇家统计学会期刊B系列方法学》，58，1，267-288（1996）·Zbl 0850.62538号 [64] 罗伯特·蒂布希拉尼；迈克尔·桑德斯；罗塞特，撒哈拉；朱，季；Knight，Keith，《通过融合套索的稀疏与平滑》，《皇家统计学会杂志：B辑（统计方法）》，67，1，91-108（2005）·Zbl 1060.62049号 [65] Tropp，J。；Pfander，G.，从独立随机线性测量中恢复结构化信号的凸性，采样理论，复兴，应用和数值谐波分析（ANHA）（2015），柏林，海德堡：伯赫用户/Springer，柏林，海德堡·Zbl 1358.94034号 [66] Tropp，Ja，矩阵集中不等式导论，机器学习的基础和趋势，8，1-2，1-230（2015）·Zbl 1391.15071号 ·doi:10.1561/22000048 [67] Tsybakov，Ab，非参数估计简介（2008），纽约：Springer，纽约 [68] Vaiter，S.、Golbabaee，M.、Fadili，J.、Peyré，G.（2015a）。具有低复杂性先验的模型选择。信息和推理：IMA杂志，4（3），230·Zbl 1386.94040号 [69] 维特，S。；佩雷，G。；马里兰州法迪利；Pfander，G.，线性反问题的低复杂度正则化，抽样理论，复兴，应用和数值调和分析（ANHA）（2015），柏林，海德堡：Birkhäuser/Springer，柏林，海德堡·Zbl 1358.94016号 [70] 维特，S。；Deledale，C。；马里兰州法迪利；佩雷，G。；Dossal，C.，《部分光滑正则化子的自由度》，《统计数学研究所年鉴》，69，4，791-832（2017）·Zbl 1382.62027号 [71] 维特，S。；佩雷，G。；Fadili，Mj，部分光滑正则化子的模型一致性，IEEE信息理论汇刊，64，3，1725-1737（2018）·Zbl 1464.62345号 [72] Van De Geer，S.，《高维广义线性模型和拉索》，《统计年鉴》，36614-645（2008）·Zbl 1138.62323号 [73] Van De Geer，S.，《弱可分解正则化惩罚与结构化稀疏性》，《斯堪的纳维亚统计杂志》，41，1，72-86（2014）·Zbl 1349.62325号 ·doi:10.1111/sjos.12032 [74] Van De Geer，S。；Buhlmann，P.，《关于为Lasso证明预言结果的条件》，《电子统计杂志》，31360-1392（2009）·Zbl 1327.62425号 ·doi:10.1214/09-EJS506 [75] Van De Geer，S。；Lederer，J.，《Bernstein-Orlicz范数和偏差不等式》，概率论及相关领域，157225-250（2013）·兹比尔1284.60060 [76] Vershynin，R。；Pfander，G.，《高维估计：几何透视》，《抽样理论，复兴，应用和数值调和分析》（ANHA）（2015），柏林，海德堡：伯赫用户/施普林格，柏林，海德堡 [77] Verzelen，N.，《稀疏回归的最小最大风险：超高维现象》，《电子统计杂志》，第638-90页（2012年）·Zbl 1334.62120号 ·doi:10.1214/12-ejs666 [78] Wang，Z.、Paterlini，S.、Gao，F.、Yang，Y.（2014）。稀疏lq-hulls上的自适应minimax回归估计。《机器学习研究杂志》，15（1），1675-1711。http://dl.acm.org/citation.cfm？id=2627435.2638589。 ·Zbl 1319.62016号 [79] 魏，F。；Huang，J.，高维线性回归中的一致组选择，Bernoulli，16，4，1369-1384（2010）·Zbl 1207.62146号 [80] Yang，Y.，《提高绩效的聚合回归程序》，Bernoulli，10，1，25-47（2004）·Zbl 1040.62030 [81] Ye，F.，Zhang，C.H.（2010）。套索和dantzig选择器对lr球lq损失的最小速率。机器学习研究杂志，11，3519-3540。http://dl.acm.org/citation.cfm？id=1756006.1953043。 ·Zbl 1242.62074号 [82] 袁明；Lin，Yi，分组变量回归中的模型选择和估计，《皇家统计学会杂志：B辑（统计方法）》，68，1，49-67（2006）·Zbl 1141.62030号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。