×
埃德加·多布里班;Stefan Wager

预测的高维渐近性：岭回归和分类。 （英语） Zbl 1428.62307号

Ann.统计。 46，第1期，247-279（2018）.
摘要：我们对密集随机效应模型中的岭回归和正则化判别分析的预测风险进行了统一分析。我们在高维渐近状态下工作，其中（p，n to infty）和（p/n to gamma>0），并允许特征之间的任意协方差。对于这两种方法，我们为极限预测风险提供了一个明确且有效的可计算表达式，该表达式仅取决于特征方差矩阵的谱、信号强度和纵横比。特别是在正则化判别分析的情况下，我们发现预测精度与协方差矩阵的特征值分布有着微妙的依赖关系，这表明基于协方差矩阵算子范数的分析可能并不尖锐。我们的结果还揭示了高维线性模型中极限预测风险和极限估计风险之间的精确反向关系。该分析基于随机矩阵理论的最新进展。

引用于35文件

MSC公司：

62小时99 多元分析
62J05型 线性回归；混合模型
62H30型 分类和区分；聚类分析（统计方面）
62J07型 岭回归；收缩估计器（拉索）

关键词：

高维渐近;岭回归;正则化判别分析;预测误差;随机矩阵理论

软件：

斯坦福·塔格
PDF格式BibTeX公司 XML格式引用
\textit{E.Dobriban}和\textit{S.Wager}，Ann.Stat.46，No.1，247--279（2018；Zbl 1428.62307）
全文： 内政部 arXiv公司

参考文献：

[1] Anderson，T.W.（2003）。《多元统计分析导论》，第三版，威利出版社，纽约·Zbl 1039.62044号
[2] Bai，Z.和Silverstein，J.W.（2010年）。《大维随机矩阵的谱分析》，第二版，施普林格出版社，柏林·Zbl 1301.60002号
[3] Bartlett，P.L.和Mendelson，S.（2003）。Rademacher和Gaussian复杂性：风险边界和结构结果。J.马赫。学习。第3463-482号决议·Zbl 1084.68549号
[4] Bayati，M.和Montanari，A.（2012年）。高斯矩阵的LASSO风险。IEEE传输。通知。理论58 1997-2017·兹比尔1365.62196
[5] Bean，D.、Bickel，P.J.、El Karoui，N.和Yu，B.（2013）。高维回归中的最优M估计。程序。国家。阿卡德。科学。美国110 14563-14568。
[6] Bernau，C.、Riester，M.、Boulesteix，A.-L.、Parmigiani，G.、Huttenhower，C.、Waldron，L.和Trippa，L.（2014）。预测算法评估的交叉研究验证。生物信息学30 i105-i112。
[7] Bickel，P.J.和Levina，E.（2004）。Fisher线性判别函数的一些理论，“朴素贝叶斯”，以及当变量比观测值多时的一些替代方法。伯努利10 989-1010·Zbl 1064.62073号
[8] Candès，E.和Tao，T.（2007年）。Dantzig选择器：当\（p）远大于\（n）时的统计估计。《统计年鉴》35 2313-2351·Zbl 1139.62019号
[9] Chen，L.S.、Paul，D.、Prentice，R.L.和Wang，P.（2011）。蛋白质组研究中用于通路分析的正规Hotelling’s（T^2）检验。J.Amer。统计师。协会106。1345-1360. ·兹比尔1234.62082
[10] Couillet，R.和Debbah，M.（2011年）。无线通信的随机矩阵方法。剑桥大学出版社，剑桥·Zbl 1252.94001号
[11] Deev，A.（1970年）。当空间维数与样本大小相当时，判别分析和渐近展开的统计表示。Sov公司。数学。，Dokl.11 1547-1550号·Zbl 0236.62044号
[12] Dicker，L.（2013）。具有任意预测协方差的高维线性模型的最优等变预测。电子。J.Stat.7 1806-1834年·Zbl 1293.62154号
[13] Dicker，L.（2016）。增长维球面上的岭回归和渐近极小极大估计。伯努利22 1-37·Zbl 1388.62205号
[14] Dobriban，E.（2017）。相关性下主成分分析的敏锐检测：所有特征值都很重要。统计年鉴45 1810-1833·Zbl 1486.62182号
[15] Dobriban，E.和Wager，S.（2018年）。对“预测的高维渐近性：岭回归和分类”的补充。DOI:10.1214/17-AOS1549SUPP·Zbl 1428.62307号
[16] Donoho，D.L.和Montanari，A.（2015）。Huber（M）估计量的方差分解\（不适用→ m∈（1，∞）\）。预印本。可在arXiv:1503.02106购买。
[17] Donoho，D.L.、Johnstone，I.M.、Hoch，J.C.和Stern，A.S.（1992年）。最大熵和接近黑色的物体。J.罗伊。统计师。Soc.序列号。B 54 41-81·Zbl 0788.62103号
[18] Efron，B.（1975）。与正常判别分析相比，逻辑回归的效率。J.Amer。统计师。协会70 892-898·Zbl 0319.62039号
[19] El Karoui，N.（2013年）。非规则和脊规则高维稳健回归估计量的渐近行为：严格结果。预印。可从arXiv:1311.2445获得。
[20] El Karoui，N.（2015年）。关于预测器几何对高维脊线规整广义稳健回归估计器性能的影响。技术报告，加州大学伯克利分校·Zbl 1407.62060号
[21] El Karoui，N.和Kösters，H.（2011年）。随机矩阵结果的几何敏感性：协方差收缩估计量和相关统计方法的结果。预印本。可在arXiv:1105.1404获得。
[22] Fan，J.、Fan，Y.和Wu，Y.（2011）。高维分类。《高维数据分析》（T.Cai和X.Shen编辑）3-37。世界科学。出版物。，新加坡。
[23] Friedman，J.H.（1989）。正则化判别分析。J.Amer。统计师。协会84 165-175·doi:10.1080/016214591989.10478752
[24] Fujikoshi，Y.和Seo，T.（1998年）。当样本大小和维数较大时，线性和二次判别函数EPMC的渐近逼近。随机方程6 269-280·Zbl 0924.62070号
[25] Fujikoshi，Y.、Ulyanov，V.V.和Shimizu，R.（2011）。多元统计：高维和大样本近似。纽约威利·Zbl 1304.62016年
[26] Grenander，U.和Szegő，G.（1984）。Toeplitz Forms and Ther Applications，第二版，Chelsea Publishing Co.，纽约·Zbl 0611.47018号
[27] Hachem，W.、Loubaton，P.和Najim，J.（2007年）。大随机矩阵某些泛函的行列式等价。附录申请。可能性17 875-930·Zbl 1181.15043号
[28] Hachem，W.、Khorunzhiy，O.、Loubaton，P.、Najim，J.和Pastur，L.（2008）。一种新的大维多天线信道互信息分析方法。IEEE传输。通知。理论54 3987-4004·Zbl 1322.94003号
[29] Hastie，T.、Tibshirani，R.和Wainwright，M.（2015）。稀疏的统计学习：套索和泛化。佛罗里达州博卡拉顿CRC出版社·兹比尔1319.68003
[30] Hsu，D.、Kakade，S.M.和Zhang，T.（2014）。岭回归的随机设计分析。已找到。计算。数学.14 569-600·Zbl 1298.62120号
[31] Kleinberg，J.、Ludwig，J.，Mullainathan，S.、Obermeyer，Z.等人（2015）。预测政策问题。美国经济。修订版105 491-495。
[32] Kubokawa，T.、Hyodo，M.和Srivastava，M.S.（2013）。高维线性分类规则EPMC的渐近展开和估计。《多元分析杂志》，115 496-515·Zbl 1259.62054号
[33] Ledoit，O.和Péché，S.（2011）。一些大样本协方差矩阵系综的特征向量。普罗巴伯。理论相关领域151 233-264·Zbl 1229.60009号
[34] Liang，P.和Srebro，N.（2010年）。关于规范与维度之间的互动：学习中的多重机制。在ICML中。
[35] Marchenko，V.A.和Pastur，L.A.（1967年）。一些随机矩阵集的特征值分布。材料编号114 507-536·Zbl 0152.16101号
[36] Ng，A.和Jordan，M.（2001年）。判别分类器与生成分类器：逻辑回归与朴素贝叶斯的比较。以NIPS为单位。
[37] Pickrell，J.K.和Pritchard，J.K（2012）。从全基因组等位基因频率数据推断种群分裂和混合。公共科学图书馆Genet.8 e1002967。
[38] 萨·劳迪斯。(1967). 线性分类器训练样本大小的确定。计算。系统28 79-87（俄语）。
[39] 萨·劳迪斯。(1972). 在设计分类算法时先验信息的数量。技术控制论4 168-174（俄语）。
[40] 萨·劳迪斯。（2001年）。统计和神经分类器：设计的综合方法。柏林施普林格科技与商业媒体·Zbl 0959.68110号
[41] 萨·劳迪斯。和Saudargiene，A.（1998年）。分类器设计中协方差矩阵的结构。在关于SPR和SSPR 583-592的IAPR国际联合研讨会上。柏林施普林格。
[42] 萨·劳迪斯。和Skurichina，M.（1995年）。统计和神经网络分类中协方差矩阵岭估计的小样本性质。新趋势概率。统计数据3 237-245·兹伯利0925.62238
[43] 萨·劳迪斯。和Young，D.M.（2004）。统计判别分析结果：前苏联文献综述。《多元分析杂志》89 1-35·Zbl 1036.62053号
[44] Rifai，S.、Dauphin，Y.、Vincent，P.、Bengio，Y.和Muller，X.（2011年）。流形切线分类器。高级神经信息处理。系统24 2294-2302。
[45] Rubio，F.、Mestre，X.和Palomar，D.P.（2012）。估计风险下大最小方差投资组合的性能分析和优化选择。IEEE J.选择。顶部。信号处理。6 337-350。
[46] Russakovsky，O.，Deng，J.，Su，H.，Krause，J.、Satheesh，S.、Ma，S.，Huang，Z.、Karpathy，A.、Khosla，A.、Bernstein，M.等人（2015）。ImageNet大规模视觉识别挑战。国际期刊计算。参见115 211-252。
[47] Saranadasa，H.（1993）。使用大维随机矩阵理论从两个高维总体中进行区分的D和A准则的误分类概率的渐近展开。《多元分析杂志》46 154-174·Zbl 0778.62055号
[48] Serdobolskii，V.I.（1983年）。判别分析中的最小错误概率。多克。阿卡德。诺克SSSR 27 720-725·Zbl 0545.62041号
[49] Serdobolskii，V.I.（2007）。多参数统计。爱思唯尔，阿姆斯特丹·Zbl 1359.62015号
[50] Silverstein，J.W.（1995）。大维随机矩阵特征值经验分布的强收敛性。《多元分析杂志》55 331-339·Zbl 0851.62015号
[51] Simard，P.Y.、Le Cun，Y.A.、Denker，J.S.和Victori，B.（2000）。模式识别中的变换不变性：切线距离和传播。国际成像系统杂志。Technol.11 181-197。
[52] Sutton，C.和McCallum，A.（2006年）。关系学习的条件随机域简介。《统计关系学习导论》93-128。
[53] Toutanova，K.、Klein，D.、Manning，C.D.和Singer，Y.（2003年）。在NAACL中，具有丰富的部分语言标记和循环依赖网络。
[54] Tulino，A.M.和Verdú，S.（2004年）。随机矩阵理论和无线通信。Commun公司。信息理论1 1-182·Zbl 1143.94303号
[55] Vapnik，V.N.和Chervonenkis，A.Y.（1971）。关于事件相对频率与其概率的一致收敛性。理论问题。申请16 264-280·Zbl 0247.60005号
[56] Wang，S.和Manning，C.D.（2012年）。基线和两字组：简单、情绪良好和主题分类。《计算语言学协会第50届年会论文集：短篇论文》，第2卷，90-94。计算语言学协会，宾夕法尼亚州斯特鲁兹堡。
[57] Wray，N.R.、Goddard，M.E.和Visscher，P.M.（2007）。从全基因组关联研究中预测疾病的个体遗传风险。基因组研究17 1520-1528。
[58] Yao，J.、Bai，Z.和Zheng，S.（2015）。大样本协方差矩阵与高维数据分析。剑桥大学出版社，剑桥·Zbl 1380.62011年
[59] Zhang，M.、Rubio，F.、Palomar，D.P.和Mestre，X.（2013）。无线通信和金融系统中的有限样本线性滤波器优化。IEEE传输。信号处理61 5014-5025·Zbl 1393.94521号
[60] Zollanvari，A.、Braga-Neto，U.M.和Dougherty，E.R.（2011）。线性判别分析中误差估计量性能的分析研究。IEEE传输。信号处理59 4238-4255·Zbl 1391.62127号
[61] Zollanvari，A.和Dougherty，E.R.（2015）。线性判别分析的广义一致误差估计。IEEE传输。信号处理63 2804-2814·兹比尔1394.94709
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。