×
塞缪尔·巴尔曼德；Dalalyan，Arnak S。

关于稀疏精度矩阵对角元素的估计。 （英语） Zbl 1342.62088号

电子。J.统计。 10，第1期，1551-1579（2016）.
摘要：在本文中，我们给出了独立同分布随机向量样本的协方差矩阵（称为精度矩阵）逆的对角元素的几种估计。主要关注的是具有稀疏精度矩阵的高维向量的情况。现在很清楚，当基本分布是高斯分布时，可以通过解决稀疏性约束下的线性回归问题来独立地估计精度矩阵的列。这种方法产生了一种计算效率高的精度矩阵估计策略，该策略从估计回归向量开始，然后估计精度矩阵的对角线项，最后将这些估计值组合起来，以获得非对角线项目的估计值。虽然在过去十年中，人们对回归向量的估计步骤进行了深入研究，但推导对角线项的统计准确估计量的问题却很少受到关注。本论文的目标是通过提出精度矩阵对角线项的四个估计值（似乎是最自然的估计值），然后对这些估计值进行全面的实证评估，来填补这一空白。所考虑的估计量是残差方差、松弛最大似然、对称增强最大似然和惩罚最大似然。我们从理论和经验上表明，当对上述回归向量进行无误差估计时，对称性强制的最大似然估计器具有最小的估计误差。然而，在更现实的情况下，当回归向量由一种抗稀疏的计算效率方法估计时，估计量的质量变得相对可比，而残差方差估计量稍有优势。

引用于2文件

MSC公司：

62甲12 多元分析中的估计

关键词：

精度矩阵；稀疏恢复；惩罚可能性

软件：

促进；玻璃制品；莫塞克；Rbgl公司
PDF格式BibTeX公司 XML格式引用
\textit{S.Balmand}和\textit{A.S.Dalalyan}，电子。J.Stat.10，No.1，1551--1579（2016；Zbl 1342.62088）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] E.D.Andersen和K.D.Anderson。线性规划的mosek内点优化器：齐次算法的实现。在“高性能优化”中，第197-232页。2000. ·兹比尔1028.90022 ·doi:10.1007/978-14757-3216-08
[2] T.W.安德森。，多元统计分析导论。概率统计威利级数。Wiley-Interscience[John Wiley&Sons]，新泽西州霍博肯，第三版，2003年。
[3] O.Banerjee、L.El Ghaoui和A.d'Aspremont。多元高斯或二进制数据的稀疏最大似然估计模型选择。，J.马赫。学习。2008年6月，9:485-516号决议·兹比尔1225.68149
[4] A.Belloni和V.Chernozhukov。高维稀疏模型中模型选择后的最小二乘。，伯努利，19（2）：521-5472013年5月·Zbl 1456.62066号 ·doi:10.3150/11-BEJ410
[5] A.Belloni、V.Chernozhukov和L.Wang。方形套索：通过圆锥编程对稀疏信号进行枢轴恢复。，《生物特征》，98（4）：791-8062011·Zbl 1228.62083号 ·doi:10.1093/biomet/asr043
[6] A.Belloni、V.Chernozhukov和L.Wang。非参数回归中基于平方根拉索的枢轴估计。，安.统计师，42（2）：757-7882014a·Zbl 1321.62030号 ·doi:10.1214/14-AOS1204
[7] A.Belloni、M.Rosenbaum和A.B.Tsybakov。高维误差变量模型的（l_1，l_2，l_infty）正则化方法。CREST技术报告，arxiv:1412.72162014b。
[8] P.Bühlmann和S.A.van de Geer。，高维数据统计：方法、理论和应用。统计学中的斯普林格系列。施普林格-弗拉格-柏林-海德堡，2011年。
[9] 蔡先生、刘伟先生和罗先生。稀疏精度矩阵估计的约束L1最小化方法。，《美国统计协会杂志》，106:594-6072011年2月·Zbl 1232.62087号 ·doi:10.1198/jasa.2011.tm10155
[10] 蔡先生和刘先生。稀疏线性判别分析的直接估计方法。，J.Amer。统计师。协会，106（496）：1566-15772011年·兹比尔1233.62129 ·doi:10.1198/jasa.2011.tm11199
[11] T.Cai、W.Liu和H.Zhou。估计稀疏精度矩阵：最佳收敛速度和自适应估计。，安.统计师，44(2):455-488, 2016. ·Zbl 1341.62115号 ·doi:10.1214/13-AOS1171
[12] E.Candes和T.Tao。dantzig选择器：当p远大于n时的统计估计，Ann.Statist，35（6）：2313-23512007年12月·Zbl 1139.62019号 ·doi:10.1214/00905360000001523
[13] T.H.Cormen、C.E.Leiserson、R.L.Rivest和C.Stein。，算法简介。麻省理工学院出版社，马萨诸塞州剑桥，第三版，2009年·Zbl 1187.68679号
[14] A.S.Dalalyan和Y.Chen。方差未知线性模型的融合稀疏性和鲁棒估计。《神经信息处理系统进展》第25卷：NIPS，第1268-1276页，2012年。
[15] A.S.Dalalyan、M.Hebiri、K.Meziani和J.Salmon。在群稀疏条件下，利用凸规划学习异方差模型。《机器学习研究杂志》（Journal of Machine Learning Research）-W&CP 28（3）（ICML 2013），第379-387页，2013年。
[16] E.W.迪克斯特拉。关于与图有关的两个问题的注记。，数字。数学，1:269-271, 1959. ·Zbl 0092.16002号 ·doi:10.1007/BF01386390
[17] R.A.Fisher。在分类学问题中使用多重测量。，优生学年鉴，7（2）：179-1881936。
[18] J.Friedman、T.Hastie和R.Tibshirani。用图形套索进行稀疏逆协方差估计。，生物统计学，9（3）：432-4412008年7月·兹比尔1143.62076 ·doi:10.1093/biostatistics/kxm045
[19] I.A.Ibragimov和R.Z.Has\（'）minskiĭ。，统计估计，《数学应用》第16卷。斯普林格·弗拉格，纽约-柏林，1981年。渐进理论，塞缪尔·科茨从俄语翻译而来。
[20] V.Jarník。，O jistém problému miniálním：（Z dopisu panu O.Boru？skovi）。普拉斯·莫拉夫斯克·佩·罗德夫（Práce Moravsképřrodovědeckéspolečnosti）。莫尔。皮罗多夫（přrodovědeckáspolečnost），1930年。
[21] 关于图的最短生成子树和旅行推销员问题。，程序。阿默尔。数学。《社会》，1956年，7:48-50·Zbl 0070.18404号 ·doi:10.1090/S0002-9939-1956-0078686-7
[22] J.Lafferty、H.Liu和L.Wasserman。稀疏非参数图形模型。，统计师。科学，27(4):519-537, 2012. ·Zbl 1331.62219号 ·doi:10.1214/12-STS391
[23] B.Laurent和P.Massart。通过模型选择对二次函数的自适应估计。，安.统计师，28(5) :1302-1338, 2000. ·Zbl 1105.62328号 ·doi:10.1214/aos/1015957395
[24] S.L.Lauritzen。，《牛津统计科学丛书》第17卷图形模型。克拉伦登出版社，牛津大学出版社，纽约，1996年。牛津科学出版物。
[25] L.Le Cam和G.L.Yang。，统计学中的渐近现象。统计学中的斯普林格系列。Springer-Verlag，纽约，第二版，2000年。一些基本概念。
[26] J.莱德勒。信任，但要验证：在高维中进行最小二乘法改装的好处和缺点。技术报告，arXiv:1306.01132014。
[27] H.Liu和L Wang。Tiger：一种优化估计大型无向图的调整非敏感方法。技术报告，arxiv:1412.72162012。
[28] H.Liu、J.Lafferty和L.Wasserman。非paranormal：高维无向图的半参数估计。，J.马赫。学习。Res.，10:2295-23282009年·Zbl 1235.62035号
[29] L.Long、V.Carey和R.绅士。，RBGL：BOOST图形库的接口，2016年。URL。
[30] G.马尔萨格里亚。具有奇异协方差矩阵的正态变量的条件均值和协方差，美国统计协会杂志，59（308）：1203-12041964·兹伯利0124.11303 ·doi:10.2307/2282635
[31] N.Meinshausen和P.Bühlmann。高维图和用套索选择变量。，安.统计师，34（3）：1436-14622006年6月·兹比尔1113.62082 ·doi:10.1214/0090536000000281
[32] Y.内斯特罗夫。，凸优化入门讲座：一门基础课程。应用优化。Kluwer学术出版社。，波士顿，多德雷赫特，伦敦，2004年。国际标准图书编号9781402075537·兹比尔1086.90045
[33] 钢筋混凝土基层。最短连接网络和一些推广。，《贝尔系统技术期刊》，36:1389-14011957年。
[34] M.Riedmiller和H.Braun。Rprop—一种快速自适应学习算法。技术报告，程序。ISCIS VII），大学，1992年。
[35] M.Rosenbaum和A.B.Tsybakov。，改进的矩阵不确定度选择器，《集合》第9卷，第276-290页。数理统计研究所，2013年·Zbl 1327.62410号 ·doi:10.1214/12-IMSCOLL920
[36] N.Städler、P.Buhlmann和S.van de Geer\混合回归模型的（ell_1）-惩罚。，测试，19（2）：209-2562010a·Zbl 1203.62128号 ·doi:10.1007/s11749-010-0197-z
[37] N.Städler、P.Buhlmann和S.van de Geer。Rejoiner:\（\ell_1\）-混合回归模型的惩罚。，测试，19（2）：280-2852010b·Zbl 1203.62129号 ·doi:10.1007/s11749-010-0203-5
[38] T.Sun和C-H.Zhang。标度稀疏线性回归。，Biometrika，99（4）：879-8982012年9月·兹比尔1452.62515 ·doi:10.1093/biomet/ass043
[39] T.Sun和C-H.Zhang。用标度套索进行稀疏矩阵反演。，J.马赫。学习。2013年11月，第14:3385-3418号决议·Zbl 1318.62184号
[40] R.Tibshirani。通过套索进行回归收缩和选择。，英国皇家统计学会期刊（B辑），58:267-2881996·Zbl 0850.62538号
[41] 袁先生。基于线性规划的高维逆协方差矩阵估计。，J.马赫。学习。2010年1月，第11:2261-2286号决议·Zbl 1242.62043号
[42] M.Yuan和Y.Lin.高斯图形模型中的模型选择和估计。，《生物特征》，94（1）：19-352007·Zbl 1142.62408号 ·doi:10.1093/biomet/asm018
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。