×
陈曦;林启航;菩萨森

投影估计的自由度及其在多元非参数回归中的应用。 （英语） Zbl 1437.62138号

美国统计协会。 115，编号529，173-186（2020）.
摘要：在本文中，我们考虑了具有多变量预测因子的非参数回归问题。我们给出了未知回归函数的估计量的自由度和散度的特征，这些估计量是作为线性约束二次优化过程的输出获得的；即具有线性约束和/或二次惩罚的最小二乘准则的极小值。作为结果的特例，我们导出了许多非参数回归问题的自由度的显式表达式，例如有界等渗回归、多元（惩罚）凸回归和加性全变差正则化。作为特例，我们的理论还得出了统计文献中许多研究得很好的估计量的自由度的已知结果，如岭回归、拉索和广义拉索。我们的结果可以很容易地用于通过最小化Stein的无偏风险估计来选择估计过程中涉及的调整参数。作为我们分析的副产品，我们在一般偏序集上导出了有界等渗回归和等渗回归之间的有趣联系，这是独立的。

引用于9文件

MSC公司：

62G08号 非参数回归和分位数回归
62G05型 非参数估计
2007年6月62日 岭回归；收缩估计器（拉索）

关键词：

加法模型;有界保序回归;估计量的发散;广义拉索;多元凸回归

软件：

SDPT3系统
PDF格式BibTeX公司 XML格式引用
\textit{X.Chen}等人，《美国统计协会期刊》第115期，第529、173--186号（2020年；Zbl 1437.62138）
全文： 内政部 arXiv公司 链接

参考文献：

[1] 艾尔，M。；Brunk，H.D。；尤因，G.M。；里德，W.T。；Silverman，E.，“不完全信息抽样的经验分布函数”，《数理统计年鉴》，第26期，第641-647页（1955年）·Zbl 0066.38502号 ·doi:10.1214/aoms/1177728423
[2] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·兹比尔1058.90049
[3] Brunk，H.D.，“单调参数的最大似然估计”，《数理统计年鉴》，26，607-616（1955）·Zbl 0066.38503号 ·doi:10.1214/aoms/1177728420
[4] 坎迪斯，E.J。；Sing-Long，C.A。；Trzasko，J.D.，“奇异值阈值和谱估计的无偏风险估计”，IEEE信号处理学报，614643-4657（2013）·Zbl 1393.94187号 ·doi:10.1109/TSP.2013.2270464
[5] Chatterjee，S。；Guntuboyina，A。；Sen，B.，“单调约束下的矩阵估计”，Bernoulli，，24，1072-1100（2018）·Zbl 1419.62135号 ·doi:10.3150/16-BEJ865
[6] Dantzig，G.B.，《线性规划与扩展》（1959），新泽西州普林斯顿：普林斯顿大学出版社，新泽西普林斯顿
[7] 多诺霍，D.L。；Johnstone，I.M.，“通过小波收缩适应未知平滑度”，《美国统计协会杂志》，第90期，第1200-1224页（1995年）·兹比尔0869.62024 ·网址：10.1080/01621459.1995.10476626
[8] Efron，B.，“预测误差的估计：协方差惩罚和交叉验证”，《美国统计协会杂志》，99，619-642（2004）·Zbl 1117.62324号 ·doi:10.1198/016214500000692
[9] Groeneboom，P。；Jongbloed，G.，形状约束下的非参数估计，统计和概率数学剑桥系列第38卷（估计、算法和渐近（2014）），纽约：剑桥大学出版社，纽约·Zbl 1338.62008号
[10] 韩，Q。；Wellner，J.A.，“多元凸回归：全球风险边界和适应”，arxiv预印本arxiv:1601（2016）
[11] 洛杉矶汉纳。；Dunson，D.B.，“贝叶斯非参数多元凸回归”，arXiv预印本arXiv，1109，0322（2011）
[12] 北卡罗来纳州汉森。；Sokol，A.，“非线性最小二乘估计的自由度”，arXiv预印本arXiv，1402，2997v3（2014）
[13] Hildreth，C.，“凹函数纵坐标的点估计”，《美国统计协会杂志》，49，598-619（1954）·Zbl 0056.38301号 ·doi:10.1080/01621459.1954.10483523
[14] Janson，L。；Fithian，W。；Hastie，T.J.，“有效自由度：缺陷隐喻”，《生物统计学》，第102期，第479-485页（2015年）·Zbl 1452.62251号 ·doi:10.1093/biomet/asv019
[15] Kato，K.，“关于收缩估计中的自由度”，《多元分析杂志》，1001338-1352（2009）·Zbl 1162.62067号 ·doi:10.1016/j.jmva.2008.12.002
[16] 考夫曼，S。；Rosset，S.，“什么时候更多的规则化意味着更少的自由度？充分条件和反例”，《生物统计学》，第101期，第771-784页（2014年）·Zbl 1306.62160号 ·doi:10.1093/biomet/asu034
[17] Kuosmanen，T.，“凸非参数最小二乘的表示定理”，《计量经济学杂志》，11308-325（2008）·Zbl 1141.91640号 ·doi:10.1111/j.1368-423X.2008.00239.x
[18] Li，K.C.，“岭回归中CL的渐近最优性和广义交叉验证及其在样条平滑中的应用”，《统计学年鉴》，第14期，第1101-1112页（1986年）·Zbl 0629.62043号 ·doi:10.1214/aos/1176350052
[19] Lim，E.，“关于多维凸回归的收敛速度”，《信息计算杂志》，26，616-628（2014）·Zbl 1304.62057号 ·doi:10.1287/ijoc.2013.0587
[20] 林，E。；Glynn，P.W.，“多维凸回归的一致性”，《运筹学》，第60期，第196-208页（2012年）·Zbl 1342.62064号 ·doi:10.1287/opre.1110.1007
[21] 卢斯，R。；Rosset，S.，“广义等渗回归”，《计算与图形统计杂志》，第23、1、192-210页（2014年）·doi:10.1080/106186002012.741550
[22] 卢斯，R。；Rosset，S。；Shahar，M.，“高效正则同位素回归及其在基因-基因相互作用研究中的应用”，《应用统计学年鉴》，第6期，第253-283页（2012年）·Zbl 1235.62046号 ·doi:10.1214/11-AOAS504
[23] Mammen，E。；van de Geer，S.，“局部自适应回归样条”，《统计年鉴》，第25期，第387-413页（1997年）·Zbl 0871.62040号 ·doi:10.1214/aos/1034276635
[24] 梅耶，M。；Woodroof，M.，“关于形状限制回归中的自由度”，《统计年鉴》，第28期，第1083-1104页（2000年）·Zbl 1105.62340号 ·doi:10.1214/aos/1015956708
[25] Mikkelsen，F.R。；Hansen，N.R.，“分段Lipschitz估计量的自由度”，《亨利·庞加莱研究所年鉴》，概率与统计，54，819-841（2018）·兹比尔1393.62034 ·doi:10.1214/17-AIHP822
[26] 内加班，S。；Wainwright，M.J.，“高维同步支持恢复：区块（####）正则化的利益和风险”，IEEE信息理论汇刊，57，3841-3863（2011）·Zbl 1365.62274号 ·doi:10.1109/TIT.2011.2144150
[27] Pal，J.K.，“单调回归中的峰值问题：惩罚剩余平方和”，《统计学与概率快报》，第78期，第1548-1556页（2008年）·Zbl 1325.62132号 ·doi:10.1016/j.spl.2008.01.015
[28] 彼得森，A。；维滕，D。；Simon，N.，“融合拉索加性模型”，《计算与图形统计杂志》，第25期，第1005-1025页（2016年）·doi:10.1080/10618600.2015.073155
[29] Robertson，T。；Wright，F.T。；Dykstra，R.L.，《顺序限制统计推断》（1988），新泽西州霍博肯：威利，霍博肯，新泽西·Zbl 0645.62028号
[30] Rockafellar，R.T.，《凸分析》（1970），新泽西州普林斯顿：普林斯顿大学出版社，新泽西普林斯顿·兹比尔0229.90020
[31] Rockafellar，R.T。；Wets，R.J.-B，《变分分析》，第317号，摘自德国数学研究所（2011），柏林：施普林格出版社，柏林
[32] 鲁丁，L.I。；Osher，S。；Fatemi，E.，“基于非线性总变差的噪声去除算法”，《物理D：非线性现象》，60，259-268（1992）·Zbl 0780.49028号 ·doi:10.1016/0167-2789（92）90242-F
[33] Rueda，C.，“半参数加性单调回归中的自由度和模型选择”，《多元分析杂志》，117，88-99（2013）·Zbl 1277.62116号 ·doi:10.1016/j.jmva.2013.02.001
[34] Seijo，E。；Sen，B.，“多元凸回归函数的非参数最小二乘估计”，《统计学年鉴》，第39期，第1633-1657页（2011年）·Zbl 1220.62044号 ·doi:10.1214/10操作系统852
[35] Sen，B。；Meyer，M.，“使用形状限制估计的思想对线性回归模型进行测试”，《皇家统计学会杂志》，B辑，79423-448（2013）·Zbl 1414.62148号 ·doi:10.1111/rssb.12178
[36] Stein，C.M.，“多元正态分布平均值的估计”，《统计年鉴》，第9期，第1135-1151页（1981年）·Zbl 0476.62035号 ·doi:10.1214/aos/1176345632
[37] Tibshirani，R.J.，“通过趋势过滤的自适应分段多项式估计”，《统计年鉴》，第42期，第285-323页（2014年）·Zbl 1307.62118号 ·doi:10.1214/13-AOS1189
[38] Tibshirani，R.J。；Taylor，J.，“拉索问题的自由度”，《统计年鉴》，401198-1232（2012）·Zbl 1274.62469号 ·doi:10.1214/12-AOS1003
[39] Tibshirani，R.J。；桑德斯，M。；Rosset，S。；朱，J。；K.奈特（K.K.Knight），“通过融合套索实现的稀疏与平滑”，《皇家统计学会期刊》，B辑，67，91-108（2005）·Zbl 1060.62049号 ·文件编号：10.1111/j.1467-9868.2005.00490.x
[40] TüTüncü，R.H。；Toh，K.C。；Todd，M.J.，“使用SDPT3求解半定二次线性规划”，《数学规划》，第95期，第189-217页（2003年）·Zbl 1030.90082号 ·文件编号：10.1007/s10107-002-0347-5
[41] 维特，S。；Deledale，C.-A。；佩雷，G。；法迪利，J.M。；Dossal，C.，“部分光滑正则化器的自由度”，arXiv预印本arXiv，14045557（2014）
[42] van Eeden，C.，概率分布有序参数的测试和估计（1958），阿姆斯特丹：数学中心，阿姆斯特丹·Zbl 0086.35302号
[43] Woodroof，M。；Sun，J.，“当f不增加时，（####）的惩罚最大似然估计”，《统计》，第3期，第501-515页（1993）·Zbl 0822.62020号
[44] 吴杰。；Meyer，M.C。；Opsomer，J.D.，“惩罚同位素回归”，《统计规划与推断杂志》，161，12-24（2015）·Zbl 1311.62096号 ·doi:10.1016/j.jspi.2014.12.008
[45] 谢小川。；寇，S.C。；Brown，L.D.，“异方差层次模型的SURE估计”，《美国统计协会杂志》，第107期，第1465-1479页（2012年）·Zbl 1284.62450号 ·doi:10.1080/016214592012.728154
[46] 徐，M。；陈，M。；Lafferty，J.，“高维凸回归的忠实变量筛选”，《统计年鉴》，第44期，第2624-2660页（2016年）·Zbl 1360.62197号 ·doi:10.1214/15-AOS1425
[47] Yi，F。；Zou，H.，“大协方差矩阵的SURE-Tuned Tapering估计”，计算统计与数据分析，，58，339-351（2013）·Zbl 1365.62209号 ·doi:10.1016/j.csda.2012.09.007
[48] 赵，P。；罗查，G。；Yu，B.，“通过复合绝对惩罚进行分组和层次模型选择”，《统计年鉴》，第37期，第3468-3497页（2009年）·Zbl 1369.62164号 ·doi:10.1214/07-AOS584
[49] 邹，H。；哈斯蒂，T。；Tibshirani，R.，“论拉索的‘自由度’”，《统计年鉴》，352173-2192（2007）·Zbl 1126.62061号 ·doi:10.1214/009053600700000127
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。