×
朱尔卡内努、奇普里安·多鲁;赛义德·阿里雷扎·拉扎维;安蒂·利斯基

线性回归中的变量选择：基于归一化最大似然的几种方法。 （英语） Zbl 1221.62105号

信号处理。 91，第8期，1671-1692（2011）.
摘要：在高斯线性回归中使用归一化最大似然（NML）进行模型选择会带来麻烦，因为归一化系数不是有限的。最优雅的解决方案由J.里萨宁[IEEE Trans.Inf.Theory 46，No.7，2537–2543（2000；Zbl 1005.94522号)]并包含对数据空间应用特定约束。我们证明了该方法可以推广，并讨论了两种特殊情况，即菱形约束和椭球约束。新的发现被用于推导四个基于NML的标准。对于其中三个已经在以前的文献中介绍过的标准，我们提供了严格的分析。我们还通过对信号处理中常用的模型族进行蒙特卡洛模拟，将它们与五种最先进的选择规则进行比较。此外，对于测试的八个标准，我们报告了它们对现实生活数据集的预测能力的结果。

MSC公司：

62J05型 线性回归；混合模型
62层30 约束条件下的参数化推理
62甲12 多元分析中的估计
65二氧化碳 蒙特卡罗方法
94甲12 信号理论（表征、重建、滤波等）

关键词：

高斯线性回归;型号选择;菱形约束;椭球约束

引文：

Zbl 1005.94522号

软件：

电子静态学习
PDF格式BibTeX公司 XML格式引用
\textit{C.D.Giurcneanu}等人，《信号处理》。91，第8号，1671--1692（2011；Zbl 1221.62105）
全文： 内政部

参考文献：

[1] Akaike，H.：统计模型识别的新视角，IEEE自动控制事务19，716-723（1974）·Zbl 0314.62039号 ·doi:10.1109/TAC.1974.1100705
[2] Behrens，R。；Scharf，L.：斜投影算子的信号处理应用，IEEE信号处理事务42，1413-1424（1994）
[3] Björck，A。；Golub，G.：计算线性子空间之间角度的数值方法，计算数学27，579-594（1973）·Zbl 0282.65031号 ·doi:10.2307/2005/5662
[4] 布雷曼，L。；Freedman，D.：回归方程中应该输入多少个变量？，《美国统计协会杂志》78，131-136（1983）·Zbl 0513.62068号 ·doi:10.2307/2287119
[5] Djuric，P.：模型选择的渐近MAP标准，IEEE信号处理事务46，2726-2735（1998）
[6] C.Giurcéneanu，通过随机复杂性估计正弦回归模型，收录于：P.Grünwald，P.Myllymäki，I.Tabus，M.Weinberger，B.Yu（编辑），Jorma Rissanen 75岁生日纪念活动，TICSP系列，第38卷，坦佩雷国际信号处理中心，芬兰坦佩雷角度http://www.cs.tut.fi/\sim tabus/TICSP_38_17.4.08.pdf角度，2008年，第229-249页。
[7] C.Giurcéneanu，S.Razavi，《随机复杂性的新见解》，载于《2009年欧洲信号处理会议论文集》，第17届欧洲信号处理大会，英国苏格兰格拉斯哥，第2475-2479页。
[8] Grünwald，P.：最小描述长度原则（2007）
[9] Hansen，M。；Yu，B.：《模型选择与最小描述长度原则》，《美国统计协会杂志》96，746-774（2001）·Zbl 1017.62004号 ·doi:10.1198/016214501753168398
[10] Hansen，M。；Yu，B.：《广义线性模型的最小描述长度模型选择标准》，《科学与统计：特里速度的一次飞跃》，数理统计研究所，讲稿-专著系列，第40 40卷，第145-164页（2002）
[11] Hanson，A。；Fu，P.C.W.：MDL在选定模型族中的应用，最小描述长度的进展：理论和应用，125-150（2005）
[12] 哈斯蒂，T。；Tibshirani，R。；弗里德曼，J.：统计学习的要素。数据挖掘、推理和预测（2009）·Zbl 1273.62005年
[13] Hurvich，C。；Tsai，C.L.：小样本中的回归和时间序列模型选择，Biometrika 76，297-307（1989）·Zbl 0669.62085号 ·doi:10.1093/biomet/76.2.297
[14] Kay，S.：统计信号处理基础：估计理论（1993）·Zbl 0803.62002号
[15] Kay，S.：条件模型阶数估计，IEEE信号处理事务49，1910-1917（2001）·Zbl 1369.94363号
[16] Kay，S.：指数嵌入族——模型订单估算的新方法，IEEE航空航天和电子系统交易41，333-345（2005）
[17] Liski，E.：线性回归中变量选择的标准化ML和MDL原则，塔尔莫·普基拉60岁生日时的Festschrift，159-172（2006）·Zbl 1144.62046号
[18] Liski，E。；Liski，A.：数据约束下高斯回归中的最小描述长度模型选择，统计推断，计量经济学分析和矩阵代数，纪念götz trenkler的festschrift，201-208（2009）
[19] Mardia，K。；Kent，J。；Bibby，J.：多元分析（1979）·Zbl 0432.62029号
[20] Mcwhoter，T。；Scharf，L.：确定性模态分析的Cramer–Rao界，IEEE信号处理事务41，1847-1866（1993）·Zbl 0775.93214号 ·数字对象标识代码：10.1109/78.215304
[21] 米特里诺维奇（D.Mitrinovic）。；Vasic，P.M.：分析不等式（1970）·Zbl 0199.38101号
[22] 钱，G。；Künsch，H.：关于rissanen随机复杂性的一些注释，IEEE信息理论事务44，782-786（1998）·Zbl 0902.62013 ·doi:10.109/18.661521
[23] Rissanen，J.：《用最短数据描述建模》，Automatica 14，465-471（1978）·Zbl 0418.93079号 ·doi:10.1016/0005-1098（78）90005-5
[24] Rissanen，J.：Fisher信息和随机复杂性，IEEE信息理论交易42，40-47（1996）·Zbl 0856.94006号 ·数字对象标识代码：10.1109/18.481776
[25] Rissanen，J.：MDL去噪，IEEE信息理论事务46，2537-2543（2000）·Zbl 1005.94522号 ·doi:10.109/18.887861
[26] Rissanen，J.：统计建模中的信息和复杂性，（2007）·Zbl 1156.62005年
[27] Roos，T。；Myllymäki，P。；Rissanen，J.：重新审视MDL去噪，IEEE信号处理事务57，3347-3360（2009）·Zbl 1391.94097号
[28] 施密特，D。；Makalic，E.：MML不变线性回归，AI 2009：人工智能进展，第22届澳大利亚联合会议，澳大利亚墨尔本，2009年12月1日至4日。计算机科学论文集，课堂讲稿，第5866卷5866，312-321（2009）·Zbl 1175.68018号 ·doi:10.1007/978-3-642-10439-8
[29] Schwarz，G.：估算模型的维度，《统计年鉴》第6卷第461-464页（1978年）·Zbl 0379.62005年 ·doi:10.1214/aos/1176344136
[30] Seber，G.：统计学家矩阵手册（2008）·Zbl 1143.15001号
[31] Seber，G。；Lee，A.：线性回归分析（2003）·Zbl 1029.62059号
[32] Seghouane，A.K.：线性回归模型AIC的渐近自举校正，信号处理90，217-224（2010）·Zbl 1177.94071号 ·doi:10.1016/j.sigpro.2009.06.010
[33] Seghouane，A.K。；Amari，S.：AIC标准和Kullback–Leibler分歧的对称性，IEEE神经网络事务18，97-106（2007）
[34] Seghouane，A.K。；Bekara，M.：基于Kullback对称发散的小样本模型选择准则，IEEE信号处理事务52，3314-3323（2004）·Zbl 1373.62035号
[35] Shibata，R.：线性过程参数估计模型阶的渐近有效选择，统计学年鉴8147-164（1980）·Zbl 0425.62069号 ·doi:10.1214/aos/1176344897
[36] 斯托伊卡，P。；Moses，R.：信号的频谱分析（2005）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。