约瑟夫·伦基维奇兹 可辨识性损失下回归模型的渐近性。 （英语） Zbl 1359.62134号 Sankhyá，Ser。A类 78，第2期，155-179（2016）. 摘要：本文讨论了回归模型在一般条件下的渐近行为，特别是当真参数集的维数大于零且真模型不可识别时。首先，我们给出了估计回归模型的平方误差和（SSE）与我们模型中理论真回归函数的SSE之差的一般不等式。一组广义导数函数是推导此类不等式的关键工具。在适当的Donsker条件下，我们给出了SSE差的渐近分布。我们展示了如何获得参数模型的Donsker特性，即使表征最佳回归函数的参数不是唯一的。当可识别性发生损失时，将此结果应用于具有冗余隐藏单元的神经网络回归模型，并给出了如何惩罚此类模型以避免过度拟合的一些提示。 理学硕士： 62G08号 非参数回归和分位数回归 62E20型 统计学中的渐近分布理论 2012年12月62日 参数估计量的渐近性质 2017年1月60日 函数极限定理；不变原理 关键词：回归模型;Donsker类;可辨认性丧失;多层神经网络 PDF格式BibTeX公司 XML格式引用 \textit｛J.Rynkiewicz｝，Sankhyā，塞尔维亚。A 78，No.2，155--179（2016；Zbl 1359.62134） 全文： 内政部 arXiv公司 参考文献： [1] Amari，S，Park，H和Ozeki，T（2006）奇点影响神经流形中的学习动力学。中性成分18:1007-1065·Zbl 1092.68636号 [2] Anthony，M和Bartlett，P（1999）《神经网络学习：理论基础》。剑桥大学出版社·Zbl 0968.68126号 [3] Arlot，S和Celisse，A（2010）模型选择交叉验证程序调查。统计调查4:40-79·Zbl 1190.62080号 [4] Dacunha-Castelle，D和Gassiat，E（1997）局部圆锥模型的测试和混合模型的应用。ESAIM Probab统计1:285-317·Zbl 1007.62507号 [5] Dacuha Castelle，D和Gassiat，E（1999）使用局部圆锥参数化测试模型的阶数；种群混合和平稳arma过程。《统计年鉴》27（4）：1178-1209·Zbl 0957.62073号 [6] Devroye，L，Gyorfi和Lugosi，G（1996）模式识别的概率理论。斯普林格·Zbl 0853.68150号 [7] Fukumizu，K（1996）多层感知器网络信息矩阵的正则性条件。神经网络9（5）：871-879。 [8] Fukumizu，K（1999），无法识别情况下线性神经网络的泛化误差，Springer，第51-62页。人工智能课堂讲稿第1720号·Zbl 0949.68127号 [9] Fukumizu，K（2003）未知模型和多层神经网络的似然比。《统计年鉴》31（3）：833-851·Zbl 1032.62020年 [10] Gassiat，E（2002），概率比不等式及其在各种混合物中的应用。安·Inst亨利·彭卡38:897-906·Zbl 1011.62025号 [11] Hagiwara，K（2002）关于过度估计情景下神经网络回归的模型选择问题。神经计算14:1979-2002·兹比尔1010.68115 [12] Hagiwara，K和Fukumizu，K（2008）神经网络回归中体重大小和过拟合程度之间的关系。神经网络21:48-58·兹比尔1254.62081 [13] Liu，X和Shao，Y（2003）可识别性损失下似然比检验的渐近性。《统计年鉴》31（3）：807-832·兹比尔1032.62014 [14] Olteanu，M和Rynkiewicz，J（2012）自回归区域切换模型的渐近性质。ESAIM:概率统计16:25-47·Zbl 1302.62199号 [15] Ripley，B（1996）模式识别和神经网络。剑桥大学出版社·Zbl 0853.62046号 [16] Schwarz，G（1978）估计模型的维数。《年鉴》6:2:461-464·Zbl 0379.62005年 [17] van der Vaart，A（1998）《渐近统计》。剑桥大学出版社·Zbl 0910.62001号 [18] Vapnik，V（1998）统计学习理论。威利·Zbl 0935.62007号 [19] White，H（1992）人工神经网络。布莱克威尔。 [20] Yao，J（2000）关于稳定非线性ar过程的最小二乘估计。《Ann Inst Math Stat》52:316-331·Zbl 0959.62077号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。