Kei Hirose先生；Miyuki Imada 基于惩罚最大似然估计的稀疏因子回归。 （英语） Zbl 1401.62091号 Stat.第页。 59，第2号，633-662（2018）。 摘要：在因子回归模型中，最大似然估计存在三个缺点：（i）当变量数超过观察数时，无法获得最大似然估值；（ii）基于最大似然估算的旋转技术产生了一个不够稀疏的加载矩阵；（iii）当唯一方差（特定方差）的估计值很小时，可能会发生多重共线性，因为回归系数对唯一方差的倒数很敏感。为了解决这些问题，我们提出了一种惩罚最大似然方法。具体来说，我们对因子载荷施加一个套索型惩罚，以改善解的稀疏性。我们还引入了对唯一方差的惩罚，（给定因子得分）对应于回归系数的岭惩罚。从我们程序的预测角度讨论了理论性质。通过蒙特卡罗模拟研究了该方法的有效性。我们的程序的实用性是通过在线问卷收集的真实数据来证明的。 引用于1文件 MSC公司： 62H25个 因子分析和主成分；对应分析 62J07型 岭回归；收缩估计器（拉索） 62甲12 多元分析中的估计 关键词：坐标下降算法；拉索；多重共线性；惩罚最大似然估计；旋转技术 软件：稀疏的；PRMLT公司；格尔姆奈特 PDF格式BibTeX公司 XML格式引用 \textit{K.Hirose}和\textit{M.Imada}，Stat.Pap。59，第2号，633--662（2018；Zbl 1401.62091） 全文： 内政部 参考文献： [1] Akaike，H，因子分析和aic，《心理测量学》，52，317-332，（1987）·Zbl 0627.62067号 ·doi:10.1007/BF02294359 [2] 安德森，J；Gerbing，D，《抽样误差对收敛性、不恰当解和最大似然验证因子分析的优良指数的影响》，《心理测量学》，49，155-173，（1984）·doi:10.1007/BF02294170 [3] Anderson TW，Rubin H（1956），因子分析中的统计推断。摘自：第三届伯克利数理统计与概率研讨会论文集，第5卷。第1页·Zbl 0070.14703号 [4] Bai，J；李，K；等。，高维因子模型的统计分析，Ann Stat，40，436-465，（2012）·Zbl 1246.62144号 ·doi:10.1214/11-AOS966 [5] PJ Bickel；里托夫，Y；Tsybakov，AB，套索和Dantzig选择器的同时分析，Ann Stat，371705-1732，（2009）·兹比尔1173.62022 ·doi:10.1214/08-AOS620 [6] Bishop CM（2006）模式识别和机器学习（信息科学和统计学）。Springer-Verlag纽约公司，Secaucus·Zbl 1107.68072号 [7] Breheny，P；Huang，J，非凸惩罚回归的坐标下降算法，及其在生物特征选择中的应用，Ann Appl Stat，5，232，（2011）·Zbl 1220.62095号 ·doi:10.1214/10-AOAS388 [8] 卡瓦略，CM；Chang，J；JE卢卡斯；尼文斯，JR；王，Q；西部，M；等。，高维稀疏因子建模：在基因表达基因组学中的应用，J Am Stat Assoc，103，1438-1456，（2008）·Zbl 1286.62091号 ·doi:10.1198/0162145000000869 [9] Choi，J；邹，H；Oehlert，G，稀疏因子分析的惩罚最大似然法，Stat Interface，3429-436，（2011）·Zbl 1245.62074号 ·doi:10.4310/SII.2010.v3.n4.a1 [10] Chun，H；Keleš，S，《同时降维和变量选择的稀疏偏最小二乘回归》，J R Stat SocSer B（Stat Methodol），72，3-25，（2010）·Zbl 1411.62184号 ·文件编号：10.1111/j.1467-9868.2009.00723.x [11] Dempster AP，Laird NM，Rubin DB（1977）通过EM算法从不完整数据中获得最大似然。J R Stat Soc Ser B（Methodol）39（1）：1-38·Zbl 0364.62022号 [12] 弗里德曼，J；哈斯蒂，T；Tibshirani，R，通过坐标下降广义线性模型的正则化路径，J Stat Softw，33，1，（2010）·doi:10.18637/jss.v033.i01 [13] 亨德里克森，A；White，P，Promax:一种快速旋转到倾斜简单结构的方法，Br J Stat Psychol，17，65-70，（1964）·doi:10.1111/j.2044-8317.1964.tb00244.x [14] Hirose K，Yamamoto M（2015）通过因子分析模型中的非冲突惩罚可能性进行稀疏估计。统计计算25（5）：863-875·Zbl 1332.62194号 [15] Hirose，K；川野，S；Konishi，S；Ichikawa，M，贝叶斯信息标准和因子分析模型中因子数量的选择，J Data Sci，9243-259，（2011） [16] Hirose K，Kano Y，Imada M，Yoshida M，Matsuo M（2015）在具有大量缺失值的因子分析中的全信息最大似然估计。J统计计算模拟86（1）：91-104·Zbl 0318.62040号 [17] 黄，F，拉索估计的预测误差性质及其推广，奥斯特N Z J统计，45，217-228，（2003）·Zbl 1064.62063号 ·doi:10.1111/1467-842X.00277 [18] Kaiser，H，《因子分析中分析旋转的方差最大标准》，《心理测量学》，23187-200，（1958）·Zbl 0095.33603号 ·doi:10.1007/BF02289233 [19] Kano Y（1998）探索性因素分析中的不当解决方案：原因和处理。摘自：《数据科学和分类的进展：国际分类协会联合会（IFCS-98）第六届会议记录》，“La Sapienza”大学，Springer Verlag，罗马，7月21日至24日，第375-382页·Zbl 0095.33603号 [20] 川野，S；藤泽，H；Takada，T；Shiroishi，T，具有自适应加载的稀疏主成分回归，计算统计数据分析，89192-203，（2015）·Zbl 1468.62098号 ·doi:10.1016/j.csda.2015.03.016 [21] Little RJ，Rubin DB（2002），缺失数据的统计分析。奇切斯特·威利·Zbl 1011.62004号 ·doi:10.1002/9781119013563 [22] 马丁，J；McDonald，R，《非限制性因素分析中的贝叶斯估计：海伍德病例的治疗》，《心理测量学》，40，505-517，（1975）·Zbl 0318.62040号 ·doi:10.1007/BF02291552 [23] Maxwell AE（1977）行为研究中的多元分析。查普曼和霍尔/CRC，伦敦·Zbl 0361.62038号 [24] Mazumder，R；弗里德曼，J；Hastie，T，Sparsenet：协调下降与非凸惩罚，《美国统计协会杂志》，1061125-1138，（2011）·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738 [25] Ning L，Georgiou TT（2011）通过似然和\(ℓ _1）正规化。In:第50届IEEE决策与控制会议和欧洲控制会议，第5188-5192页 [26] Olsson，U，多色彩相关系数的最大似然估计，《心理测量学》，44443-460，（1979）·Zbl 0428.62083号 ·doi:10.1007/BF02296207 [27] Rai P，Daume H（2008）无限层次因子回归模型。In：《神经信息处理系统的进展》，第1321-1328页·兹比尔1220.62095 [28] 罗塞特，S；Zhu，J，huang（2003）对“lasso估计的预测误差性质及其推广”结果的修正证明，Aust N Z J Stat，46，505-510，（2004）·Zbl 1074.62038号 ·doi:10.1111/j.1467-842X.2004.00347.x [29] 鲁宾，D；Thayer，D，ML因子分析的EM算法，《心理测量学》，47，69-76，（1982）·Zbl 0483.62046号 ·doi:10.1007/BF02293851 [30] Driel，O，《关于最大似然因子分析中不当解决方案的各种原因》，《心理测量学》，43，225-243，（1978）·Zbl 0384.62043号 ·doi:10.1007/BF02293865 [31] 墙壁，MM；Li，R，《多元回归与两种潜在变量估计和预测技术的比较》，《统计医学》，22，3671-3685，（2003）·doi:10.1002/sim.1588 [32] West，M，“大p，小n”范式中的贝叶斯回归分析，贝叶斯统计，7723-732，（2003） [33] Zhang，C，最小最大凹惩罚下的几乎无偏变量选择，Ann Stat，38，894-942，（2010）·Zbl 1183.62120号 ·doi:10.1214/09-AOS729 [34] 赵，P；Yu，B，关于套索的模型选择一致性，J Mach Learn Res，72541-2563，（2006）·Zbl 1222.62008年 [35] Zou，H，《自适应套索及其预言属性》，美国统计协会，1011418-1429，（2006）·Zbl 1171.62326号 ·doi:10.1198/016214500000735 [36] 邹H，Hastie T（2005）通过弹性网的正则化和变量选择。J R Stat Soc系列B 67:301-320·Zbl 1069.62054号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。