张思良;陈云晓 潜在变量模型估计的计算：一个统一的随机近似框架。 （英语） Zbl 1499.62441号 心理测量学 87，第4期，1473-1502（2022）. 摘要：潜在变量模型在心理测量学和相关领域发挥着核心作用。在许多现代应用中，基于潜在变量模型的推理涉及以下一个或多个特征：（1）存在许多潜在变量，（2）观测和潜在变量是连续的、离散的或两者的组合，（3）参数约束，和（4）对参数施加惩罚，以实现模型简约。估计通常涉及基于边际似然/伪似然最大化目标函数，可能对参数有约束和/或惩罚。由于上述特性带来的复杂性，解决此优化问题非常简单。尽管已经提出了几种有效的算法，但缺乏一个统一的计算框架来考虑所有这些特征。在本文中，我们填补了这一空白。具体来说，我们为优化问题提供了一个统一的公式，然后提出了一个拟Newton随机近似算法。建立了所提算法的理论性质。在各种潜在变量模型估计设置下的仿真研究表明了计算效率和鲁棒性。 引用于2文件 MSC公司： 第62页第15页 统计学在心理学中的应用 10层62层 点估计 62H25个 因子分析和主成分；对应分析 62L20型 随机近似 关键词：潜在变量模型;惩罚估计量;随机近似;近似算法;拟牛顿算法;Polyak-Ruppert平均值 软件：DIFlasso公司;二次规划优化函数 PDF格式BibTeX公司 XML格式引用 \textit{S.Zhang}和textit{Y.Chen}，《心理测量学》87，第4期，1473-1502（2022；Zbl 1499.62441） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] Andersen，EB，条件推断和测量模型（1973年），丹麦哥本哈根：精神卫生风险Forlag，丹麦哥本哈根 [2] Andrieu，C。；Moulines女士。，关于一些自适应MCMC算法的遍历性，应用概率年鉴，16，1462-1505（2006）·Zbl 1114.65001号 [3] Andrieu，C。；Moulines女士。；Priouret，P.，可验证条件下随机近似的稳定性，SIAM控制与优化杂志，44283-312（2005）·Zbl 1083.62073号 [4] 阿查德，YF；G.福特。；Moulines，E.，《关于扰动近端梯度算法》，《机器学习研究杂志》，18，310-342（2017）·Zbl 1433.90199号 [5] 巴托洛缪，DJ；诺特，M。；Moustaki，I.，潜在变量模型和因素分析：统一方法（2011），新泽西州霍博肯：新泽西州霍博肯市威利·Zbl 1266.62040号 [6] Becker，S.和Le Cun，Y.（1988年）。用二阶方法改进反向传播学习的收敛性。T.S.D.Touretzky，G.Hinton（编辑），《1988年连接主义模式暑期学校会议录》（第29-37页）。圣马特奥：摩根·考夫曼。 [7] 贝根，AA；Glas，CA，MCMC估计和多维IRT模型的一些模型-效应分析，《心理测量学》，66，541-561（2001）·Zbl 1293.62234号 [8] Benveniste，A。；Priouret，P。；Métiver，M.，《自适应算法和随机逼近》（1990年），纽约州纽约市：斯普林格市，纽约州·兹比尔0752.93073 [9] Bertsekas，DP；RG Gallager；Humblet，P.，《数据网络》（1992），新泽西州上鞍河：普伦蒂斯·霍尔国际，新泽西上鞍河·Zbl 0734.68006号 [10] 伯恩鲍姆，A。；Lord，F。；Novick，M.，《一些潜在特征模型及其在推断考生能力中的应用》，《心理测试成绩统计理论》，397-479（1968），马萨诸塞州波士顿：Addison-Wesley·Zbl 0186.53701号 [11] 博克，RD；Aitkin，M.，《项目参数的边际最大似然估计：EM算法的应用》，《心理测量学》，46，443-459（1981） [12] Bollen，KA，《带潜在变量的结构方程》（1989），新泽西州霍博肯：新泽西州威利·Zbl 0731.62159号 [13] 螺栓，DM；Lall，VF，使用马尔可夫链蒙特卡罗估计补偿性和非补偿性多维项目反应模型，应用心理测量，27395-414（2003） [14] Bonnabel，S.，黎曼流形上的随机梯度下降，IEEE自动控制汇刊，582217-2229（2013）·Zbl 1369.90110号 [15] 博伊德，S。；博伊德，SP；Vandenberghe，L.，《凸优化》（2004），英国剑桥：剑桥大学出版社，英国剑桥·Zbl 1058.90049号 [16] Bühlmann，P。；van de Geer，S.，《高维数据统计》（2011），柏林，海德堡：施普林格，柏林-海德堡，柏林·Zbl 1273.62015年 [17] Cai，L.，用Metropolis-Hastings-Robbins-Monro算法进行高维探索性项目因子分析，《心理测量学》，75，33-57（2010）·Zbl 1272.62113号 [18] Cai，L.，Metropolis-Hastings-Robbins-Monro验证性项目因子分析算法，《教育与行为统计杂志》，35，307-335（2010） [19] 卡罗尔，RJ；Ruppert，D。；路易斯安那州斯特凡斯基；Crainiceanu，CM，《非线性模型中的测量误差：现代视角》（2006），佛罗里达州博卡拉顿：CRC出版社，佛罗里达州波卡拉顿·Zbl 1119.62063号 [20] Celeux，G.，《SEM算法：从混合问题的EM算法中导出的概率教师算法》，《计算统计季刊》，273-82（1985） [21] 陈，Y。；李，X。；刘杰。；Ying，Z.，通过融合潜在和图形项目反应理论模型进行稳健测量，《心理测量学》，83，538-562（2018）·兹比尔1422.62343 [22] 陈，Y。；李，X。；Zhang，S.，高维探索性项目因素分析的联合最大似然估计，Psycholometrika，84124-146（2019）·Zbl 1431.62524号 [23] 陈，Y。；李，X。；Zhang，S.，《大规模数据的结构化潜在因素分析：可识别性、可估计性及其影响》，《美国统计协会杂志》，1151756-1770（2020）·Zbl 1452.62407号 [24] 陈，Y。；刘杰。；徐，G。；Ying，Z.，基于Q矩阵的诊断分类模型的统计分析，美国统计协会杂志，110，850-866（2015）·Zbl 1373.62565号 [25] Chen，Y.，&Zhang，S.（2020a）。项目因子分析的估计方法：综述。Y.Zhao和D.G.Chen（编辑），《健康研究的现代统计方法》。纽约州纽约市：斯普林格。 [26] 陈，Y。；Zhang，S.，分析密集纵向数据的潜在高斯过程模型，英国数学与统计心理学杂志，73237-260（2020） [27] 周，SM；Lu，Z。；舍伍德，A。；Zhu，H.，使用随机近似期望最大化（saem）算法拟合具有随机效应和未知初始条件的非线性常微分方程模型，《心理测量学》，81，102-134（2016）·Zbl 1342.62168号 [28] 克罗格，CC；阿明格·G。；克罗格，CC；Sobel，ME，潜在类模型，《社会和行为科学统计建模手册》，311-359（1995），马萨诸塞州波士顿：美国施普林格州波士顿·Zbl 0837.62102号 [29] de la Torre，J.，《广义DINA模型框架》，《心理测量学》，76179-199（2011）·Zbl 1284.62775号 [30] 阿联酋登普斯特；新墨西哥州莱尔德；DB鲁宾，《通过EM算法从不完整数据中获取最大似然》，《皇家统计学会杂志：B辑（统计方法）》，39，1-38（1977）·Zbl 0364.62022号 [31] 杜奇，JC；Ruan，F.，复合和弱凸优化问题的随机方法，SIAM优化杂志，28，3229-3259（2018）·Zbl 06989166号 [32] Dunson，DB，集群混合结果的贝叶斯潜在变量模型，《皇家统计学会杂志：B辑（统计方法）》，62355-366（2000） [33] Dunson，DB，多维纵向数据的动态潜在特征模型，美国统计协会杂志，98，555-563（2003）·1040.62100兹罗提 [34] Edwards，MC，《验证性项目因子分析的马尔可夫链蒙特卡罗方法》，《心理测量学》，75，474-497（2010）·Zbl 1208.62188号 [35] Embretson，SE；Reise，SP，《心理学家项目反应理论》（2000年），新泽西州马华市：劳伦斯·埃尔鲍姆联合出版社，新泽西省马华市 [36] Fabian，V.，《随机逼近中的渐近正态性》，《数理统计年鉴》，391327-1332（1968）·Zbl 0176.48402号 [37] 加利福尼亚州弗洛达斯，《非线性和混合整数优化：基础与应用》（1995），英国牛津：牛津大学出版社，英国牛津·Zbl 0886.90106号 [38] G.福特。；Moulines，E。；Priouret，P.，自适应和交互式马尔可夫链蒙特卡罗算法的收敛性，统计年鉴，393262-3289（2011）·兹比尔1246.65003 [39] G.堡。；Moulines女士。；Schreck，A。；Vihola，M.，马尔科夫随机逼近与不连续动力学的收敛性，SIAM控制与优化杂志，54，866-893（2016）·Zbl 1334.90090号 [40] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，《统计学习的要素》（2001），纽约州纽约市：斯普林格市，纽约州·Zbl 0973.62007号 [41] Ghosh，M.，Rasch模型的不一致最大似然估计，统计学和概率快报，23165-170（1995）·兹伯利0819.62023 [42] 吉尔克斯，WR；Wild，P.，吉布斯采样的自适应拒绝采样。《皇家统计学会杂志》，C辑（应用统计学），41337-348（1992）·Zbl 0825.62407号 [43] Goldfarb博士。；Idnani，A.，求解严格凸二次规划的数值稳定对偶方法，数学规划，27,1-33（1983）·Zbl 0537.90081号 [44] 顾，MG；Kong，FH，不完全数据估计问题的马尔可夫链蒙特卡罗随机近似算法，美国国家科学院学报，957270-7274（1998）·Zbl 0898.62101号 [45] 哈伯曼，SJ，指数响应模型中的最大似然估计，《统计年鉴》，5815-841（1977）·Zbl 0368.62019号 [46] 哈伯曼，S.J.（2004）。二进制响应Rasch模型的联合和条件最大似然估计。ETS研究报告系列RR-04-20。 [47] Xiao，C.，《面板数据分析》（2014），英国剑桥：剑桥大学出版社，英国剑桥·Zbl 1320.62003年 [48] Ip，EH，关于估计最大似然的一类随机算法的单插补与多重插补，计算统计学，17517-524（2002）·Zbl 1037.62008年 [49] 雅各布奇，R。；格里姆，KJ；McArdle，JJ，正则化结构方程建模，结构方程建模：多学科期刊，23，555-566（2016） [50] Jennrich，RI，《倾斜旋转的简单通用方法》，《心理测量学》，67，7-19（2002）·Zbl 1297.62232号 [51] 约雷斯科格，KG；穆斯塔基，I.，《有序变量的因子分析：三种方法的比较》，《多元行为研究》，36347-387（2001） [52] 容克，BW；Sijtsma，K.，《很少假设的认知评估模型以及与非参数项目反应理论的联系》，《应用心理测量》，25，258-272（2001） [53] Lee，JD；孙，Y。；Saunders，MA，最小化复合函数的近似牛顿型方法，SIAM优化杂志，241420-1443（2014）·兹比尔1306.65213 [54] 林斯特罗姆，JC；Dahl，FA，在多组结构方程模型中使用Lasso进行模型选择，结构方程建模：多学科期刊，27，33-42（2020） [55] 小，RJ；Rubin，DB，《缺失数据的统计分析》（1987），新泽西州霍博肯：新泽西州威利·Zbl 0665.62004号 [56] Louis，TA，《使用EM算法时发现观测到的信息矩阵》，《皇家统计学会期刊：B辑（统计方法）》，44，226-233（1982）·Zbl 0488.62018号 [57] Magis，D.博士。；Tuerlinckx，F。；De Boeck，P.，《使用拉索方法检测不同项目功能》，《教育与行为统计学杂志》，40111-135（2015） [58] Nesterov，Y.，《凸优化导论：基础课程》（2004年），马萨诸塞州波士顿：Kluwer学术出版社·Zbl 1086.90045号 [59] 内曼，J。；Scott，EL，基于部分一致观察的一致估计，《计量经济学》，16，1-32（1948）·Zbl 0034.07602号 [60] Nielsen，SF，《随机EM算法：估计和渐近结果》，Bernoulli，6457-489（2000）·Zbl 0981.62022号 [61] 北卡罗来纳州帕里赫。；Boyd，S.，Proximal algorithms，Foundations and Trends®in Optimization，112-239（2014年） [62] Polyak，英国电信；Juditsky，AB，通过平均加速随机近似，SIAM控制与优化杂志，30838-855（1992）·Zbl 0762.62022号 [63] Rabe-Hesketh，S。；Skrondal，A.，《广义潜在变量建模：多级、纵向和结构方程模型》（2004），纽约：查普曼和霍尔/CRC，纽约·Zbl 1097.62001 [64] Reckase，M.，多维项目反应理论（2009），纽约州纽约市：斯普林格·Zbl 1291.62023号 [65] Robbins，H.（1956年）。统计的经验贝叶斯方法。J.Neyman（编辑），《第三届伯克利数理统计与概率研讨会论文集》（第157-163页）。加州伯克利：加利福尼亚大学出版社·Zbl 0074.35302号 [66] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数理统计年鉴》，22400-407（1951）·Zbl 0054.05901号 [67] Rockafellar，RT公司；Wets，RJ，变分分析（1998），纽约州纽约市：施普林格市，纽约州·Zbl 0888.49001号 [68] 卢比，AA；坦普林，J。；Henson，RA，诊断测量：理论、方法和应用（2010），纽约，纽约：吉尔福德出版社，纽约 [69] Ruppert，D.（1988年）。缓慢收敛的Robbins-Monro程序的有效估计（p.781）。运营学院：康奈尔大学Res and Ind Eng，纽约州伊萨卡，技术代表。 [70] 施密特，M。；Roux，荷兰；Bach，FR，凸优化的不精确近似粒度方法的收敛速度，神经信息处理系统的进展24，1458-1466（2011），纽约州红钩市：Curran Associates Inc，纽约州红钩市 [71] Spall，JC，《随机搜索与优化导论》（2003），新泽西州霍博肯：新泽西州威利·邮编1088.90002 [72] Sun，J。；陈，Y。；刘杰。；Ying，Z。；Xin，T.，通过（L_1）正则化选择多维项目反应理论模型的潜在变量，《心理测量学》，81921-939（2016）·Zbl 1367.62322号 [73] Tibshirani，R.，通过拉索进行回归收缩和选择，英国皇家统计学会期刊：B系列（统计方法），58267-288（1996）·Zbl 0850.62538号 [74] Turlach，B.、Weingessel，A.和Moler，C.（2019年）。quadprog：解决二次编程问题的函数[计算机软件手册]。（R软件包版本1.5-8）。 [75] Tutz，G。；Schauberger，G.，《Rasch模型中不同项目功能的惩罚方法》，《心理测量学》，80，21-43（2015）·Zbl 1314.62278号 [76] Van De Schoot，R。；霍伊丁克，H。；Deković，M.，《检验SEM模型中的不等式约束假设》，结构方程建模，17，443-463（2010） [77] 瓦斯德基斯，VG；卡农，S。；Moustaki，I.，序数纵向反应潜在变量模型中的复合似然推断，《心理测量学》，77，425-441（2012）·Zbl 1272.62136号 [78] 冯·戴维尔，M。；Lee，YS，《诊断分类模型手册》（2019），纽约州纽约市：纽约州纽约州斯普林格 [79] Wu，CJ，关于EM算法的收敛性，《统计年鉴》，第11期，第95-103页（1983年）·Zbl 0517.62035号 [80] Xu，G.，具有二进制响应的受限潜在类模型的可识别性，《统计年鉴》，45675-707（2017）·Zbl 1371.62010年 [81] 张，CH，复合决策理论和经验贝叶斯方法，《统计年鉴》，31379-390（2003）·Zbl 1039.62005号 [82] 张，H。；陈，Y。；李，X.，关于用奇异值分解进行探索性项目因子分析的注记，《心理测量学》，85，358-372（2020）·兹比尔1458.62282 [83] 张，S。；陈，Y。；Liu，Y.，用于大规模全信息项目因子分析的改进随机EM算法，英国数学与统计心理学杂志，73，44-71（2020）·Zbl 1440.62089号 [84] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，《皇家统计学会杂志：B辑（统计方法）》，67，301-320（2005）·Zbl 1069.62054号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。