×
库利克·卡马鲁;拉胡尔·马祖姆德

低秩因子分析中最大似然估计量的计算。 （英语） Zbl 1415.90074号

数学。程序。 176，编号1-2（B），279-310（2019）.
摘要：因子分析是一种经典的多元降维技术，广泛应用于统计学、计量经济学和数据科学。因子分析的估计通常通过最大似然原理进行，该原理在假设正定协方差矩阵可以分解为低秩半正定矩阵和具有非负项的对角矩阵之和的情况下寻求高斯似然最大化。这导致了一个具有挑战性的秩约束非凸优化问题，对于该问题，几乎没有可靠的计算算法可用。我们将低秩极大似然因子分析任务改写为一个非线性非光滑半定优化问题，研究了该改写的各种结构性质；并提出了基于凸优化差异的快速可扩展算法。我们的方法具有计算保证，可以很好地扩展到大型问题，适用于样本协方差矩阵秩亏的情况，并适用于最大似然问题的变量，对模型参数有额外的约束。我们的数值实验验证了我们的方法相对于现有最先进的最大似然因子分析方法的有效性。

引用于1文件

MSC公司：

90立方厘米22 半定规划
90立方 非线性规划
90C25型 凸面编程
90-08 运筹学和数学规划相关问题的计算方法
62H25个 因子分析和主成分；对应分析

关键词：

低阶约束;最大似然因子分析;凸优化的差异;半正定规划;光谱函数;稀疏

软件：

PROPACK公司;玻璃制品;SCS公司;PRMLT公司;ElemStatLearn（电子状态学习）
PDF格式BibTeX公司 XML格式引用
\textit{K.Khamaru}和\textit{R.Mazumder}，数学。程序。176，编号1--2（B），279--310（2019；Zbl 1415.90074）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Ahn，M.，Pang，J.-S.，Xin，J.：凸学习的差异：方向平稳性、最优性和稀疏性。SIAM J.Optim公司。27(3), 1637-1665 (2017) ·Zbl 1369.90130号 ·doi:10.1137/16M1084754
[2] Anderson，T.：《多元统计分析导论》，第3版。威利，纽约（2003）·Zbl 1039.62044号
[3] Attchadé，Y.F.，Mazumder，R.，Chen，J.：通过随机优化对正则化精度矩阵进行可缩放计算（2015）。arXiv预印本arXiv：1509.00426
[4] Bai，J.，Li，K.：高维因子模型的统计分析。Ann.Stat.40（1），436-465（2012）·Zbl 1246.62144号 ·doi:10.1214/11-AOS966
[5] Bai，J.，Ng，S.：大维度因素分析。已找到。经济趋势。3(2), 89-163 (2008) ·doi:10.1561/0800000002
[6] Banerjee，O.，El Ghaoui，L.，d'Aspremont，A.：通过多元高斯或二进制数据的稀疏最大似然估计进行模型选择。J.马赫。学习。第9号决议，485-516（2008年）·Zbl 1225.68149号
[7] Bartholomew，D.，Knott，M.，Moustaki，I.：潜在变量模型和因子分析：统一方法。威利，伦敦（2011年）·Zbl 1266.62040号 ·数字对象标识代码：10.1002/9781119970583
[8] Bertsimas，D.，Copenhaver，M.S.，Mazumder，R.：可证明的最优低秩因子分析。J.马赫。学习。第18（29）号决议，1-53（2017）·Zbl 1437.62216号
[9] Bishop，C.：模式识别和机器学习。施普林格，纽约（2006）·Zbl 1107.68072号
[10] Borwein，J.，Lewis，A.：凸分析和非线性优化。施普林格，纽约（2006）·Zbl 1116.90001号 ·doi:10.1007/978-0-387-31256-9
[11] Boyd，S.，Vandenberghe，L.：凸优化。剑桥大学出版社，剑桥（2004）·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441
[12] Brand，M.：薄奇异值分解的快速低阶修改。线性代数应用。415(1), 20-30 (2006) ·Zbl 1088.65037号 ·doi:10.1016/j.laa.2005.07.021
[13] Davis，C.：厄米矩阵的所有凸不变函数。《数学档案》8（4），276-278（1957）·Zbl 0086.01702号 ·doi:10.1007/BF01898787
[14] Dinh，T.P.，Le T.，Hoai A.：dc编程和DCA的最新进展。收录于：《计算智能学报》第十三期，第1-37页。施普林格，纽约（2014）
[15] Friedman，J.、Hastie，T.、Tibshirani，R.：用图形套索进行稀疏逆协方差估计。生物统计学9，432-441（2007）·兹比尔1143.62076 ·doi:10.1093/biostatistics/kxm045
[16] Golub，G.，Van Loan，C.：矩阵计算，第3卷。JHU出版社，巴尔的摩（2012）·兹比尔1268.65037
[17] Hastie，T.、Tibshirani，R.、Friedman，J.：《统计学习的要素》，第二版：数据挖掘、推断和预测（统计学中的Springer系列）。施普林格，纽约（2009）·Zbl 1273.62005年 ·doi:10.1007/978-0-387-84858-7
[18] Hiriart-Urruti，J-B.：处理凸函数差异问题的广义可微性/对偶性和优化。在：优化中的凸性和对偶性，第37-70页。施普林格，纽约（1985）·Zbl 0591.90073号
[19] Jöreskog，K.G.：对最大似然因子分析的一些贡献。《心理测量学》32（4），443-482（1967）·Zbl 0183.24603号 ·doi:10.1007/BF02289658
[20] Larsen，R.M.：PROPACK-大型稀疏SVD计算软件（2004）。http://sun.stanford.edu/rmunk/PROPACK
[21] 劳利，D.N.：用最大似然法估计因子负荷。程序。R.Soc.爱丁堡。60(01), 64-82 (1940) ·JFM 66.1304.06型 ·doi:10.1017/S037016460002006X文件
[22] Lawley，D.N.：最大似然因子分析的一些新结果。程序。R.Soc.爱丁堡。67(01), 256-264 (1967) ·Zbl 0161.38001号
[23] Lawley，D.N.，Maxwell，A.E.：作为统计方法的因子分析，第2版。巴特沃思，伦敦（1971）·Zbl 0251.62042号
[24] Lewis，A.：谱函数的导数。数学。操作。第21（3）号决议，576-588（1996）·Zbl 0860.49017号 ·doi:10.1287/门21.3.576
[25] Lewis，A.S.：厄米矩阵的凸分析。SIAM J.Optim公司。6, 164-177 (1996) ·Zbl 0849.15013号 ·doi:10.1137/0806009
[26] Mardia，K.，Kent，J.，Bibby，J.：多变量分析。伦敦学术出版社（1979）·Zbl 0432.62029号
[27] Nouiehed，M.，Pang，J.-S.，Razaviyayn，M.：关于差异凸性在优化和统计中的普遍性（2017）。arXiv预打印arXiv:1704.03535·Zbl 1434.90155号
[28] O'Donoghue，B.，Chu，E.，Parikh，N.，Boyd，S.：通过算子分裂和齐次自对偶嵌入实现二次曲线优化。J.优化。理论应用。169(3), 1042-1068 (2016) ·Zbl 1342.90136号 ·doi:10.1007/s10957-016-0892-3
[29] Pang，J.-S.，Razaviyayn，M.，Alvarado，A.：计算非光滑dc程序的b-平稳点。数学。操作。第42（1）号决议，95-118（2016）·Zbl 1359.90106号 ·doi:10.1287/门.2016.0795
[30] Pham Dinh，T.，Ngai，H.V.，Le Thi，H.A.：利用子分析数据进行直流编程的直流算法收敛性分析（2013）（预印本）
[31] Robertson，D.，Symons，J.：秩亏样本协方差矩阵的最大似然因子分析。J.Multiv.公司。分析。98(4), 813-828 (2007) ·Zbl 1123.62042号 ·doi:10.1016/j.jmva.2006.11.012
[32] Rockafellar，R.T.，Wets，R.J.-B.：变分分析，第317卷。施普林格，纽约（2009）·Zbl 0888.49001号
[33] Rubin，D.B.，Thayer，D.T.：ml因子分析的Em算法。《心理测量学》47（1），69-76（1982）·Zbl 0483.62046号 ·doi:10.1007/BF02293851
[34] Saunderson，J.，Chandrasekaran，V.，Parrilo，P.，Willsky，A.：对角线和低秩矩阵分解、相关矩阵和椭球拟合。SIAM J.矩阵分析。申请。33(4), 1395-1416 (2012) ·Zbl 1270.90043号 ·数字对象标识代码：10.1137/120872516
[35] Shapiro，A.，Ten Berge，J.：最小秩因子分析的统计推断。《心理测量学》67，79-94（2002）·Zbl 1297.62137号 ·doi:10.1007/BF02294710
[36] 斯皮尔曼：“一般智力”，客观地确定和衡量。美国心理学杂志。15, 201-293 (1904) ·doi:10.2307/1412107
[37] Tuy，H.：Dc优化：理论、方法和算法。摘自：《全局优化手册》，第149-216页。施普林格，纽约（1995）·Zbl 0832.90111号
[38] Vangeepuram，S.，Lanckriet，G.R.G.B.：关于凹凸过程的收敛性。摘自：神经信息处理系统进展，（NIPS），第22卷。麻省理工学院出版社（2009）
[39] Yuille，A.，Rangarajan，A.：凹-凸过程（cccp）。神经计算。15, 915-936 (2003) ·Zbl 1022.68112号 ·doi:10.1162/08997660360581958
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。