×

指数族中最大似然的长距离搜索。 (英语) Zbl 1336.62078号

摘要:指数族通常用于对具有复杂相关性的数据集进行建模。当计算似然的费用很高时,最大似然估计量(MLE)可能很难估计。基于MCMC-MLE算法的马尔可夫链蒙特卡罗(MCMC)方法[C.J.盖尔E.A.汤普森,“相关数据的约束蒙特卡罗最大似然”,J.R.Stat.Soc.,Ser。B54,第3期,657–699(1992),http://www.jstor.org/stable/2345852]从任何值开始,理论上都保证在一定条件下收敛,但在实际中,当给定一个较差的起始值时,这种算法可能会费力地收敛。我们提出了一种简单的线搜索算法,用于在MLE存在且唯一的情况下找到正则指数族的MLE。该算法可以从任何初始值开始,避免了与随机近似等校准算法相关的反复试验。与许多优化算法不同,该方法仅利用一阶导数信息,既不计算似然函数本身,也不计算高于一阶的导数。我们展示了算法在可以精确计算梯度的情况下的收敛性。当它做不到时,它有一种特别方便的形式,很容易用MCMC进行估计,使算法对从业者仍然有用。

MSC公司:

10层62层 点估计
60J22型 马尔可夫链中的计算方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Andrieu,C.、Moulines,E.和Priouret,P.(2005)。可验证条件下随机逼近的稳定性。,SIAM控制与优化杂志44 283-312·Zbl 1083.62073号 ·doi:10.1137/S0363012902417267
[2] Barndorff Nielsen,O.(1978)。,统计理论中的信息和指数族。约翰·威利父子公司·Zbl 0387.62011号
[3] Besag,J.(1974年)。空间相互作用与晶格系统的统计分析。,英国皇家统计学会期刊,B辑36 192-236·Zbl 0327.60067号
[4] Besag,J.(1975年)。非参数数据的统计分析。,统计学家24 179-195。
[5] Brown,L.D.(1986)。,统计指数族基础:在统计决策理论中的应用。加利福尼亚州海沃德数理统计研究所·Zbl 0685.6202号
[6] Chan,K.S.和Geyer,C.J.(1994年)。Tierney对论文的讨论。,统计年鉴22 1747-1758。
[7] 陈海峰(2002)。,随机逼近及其应用。多德雷赫特Kluwer学术出版社·Zbl 1008.62071号
[8] Fletcher,R.(1987)。,《优化的实用方法》,第二版,John Wiley&Sons出版社·Zbl 0905.65002号
[9] Geyer,C.J.(1990)。华盛顿大学可能性与指数族博士论文。
[10] Geyer,C.J.(1991)。马尔可夫链蒙特卡罗最大似然法。年,计算科学与统计:Proc。第23交响曲。接口(E.Keramidas,ed.)156-163。接口基础。
[11] Geyer,C.J.(1994)。关于Monte Carlo极大似然计算的收敛性。,英国皇家统计学会杂志,B辑56 261-274·Zbl 0784.62019号
[12] Geyer,C.J.(2009年a)。指数族中的似然推理与衰退方向。,电子统计杂志3 259-289·Zbl 1326.62070号 ·doi:10.1214/08-EJS349
[13] Geyer,C.J.(2009年b)。mcmc:马尔可夫链蒙特卡罗。R包装版本,0.7-3。
[14] Geyer,C.J.(2010)。aster2:阿斯特模型。R包装版本,0.1。
[15] Geyer,C.J.(2011)。MCMC简介。年,《马尔可夫链蒙特卡罗手册》(S.P.Brooks、A.E.Gelman、G.L.Jones和X.L.Meng编辑),查普曼和霍尔/CRC,佛罗里达州博卡拉顿·Zbl 1229.65014号
[16] Geyer,C.J.和Johnson,L.T.(2010年)。波茨:波茨模型的马尔可夫链蒙特卡罗。R包版本,0.4。
[17] Geyer,C.J.和Thompson,E.A.(1992年)。相依数据的约束蒙特卡罗最大似然。,英国皇家统计学会杂志,B辑54 657-699。
[18] Goodreau,S.M.(2007)。指数随机图(p*)模型在大型社交网络中的应用进展,社交网络29 231-248。
[19] Goodreau,S.M.、Kitts,J.A.和Morris,M.(2009年)。羽毛鸟,还是朋友的朋友?使用指数随机图模型调查青少年社交网络。,人口统计学46 103-125。
[20] Gu,M.G.和Zhu,H.T.(2001)。基于马尔可夫链蒙特卡罗随机逼近的空间模型最大似然估计。,英国皇家统计学会杂志,B辑63 339-355·Zbl 0979.62060号 ·doi:10.1111/1467-9868.00289
[21] Handcock,M.S.、Hunter,D.R.、Butts,C.T.、Goodreau,S.M.和Morris,M.(2003)。statnet:用于网络数据统计建模的软件工具。2.0版。项目主页位于。
[22] Hummel,R.、Hunter,D.R.和Handcock,M.S.(2010年)。宾夕法尼亚州立大学第10-03号ERGM技术报告拟合的步长算法。
[23] Hunter,D.R.、Handcock,M.S.、Butts,C.T.、Goodreau,S.M.和Morris,M.(2008)。ergm:用于拟合、模拟和诊断网络指数族模型的软件包。,统计软件杂志24。
[24] 伊辛·E(1925)。Beitra zur铁磁性理论。,Zeitschrift für Physik A强子和核子31 253-258。
[25] Jaynes,E.T.(1978年)。我们站在什么位置?年,《最大熵形式主义》(R.D.Levine和M.Tribus编辑),剑桥:马萨诸塞州理工学院出版社。 ·doi:10.1017/CBO9780511569678.003
[26] Jones,G.L.(2004)。关于马尔可夫链中心极限定理。,概率调查1 299-320·Zbl 1189.60129号 ·doi:10.1214/15495780410000051
[27] Kushner,H.J.和Yin,G.G.(1997)。,随机逼近算法及其应用。纽约州施普林格·Zbl 0914.60006号
[28] Lehmann,E.L.和Casella,G.(1998)。,点估计理论,第二版,施普林格·Zbl 0916.62017号
[29] Lehmann,E.L.和Romano,J.P.(2005)。,《检验统计假设》,第三版,施普林格出版社·兹比尔1076.62018
[30] Liang,F.(2010)。随机逼近MCMC算法的轨迹平均。,应用统计年鉴38 2823-2856·Zbl 1218.60064号 ·doi:10.1214/10-AOS807
[31] Moyeed,R.A.和Baddeley,A.J.(1991)。空间点模式最大似然估计的随机逼近。,斯堪的纳维亚统计杂志1839-50·Zbl 0723.62047号
[32] Nocedal,J.和Wright,S.J.(1999)。,数值优化,第一版,Springer·Zbl 0930.65067号
[33] Okabayashi,S.(2011年a)。明尼苏达大学社会网络模型中的参数估计博士论文。
[34] Okabayashi,S.(2011年b)。明尼苏达大学第686号技术报告“指数族最大似然的长期搜索”的支持理论和数据分析。
[35] Okabayashi,S.、Johnson,L.和Geyer,C.J.(2011年)。Potts模型的伪似然扩展。,中国统计局21 331-347·Zbl 1206.62158号
[36] Penttinen,A.(1984)。空间点模式中相互作用的建模:用最大似然法进行参数估计。,Jyväskylä计算机科学、经济学和统计学研究7。
[37] 波茨,R.B.(1952)。一些广义序-序变换。,剑桥哲学学会会刊48 106-109·Zbl 0048.45601号 ·doi:10.1017/S0305004100027419
[38] Rinaldo,A.、Fienberg,S.E.和Zhou,Y.(2009)。离散指数族的几何及其在指数随机图模型中的应用。,电子统计杂志3 446-484·兹比尔1326.62071 ·doi:10.1214/08-EJS350
[39] Robbins,H.和Monro,S.(1951年)。一种随机逼近方法。,数理统计年鉴22 400-407·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586
[40] Roberts,G.O.和Rosenthal,J.S.(1997年)。几何遍历性与混合马尔可夫链。,概率2中的电子通信13-25·Zbl 0890.60061号 ·doi:10.1214/ECP.v2-981
[41] Roberts,G.O.和Rosenthal,J.S.(2004)。一般状态空间马尔可夫链与MCMC算法。,概率调查1 20-71·Zbl 1189.60131号 ·doi:10.1214/15495780410000024
[42] Rockafellar,R.T.和Wets,R.J.-B.(2004)。,变异分析。校正后的第二次打印。柏林斯普林格·弗拉格·Zbl 0888.49001号
[43] Saul,Z.M.和Filkov,V.(2007年)。利用指数随机图模型探索生物网络结构。,生物信息学23 2604-02611。
[44] Shaw,R.G.、Geyer,C.J.、Wagenius,S.、Hangelbroek,H.H.和Etterson,J.R.(2008)。统一生活史分析以推断适合度和人口增长。,美国自然主义者172 E35-E47。
[45] Snijders,T.A.B.(2002年)。指数随机图模型的马尔可夫链蒙特卡罗估计。,社会结构杂志3。
[46] 斯特劳斯,D.和池田,M.(1990)。社交网络的伪似然估计。,美国统计协会杂志85 204-212·doi:10.1080/01621459.1990.10475327
[47] 孙伟、袁永新(2006)。,优化理论与方法:非线性规划。斯普林格·邮编1129.90002 ·doi:10.1007/b106451
[48] Swendsen,R.H.和Wang,J.S.(1987年)。蒙特卡罗模拟中的非通用临界动力学。,《物理评论快报》58 86-88。
[49] van Duijn,M.A.J.、Gile,K.J.和Handcock,M.S.(2009年)。指数族随机图模型最大伪似然估计与最大似然估计的比较框架。,社交网络31 52-62。
[50] Wang,J.S.和Swendsen,R.H.(1990)。聚类蒙特卡罗算法。,物理学A 167 565-579·doi:10.1016/0378-4371(90)90275-W
[51] Wasserman,S.和Pattison,P.(1996年)。社会网络的Logit模型和Logistic回归:I.马尔可夫图和p*.导论。,《心理测量学》61 401-425·Zbl 0866.92029号 ·doi:10.1007/BF02294547
[52] Younes,L.(1988)。吉布斯场的估计和退火。,安·Inst.Henri Poincare 24 269-294·Zbl 0651.62091号
[53] Younes,L.(1989)。不完全观测吉布斯场的参数推断。,概率论及相关领域82 625-645·Zbl 0659.62115号 ·doi:10.1007/BF00341287
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。