×
吴彤彤;肯尼思·兰格

MM替代EM。 （英语） Zbl 1329.62106号

统计科学。 25，第4期，492-505（2010）.
概要：EM算法是一种更通用的算法MM算法的特例。特定的MM算法通常与丢失的数据无关。MM算法的第一个M步骤创建了在第二个M步骤中优化的代理函数。在最小化方面，MM代表majorize-minimize；在最大化中，它代表最小化-最大化。此两步过程始终将目标函数推向正确的方向。MM算法的构建依赖于识别和操纵不等式，而不是计算条件期望。本调查向读者介绍了几种特定MM算法的构造。MM算法在解决高维优化和估计问题方面的潜力是其最吸引人的特点。我们在随机图模型、判别分析和图像恢复方面的应用展示了这种能力。

引用于23文件

MSC公司：

10层62层 点估计
62-03 统计历史
01A60型 20世纪数学史
62-02 与统计有关的研究展览（专著、调查文章）

关键词：

迭代优化;最大似然;不等式;惩罚

软件：

UCI-毫升;ElemStatLearn（电子状态学习）
PDF格式BibTeX公司 XML格式引用
\textit{T.T.Wu}和\textit{K.Lange}，统计科学。25，第4号，492--505（2010；Zbl 1329.62106）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Anderson，G.D.、Vamanamurthy，M.K.和Vuorinen，M.（2007）。广义凸性与不等式。数学杂志。分析。申请。335 1294-1308. ·Zbl 1125.26017号 ·doi:10.1016/j.jmaa.2007.02.016
[2] Asuncion，A.和Newman，D.J.（2007年）。UCI机器学习库。可从获取。
[3] Becker，M.P.、Yang，I.和Lange，K.（1997）。EM算法，没有丢失的数据。统计方法医学研究6 38-54。
[4] Bergstrom，T.C.和Bagnoli，M.（2005）。对数凹概率及其应用。经济。理论26 445-469·兹比尔1077.60012 ·文件编号：10.1007/s00199-004-0514-4
[5] Bijleveld，C.C.J.H.和de Leeuw，J.（1991）。通过交替最小二乘法拟合纵向降秩回归模型。《心理测量学》56 433-447·Zbl 0760.62062号 ·doi:10.1007/BF02294484
[6] Bioucas-Dias，J.M.、Figueiredo，M.A.T.和Oliveira，J.P.（2006）。基于全变分的图像反褶积：一种优化-最小化方法。在IEEE声学、语音和信号处理国际会议上，ICASSP 2006 Proceedings 861-864。
[7] Blitzstein，J.、Chatterjee，S.和Diaconis，P.（2008年）。一种新的高维极大似然估计算法。技术报告。
[8] Bohning，D.和Lindsay，B.G.（1988年）。二次近似算法的单调性。Ann.Inst.Statist公司。数学。40 641-663. ·Zbl 0723.65150号 ·doi:10.1007/BF00049423
[9] Borg，I.和Groenen，P.（1997年）。现代多维尺度：理论与应用。纽约州施普林格·Zbl 0862.62052号
[10] Boyd，S.和Vandenberghe，L.（2004）。凸优化。剑桥大学出版社·Zbl 1058.90049号
[11] Boyles，R.A.（1983年）。关于EM算法的收敛性。J.罗伊。统计师。Soc.序列号。B 45 47-50。JSTOR公司：·Zbl 0508.62030号
[12] de Leeuw，J.（1977年）。凸分析在多维标度中的应用。《统计学的最新发展》（J.R.Barra、F.Brodeau、G.Romie和B.Van Cutsem编辑）133-145。荷兰北部，阿姆斯特丹·Zbl 0372.62083号
[13] de Leeuw，J.（1994）。统计学中的块松弛算法。《信息系统和数据分析》（H.-H.Bock、W.Lenski和M.M.Richter编辑）。柏林施普林格·Zbl 0829.65144号
[14] de Leeuw，J.和Heiser，W.J.（1977年）。多维缩放校正矩阵算法的收敛性。《关系数据的几何表示》（J.C.Lingoes、E.Roskam和I.Borg编辑）。密歇根州安阿伯市数学出版社。
[15] de Leeuw，J.和Heiser，W.J.（1980）。具有配置限制的多维缩放。多元分析——第五届多元分析国际研讨会论文集（P.R.Krishnaiah ed.）501-522。荷兰北部，阿姆斯特丹·Zbl 0468.62054号
[16] de Leeuw，J.和Lange，K.（2009年）。一维二次优化。计算。统计师。数据分析。53 2471-2484. ·Zbl 1453.62078号
[17] De Pierro，A.R.（1995年）。一种改进的期望最大化算法，用于发射层析成像中的惩罚似然估计。IEEE传输。医学成像14 132-137。
[18] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法获得不完整数据的最大似然（讨论后）。J.罗伊。统计师。Soc.序列号。B 39 1-38。JSTOR公司：·Zbl 0364.62022号
[19] Eldén，L.（2007）。数据挖掘和模式识别中的矩阵方法。费城SIAM·Zbl 1120.68092号
[20] Friedman，J.、Hastie，T.和Tibshirani，R.（2007）。路径坐标优化。附录申请。统计师。1 302-332. ·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131
[21] Groenen，P.J.F.、Nalbantov，G.和Bioch，J.C.（2006）。通过迭代优化和I样条的非线性支持向量机。《分类、数据分析和知识组织研究》（H.J.Lenz和R.Decker编辑）149-161。柏林施普林格。
[22] Hastie，T.、Tibshirani，R.和Friedman，J.（2001）。统计学习的要素：数据挖掘、推理和预测。纽约州施普林格·Zbl 0973.62007号
[23] 海瑟·W·J（1987）。具有最小绝对残差的对应分析。计算。统计师。数据分析。5 337-356. ·Zbl 0624.62052号 ·doi:10.1016/0167-9473（87）90057-0
[24] 海瑟·W·J（1995）。迭代优化的收敛计算：多维数据分析的理论和应用。《描述性多变量分析的最新进展》（W.J.Krzanowski编辑）。牛津克拉伦登出版社。
[25] Huber，P.J.（1981）。稳健统计。纽约威利·Zbl 0536.62025号
[26] Hunter，D.R.（2004）。广义Bradley-Terry模型的MM算法。安。统计师。32 384-406. ·Zbl 1105.62359号 ·doi:10.1214/aos/1079120141
[27] Hunter，D.R.和Lange，K.（2000年）。通过MM算法进行分位数回归。J.计算。图表。统计师。9 60-77. JSTOR公司：·doi:10.2307/1390613
[28] Hunter，D.R.和Lange，K.（2002年）。在比例优势模型中计算估计值。Ann.Inst.Statist公司。数学。54 155-168. ·Zbl 0991.62080号 ·doi:10.1023/A:1016126007531
[29] Hunter，D.R.和Lange，K.（2004年）。MM算法教程。阿默尔。统计师。58 30-37. ·doi:10.1198/0003130042836
[30] Hunter，D.R.和Li，R.（2005）。使用MM算法选择变量。安。统计师。33 1617-1642. ·Zbl 1078.62028号 ·doi:10.1214/009053605000000200
[31] Jamshidian，M.和Jennrich，R.I.（1997年）。EM算法的准牛顿加速。J.罗伊。统计师。Soc.序列号。乙59 569-587。JSTOR公司：·Zbl 0889.62042号 ·数字对象标识代码：10.1111/1467-9868.00083
[32] Kent，J.T.、Tyler，D.E.和Vardi，Y.（1994年）。多元t分布的一个奇怪的似然恒等式。通信统计。仿真计算。23 441-453. ·兹比尔0825.62035 ·doi:10.1080/03610919408813180
[33] Kiers，H.A.L.（2002）。建立交替最小二乘和迭代优化算法，用于解决各种矩阵优化问题。计算。统计师。数据分析。41 157-170. ·兹比尔1018.65074 ·doi:10.1016/S0167-9473（02）00142-1
[34] Kiers，H.A.L.和Ten Berge，J.M.F.（1992）。一类矩阵迹函数的精细优化最小化。《心理测量学》57 371-382·Zbl 0782.62067号 ·doi:10.1007/BF02295425
[35] Lange，K.（1994年）。凸规划的自适应障碍法。方法应用。分析。1 392-402. ·Zbl 0835.90068号
[36] Lange，K.（1995年a）。梯度算法局部等价于EM算法。J.罗伊。统计师。Soc.序列号。乙57 425-437。JSTOR公司：·Zbl 0813.62021号
[37] Lange，K.（1995年b）。EM算法的准牛顿加速。统计师。Sinica 5 1-18.中国·Zbl 0824.62017号
[38] Lange，K.（2004）。优化。纽约州施普林格·Zbl 1140.90004号
[39] Lange，K.和Fessler，J.A.（1994年）。最大后验传输层析成像的全局收敛算法。IEEE传输。图像处理。4 1430-1438.
[40] Lange，K.、Hunter，D.R.和Yang，I.（2000年）。使用替代目标函数优化传输（讨论）。J.计算。图表。统计师。9 1-20. JSTOR公司：·doi:10.2307/1390605
[41] Lange，K.、Little，R.J.A.和Taylor，J.M.G.（1989）。使用t分布的稳健统计建模。J.Amer。统计师。协会84 881-896。JSTOR公司：·数字对象标识代码：10.2307/2290063
[42] Lange，K.和Wu，T.T.（2008）。用于多类别顶点鉴别分析的MM算法。J.计算。图表。统计师。17 1-18. ·doi:10.19198/106186008X340940
[43] Lee，D.D.和Seung，H.S.（1999年）。通过非负矩阵分解学习对象的各个部分。自然401 788-791·Zbl 1055.81054号 ·doi:10.1142/S0217732304015300
[44] Lee，D.D.和Seung，H.S.（2001年）。非负矩阵分解的算法。高级神经信息。过程。系统。13 556-562.
[45] Liao，W.H.，Huang，S.C.，Lange，K.和Bergsneider，M.（2002）。使用MM算法对动态PET中的参数图像进行正则化。《使用PET进行大脑成像》（M.Senda、Y.Kimura、P.Herscovitch和Y.Kimora编辑）。纽约学术出版社。
[46] Little，R.J.A.和Rubin，D.B.（2002年）。《缺失数据的统计分析》，第二版，威利出版社，纽约·Zbl 1011.62004号
[47] Marshall，A.W.和Olkin，I.（1979年）。不平等：多数化理论及其应用。圣地亚哥学术出版社·Zbl 0437.26007号
[48] McLachlan，G.J.和Krishnan，T.（1997）。EM算法和扩展。纽约威利·Zbl 0882.62012号
[49] Meilijson，I.（1989）。对EM算法的快速改进。J.罗伊。统计师。Soc.B 51 127-138。JSTOR公司：·Zbl 0674.65118号
[50] Meng，X.L.和Rubin，D.B.（1991）。使用EM获得渐近方差-方差矩阵：SEM算法。J.Amer。统计师。协会86 899-909。
[51] Meng，X.L.和van Dyk，D.（1997）。EM算法是一首古老的民歌，随着一个快速的新曲调演唱。J.罗伊。统计师。Soc.序列号。乙59 511-567。JSTOR公司：·Zbl 1090.62518号 ·doi:10.111/1467-9868.00082
[52] Ortega，J.M.（1990）。数值分析：第二门课程。费城SIAM·Zbl 0701.65002号
[53] 奥尔特加，J.M.和莱茵堡，W.C.（1970年）。多元非线性方程的迭代解。纽约学术出版社·Zbl 0241.65046号
[54] Pauca，V.P.、Piper，J.和Plemmons，R.J.（2006）。光谱数据分析的非负矩阵分解。线性代数应用。416 29-47. ·Zbl 1096.65033号 ·doi:10.1016/j.laa.2005.06025文件
[55] Rao，C.R.（1973）。《线性统计推断及其应用》，第二版，威利出版社，纽约·Zbl 0256.6202号
[56] Sabatti，C.和Lange，K.（2002年）。使用字典模型进行全基因组模体识别。IEEE 90 1803-1810会议记录。
[57] Scholkopf，B.和Smola，A.J.（2002年）。使用内核学习：支持向量机、正则化、优化及其他。麻省理工学院出版社，剑桥。
[58] 斯蒂尔，J.M.（2004）。Cauchy-Schwarz硕士班：数学不等式艺术导论。剑桥大学出版社和数学。美国协会。，华盛顿特区·Zbl 1060.26023号
[59] Takane，Y.、Young，F.W.和de Leeuw，J.（1977年）。非度量个体差异多维缩放：具有最佳缩放特征的交替最小二乘法。《心理测量学》42 7-67·Zbl 0354.92048号 ·doi:10.1007/BF02293745
[60] Vaida，F.（2005）。EM和MM算法的参数收敛性。统计师。Sinica中国邮政编码：15 831-840·Zbl 1087.62035号
[61] Vapnik，V.（1995）。统计学习理论的本质。纽约州施普林格·Zbl 0833.62008号
[62] Varadhan，R.和Roland，C.（2008）。加速任何EM算法收敛的简单全局收敛方法。扫描。J.统计。35 335-353. ·兹比尔1164.65006 ·文件编号：10.1111/j.1467-9469.2007.00585.x
[63] Wu，C.F.J.（1983）。关于EM算法的收敛性。安。统计师。11 95-103. ·Zbl 0517.62035号 ·doi:10.1214/aos/1176346060
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。