山崎圭介 具有冗余的潜在变量Bayes估计的渐近精度。 （英语） Zbl 1351.68241号 机器。学习。 102、1号、1-28（2016）. 摘要：由可观察变量和潜在变量组成的分层参数模型被广泛用于无监督学习任务。例如，混合模型是用于聚类的代表性层次模型。从统计角度来看，由于数据的分布，模型可以是规则的，也可以是奇异的。在一般情况下，模型具有可辨识性；模型表达式的概率密度函数与参数之间存在一对一的关系。Fisher信息矩阵是正定的，研究了可观测变量和潜在变量的估计精度。另一方面，在奇异情况下，模型是不可识别的，Fisher矩阵不是正定的。基于逆Fisher矩阵的传统统计分析不适用。最近，发展了一种代数几何分析，并用于阐明可观测变量的Bayes估计。本文将这种分析应用于隐变量估计并确定其理论性能。我们的结果阐明了后验分布收敛的行为。研究发现，可观测变量估计的后验值可能不同于潜在变量估计的后验值。由于这种差异，基于参数和潜在变量的马尔可夫链蒙特卡罗方法无法构建期望的后验分布。 引用于4文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 2015年1月62日 贝叶斯推断 62H30型 分类和区分；聚类分析（统计方面） 关键词：无监督学习;层次参数模型;贝叶斯统计;代数几何;奇点 PDF格式BibTeX公司 XML格式引用 \textit｛K.Yamazaki｝，马赫。学习。102，第1号，1--28（2016；Zbl 1351.68241） 全文： 内政部 arXiv公司 参考文献： [1] Akaike，H.（1974年）。统计模型识别的新视角。IEEE自动控制事务处理，19716-723·Zbl 0314.62039号 ·doi:10.1109/TAC.1974.1100705 [2] Allman，E.、Matias，C.和Rhodes，J.（2009年）。具有多个观测变量的潜在结构模型中参数的可识别性。《统计年鉴》，37，3099-3132·Zbl 1191.62003号 ·doi:10.1214/09-AOS689 [3] Aoyagi，M.（2010年）。贝叶斯估计中受限boltzmann机的随机复杂性和泛化误差。机器学习研究杂志，11，1243-1272·Zbl 1242.68200号 [4] Aoyagi，M.和Watanabe，S.（2005年）。贝叶斯估计中降秩回归的随机复杂性。神经网络，18224-933·Zbl 1077.68749号 ·doi:10.1016/j.neunet.2005.03.014 [5] Atiyah，M.F.（1970年）。奇点的分解和分布的划分。《纯粹数学与应用数学通讯》，23145-150·Zbl 0188.19405号 ·doi:10.1002/cpa.3160230202 [6] Dawid，A.P.和Lauritzen，S.L.（1993）。可分解图形模型统计分析中的超马尔科夫定律。《统计年鉴》，21（3），1272-1317·Zbl 0815.62038号 ·doi:10.1214/aos/1176349260 [7] Ghosal，S.、Ghosh，J.K.和Vaart，A.W.V.D.（2000）。后验分布的收敛速度。统计年鉴，28500-531·Zbl 1105.62315号 [8] Heckerman，D.（1999）。在图形模型中学习。M.I.Jordan（Ed.），《贝叶斯网络学习教程》（第301-354页）。美国马萨诸塞州剑桥：麻省理工学院出版社·Zbl 0921.62029号 [9] Hironaka，H.（1964年）。特征零域上代数簇奇点的解析I.数学年鉴，79（1），109-203·Zbl 0122.38603号 ·数字对象标识代码：10.2307/1970486 [10] Ibragimov，I.A.和Has’Minskii，R.Z.（1981）。统计估计症状理论（第16卷）。柏林：斯普林格·Zbl 0467.62026号 ·doi:10.1007/978-1-4899-0027-2 [11] Le Cam，L.（1973）。维数限制下估计的收敛性。《统计年鉴》，138-53·Zbl 0255.62006号 [12] Nagata，K.和Watanabe，S.（2009年）。用于正态混合模型中贝叶斯学习的交换蒙特卡罗方法的设计。摘自：第15届神经信息处理进展国际会议记录——第一卷（第696-706页）。柏林，海德堡：施普林格，ICONIP’08·Zbl 0602.62008号 [13] Nguyen，X.（2013）。有限和无限混合模型中潜在混合测度的收敛性。统计年鉴，41370-400·Zbl 1347.62117号 [14] Rissanen，J.（1986）。随机复杂性和建模。《统计年鉴》，第141080-1100页·Zbl 0602.62008号 ·doi:10.1214/aos/1176350051 [15] Robert，C.P.和Casella，G.（2005年）。蒙特卡罗统计方法（统计学中的斯普林格文本）。新泽西州塞考克斯：施普林格纽约公司。 [16] Rusakov，D.和Geiger，D.（2005年）。朴素贝叶斯网络的渐近模型选择。机器学习研究杂志，6，1-35·兹比尔1222.68294 [17] Schwarz，G.E.（1978年）。估算模型的维度。《统计年鉴》，6（2），461-464·Zbl 0379.62005年 ·doi:10.1214/aos/1176344136 [18] Watanabe，S.（2001年）。不可识别学习机器的代数分析。神经计算，13（4），899-933·Zbl 0985.68051号 ·doi:10.1162/089976601300014402 [19] Watanabe，S.（2009年）。代数几何和统计学习理论。纽约州纽约市：剑桥大学出版社·Zbl 1180.93108号 ·doi:10.1017/CBO9780511800474 [20] Yamazaki K（2014）基于分布的潜在变量估计的渐近准确性。机器学习研究杂志，13，3541-3562·Zbl 1191.62003号 [21] Yamazaki，K.和Kaji，D.（2013年）。比较了两种基于贝努利混合物自由能函数的贝叶斯方法。神经网络，44C，36-43·兹比尔1296.68153 ·doi:10.1016/j.neunet.2013.03.002 [22] Yamazaki，K.和Watanabe，S.（2003a）。混合模型中的奇异性和随机复杂性的上界。《国际神经网络杂志》，第16期，1029-1038页·兹比尔1255.68130 ·doi:10.1016/S0893-6080（03）00005-4 [23] Yamazaki，K.和Watanabe，S.（2003b）。贝叶斯网络的随机复杂性。《阿拉伯联合酋长国会议录》，第592-599页·Zbl 0815.62038号 [24] Yamazaki，K.和Watanabe，S.（2005a）。隐马尔可夫模型的代数几何和随机复杂性。神经计算，69（1-3），62-84·doi:10.1016/j.neucom.2005.02.014 [25] Yamazaki，K.和Watanabe，S.（2005年b）。完全二部图型Boltzmann机器中的奇点和随机复杂性的上界。IEEE神经网络汇刊，16（2），312-324·doi:10.1109/TNN.2004.841792 [26] Yamazaki，K.、Aoyagi，M.和Watanabe，S.（2010年）。用牛顿图对贝叶斯推广误差进行渐近分析。神经网络，23，35-43·Zbl 1396.68108号 ·doi:10.1016/j.neunet.2009.07.029 [27] Zwiernik，P.（2011）。一般马尔可夫模型边际似然的渐近行为。机器学习研究杂志，9998883-3310·Zbl 1280.68225号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。