×
盖·布雷斯勒;米纳州卡赞德

学习树状结构的伊辛模型以进行预测。 （英语） Zbl 1469.62334号

Ann.统计。 48，编号2，713-737（2020）.
本文的目的是表明，学习一个能够做出准确预测的模型是可能的，即使结构学习不可能。为了实现这一目标，作者引入了一个损失函数来评估基于低阶边缘准确性的学习算法。使用真实分布（P）和学习分布（Q）之间的微小总变差。
主要结果给出了学习树伊辛模型所需样本数的上下限，以确保较小的损失，在这种情况下，损失相当于精确的两两边距。事实上，主要结果涉及最大似然树（也称为Chow-Liu树，请参见[C.K.Chow先生和C.N.刘，IEEE传输。Inf.Theory 14，462–467（1968；Zbl 0165.22305号)].
在本文的最后，给出了一些有趣的数值模拟，以证明Chow-Liu算法在基础结构错误恢复概率（零损失）和L^{（2）}损失方面的性能。
审核人：罗密欧·内格里亚（蒂米什·奥拉）

引用于7文件

MSC公司：

62M10个 统计学中的时间序列、自相关、回归等（GARCH）
62M20型 随机过程推断和预测
2012年12月62日 参数估计量的渐近性质
62甲12 多元分析中的估计
68T05年 人工智能中的学习和自适应系统
60层25 \（L^p\）-极限定理

关键词：

高维统计;型号选择;马尔可夫随机场;伊辛模型;预测;树模型;最大似然树;Chow-Liu树

引文：

Zbl 0165.22305号
PDF格式BibTeX公司 XML格式引用
\textit｛G.Bresler｝和\textit｛M.Karzand｝，Ann.Stat.48，第2号，713-737（2020；兹bl 1469.62334）
全文： DOI程序 arXiv公司 欧几里得

参考文献：

[1] Abbeel，P.、Koller，D.和Ng，A.Y.（2006年）。多项式时间和样本复杂度中的学习因子图。J.马赫。学习。1743-1788年第7号决议·兹比尔1222.68128
[2] Agarwala，R.、Bafna，V.、Farach，M.、Paterson，M.和Thorup，M.（1999）。关于数值分类法的近似性（通过树度量拟合距离）。SIAM J.计算。28 1073-1085. ·Zbl 1012.65015号 ·doi:10.1137/S00975397952965296334
[3] Ambainis，A.、Desper，R.、Farach，M.和Kannan，S.（1997年）。进化的可学习性几乎受到严格限制。第38届计算机科学基础年会（FOCS）论文集524-533。电气与电子工程师协会。
[4] Anandkumar，A.、Huang，F.、Hsu，D.和Kakade，S.（2012年）。学习树图形模型的混合。神经信息处理系统进展1052-1060。
[5] Anandkumar，A.、Tan，V.Y.F.、Huang，F.和Willsky，A.S.（2012年）。伊辛模型中的高维结构估计：局部分离准则。安。统计师。40 1346-1375. ·Zbl 1297.62124号 ·doi:10.1214/12-AOS1009
[6] Anandkumar，A.和Valluvan，R.（2013）。学习带有潜在变量的循环图形模型：有效的方法和保证。安。统计师。41 401-435. ·Zbl 1267.62070号 ·doi:10.1214/12-AOS1070
[7] Baxter，R.J.（1985）。统计力学中精确求解的模型。统计力学中的可积系统。统计力学进展系列1 5-63。世界科学。出版，新加坡·Zbl 0637.00017号
[8] Bento，J.和Montanari，A.（2009年）。哪些图形模型很难学习？神经信息处理系统进展。
[9] Bresler，G.（2015）。有效学习任意图上的Ising模型[扩展抽象]。在STOC 2015年ACM计算理论研讨会论文集771-782。纽约ACM·Zbl 1321.68397号
[10] Bresler，G.和Karzand，M.（2020年）。对“学习树结构的伊辛模型以进行预测”的补充https://doi.org/10.1214/19-AOS1808SUPP。
[11] Bresler，G.、Mossel，E.和Sly，A.（2008年）。从样本重建马尔可夫随机场：一些观察结果和算法。在近似、随机化和组合优化中。计算机科学课堂讲稿5171 343-356。柏林施普林格·Zbl 1159.68636号
[12] Chow，C.和Liu，C.（1968年）。用依赖树逼近离散概率分布。IEEE传输。通知。理论14 462-467·Zbl 0165.22305号 ·doi:10.1109/TIT.1968.1054142
[13] Chow，C.和Wagner，T.（1973）。树相关概率分布估计的一致性。IEEE传输。通知。理论19 369-371。
[14] Cormen，T.H.、Leiserson，C.E.、Rivest，R.L.和Stein，C.（2009）。算法简介。麦格劳-希尔·Zbl 1187.68679号
[15] Dasgupta，S.（1999）。学习多叉树。第十五届人工智能不确定性会议论文集134-141。
[16] Daskalakis，C.、Mossel，E.和Roch，S.（2009年）。无分支界限的系统发育：短缩，深剪。第13届国际计算分子生物学研究年会论文集451-465。斯普林格·Zbl 1227.92042号 ·数字对象标识码：10.1137/09075576X
[17] Erdős，P.L.、Steel，M.A.、Székely，L.A.和Warnow，T.J.（1999）。几根原木足以（几乎）建造所有的树：第二部分。理论。计算。科学。221 77-118. ·Zbl 0933.68100号 ·doi:10.1016/S0304-3975（99）00028-6
[18] Freeman，W.T.、Pasztor，E.C.和Carmichael，O.T.（2000）。学习低级视觉。国际期刊计算。视觉。40 25-47. ·Zbl 1012.68700号 ·doi:10.1023/A：1026501619075
[19] Gallager，R.G.（1962年）。低密度奇偶校验码。IRE变速器。信息理论IT-8 21-28·Zbl 0107.11802号 ·doi:10.10109/TIT.1962.1057683
[20] Georgii，H.O.（2011年）。吉布斯测量和相变，第二版，德格鲁伊特数学研究9。德格鲁伊特，柏林·Zbl 1225.60001号
[21] Heinemann，U.和Globerson，A.（2014）。用高周长图形模型进行推断。第31届国际机器学习会议（ICML-14）会议记录1260-1268。
[22] 霍夫丁（1963）。有界随机变量和的概率不等式。J.Amer。统计师。协会58 13-30·Zbl 0127.10602号 ·doi:10.1080/01621459.1963.10500830
[23] Jog，V.和Loh，P.-L.（2015）。高斯图形模型的模型错误指定和KL分离。IEEE信息理论国际研讨会（ISIT）1174-1178。
[24] Koller，D.和Friedman，N.（2009年）。概率图形模型：原理和技术。自适应计算和机器学习。麻省理工学院出版社，马萨诸塞州剑桥·Zbl 1183.68483号
[25] Lauritzen，S.L.（1996）。图形模型。牛津统计科学系列17。牛津大学出版社，纽约·Zbl 0907.62001
[26] Liu，H.、Xu，M.、Gu，H.，Gupta，A.、Lafferty，J.和Wasserman，L.（2011）。森林密度估算。J.马赫。学习。第12号决议907-951·Zbl 1280.62045号
[27] Loh，P.-L.和Wainwright，M.J.（2013）。离散图形模型的结构估计：广义协方差矩阵及其逆矩阵。安。统计师。41 3022-3049. ·Zbl 1288.62081号 ·doi:10.1214/13-AOS1162
[28] 梅勒，M.和乔丹，M.I.（2001）。与树木混合学习。J.马赫。学习。决议1 1-48·Zbl 1052.68116号
[29] Meinshausen，N.和Bühlmann，P.（2006）。高维图和用套索选择变量。安。统计师。34 1436-1462. ·Zbl 1113.62082号 ·doi:10.1214/0090536000000281
[30] Mossel，E.树木和系统发育林上的计量数据失真。IEEE/ACM传输。计算。生物信息。4 108-116。
[31] Narasimhan，M.和Bilmes，J.（2004）。PAC学习有界树宽图形模型。在第20届人工智能不确定性会议论文集410-417。
[32] Pearl，J.（1988）。智能系统中的概率推理：合理推理网络。《表现与推理中的摩根-考夫曼系列》。Morgan Kaufmann，加利福尼亚州圣马特奥。
[33] Portilla，J.、Strela，V.、Wainwright，M.J.和Simoncelli，E.P.（2003）。在小波域中使用高斯混合尺度进行图像去噪。IEEE传输。图像处理。12 1338-1351. ·Zbl 1279.94028号 ·doi:10.1109/TIP.2003.818640
[34] Ravikumar，P.、Wainwright，M.J.和Lafferty，J.D.（2010年）。使用（ell_1）正则化逻辑回归的高维Ising模型选择。安。统计师。38 1287-1319. ·Zbl 1189.62115号 ·doi:10.1214/09-AOS691
[35] Rebeschini，P.和van Handel，R.（2015）。局部粒子过滤器能战胜维数的诅咒吗？附录申请。普罗巴伯。25 2809-2866. ·Zbl 1325.60058号 ·doi:10.1214/14-AAP1061
[36] Romberg，J.K.、Choi，H.和Baraniuk，R.G.（2001）。基于小波域隐马尔可夫模型的贝叶斯树结构图像建模。IEEE传输。图像处理。10 1056-1068.
[37] Santhanam，N.P.和Wainwright，M.J.（2012）。选择高维二进制图形模型的信息论限制。IEEE传输。通知。理论58 4117-4134·Zbl 1365.62212号 ·doi:10.1109/TIT.2012.2191659
[38] Srebro，N.（2001年）。最大似然有界树宽马尔可夫网络。在人工智能不确定性会议上·Zbl 0987.68067号
[39] Tan，V.Y.F.、Anandkumar，A.、Tong，L.和Willsky，A.S.（2011年）。马尔可夫树结构最大似然学习的大偏差分析。IEEE传输。通知。理论57 1714-1735·Zbl 1366.60066号 ·doi:10.1109/TIT.2011.2104513
[40] Tan，V.Y.F.、Anandkumar，A.和Willsky，A.S.（2011年）。学习高维马尔可夫森林分布：错误率分析。J.马赫。学习。第12号决议1617-1653·兹比尔1280.62068
[41] Tandon，R.、Shanmugam，K.、Ravikumar，P.K.和Dimakis，A.G.（2014）。关于学习伊辛模型的信息论局限性。神经信息处理系统进展2303-2311。
[42] Tsybakov，A.B.（2004）。非参数估计简介。斯普林格·Zbl 1029.62034号
[43] Vuffray，M.、Misra，S.、Lokhov，A.和Chertkov，M.（2016）。交互筛选：伊辛模型的高效和样本优化学习。神经信息处理系统进展2595-2603。
[44] Wainwright，M.和Jordan，M.（2008年）。图形模型、指数族和变分推理。已找到。趋势马赫数。学习。1 1-305. ·Zbl 1193.62107号 ·数字对象标识代码：10.1561/220000001
[45] Wainwright，M.J.（2003）。通过伪矩匹配的树重加权置信传播算法和近似ML估计。在AISTATS。
[46] Wainwright，M.J.（2006）。估算“错误”的图形模型：计算限制设置的好处。J.马赫。学习。1829-1859年第7号决议·Zbl 1222.62114号
[47] Wainwright，M.J.、Simoncelli，E.P.和Willsky，A.S.（2001）。小波树上的随机级联及其在分析和建模自然图像中的应用。申请。计算。哈蒙。分析。11 89-123. ·Zbl 0983.68228号 ·doi:10.1006/acha.2000.0350
[48] 吴，R·Zbl 1352.62133号 ·doi:10.1287/12-SSY073
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。