×
费边·哈迪吉;亚历杭德罗·莫利纳;斯里拉姆·纳塔拉扬;克里斯蒂安·凯斯廷

泊松依赖网络：多元计数数据的梯度增强模型。 （英语） Zbl 1388.62218号

机器。学习。 100，编号2-3477-507（2015）.
摘要：尽管计数数据越来越普遍，但令人惊讶的是，很少有工作使用概率图形模型来建模计数数据。事实上，单变量案例已经得到了很好的研究，然而，在许多情况下，计数相互影响，不应单独考虑。标准图形模型（如多项式或高斯模型）也常常不适用，因为它们忽略了自然数的无限范围或计数变量分布的潜在不对称形状。现有的泊松图形模型只能对负条件依赖进行建模，或者忽略计数的预测，或者不能很好地扩展。为了简化多元计数数据的建模，我们引入了一种新的泊松图形模型族，称为泊松依赖网络（PDN）。PDN由一组局部条件泊松分布组成，每个泊松分布表示给定其他计数变量的单个计数变量的概率，这自然有助于简单的吉布斯抽样推断。与现有的泊松图形模型相比，PDN是非参数的，并使用函数梯度上升（即增强）进行训练。泊松分布的特别简单形式允许我们开发第一种乘法提升方法：从初始常量开始，或者从对数泊松模型或泊松回归树开始，PDN表示为在阶段优化中增长的回归模型的产品。我们在几个真实的数据集上证明，PDN可以对正相关性和负相关性进行建模，并具有良好的可扩展性，同时通常优于最先进的技术，尤其是在使用乘法更新时。

引用于三文件

MSC公司：

62J12型 广义线性模型（逻辑模型）
62甲12 多元分析中的估计
62A09号 统计学中的图形方法

关键词：

图形模型;依赖网络;泊松分布;学习;MAP推断;多元计数数据

软件：

r零件;帕拉米尔斯;千兆字节;博客;BMSS公司
PDF格式BibTeX公司 XML格式引用
\textit{F.Hadiji}等人，马赫。学习。100，编号：2-3477-507（2015年；兹bl 1388.62218）
全文： 内政部

参考文献：

[1] Ahmadi，B.、Kersting，K.和Sanner，S.（2011年）。多证据提升了消息传递，并应用于PageRank和Kalman过滤器。第22届国际人工智能联合会议（IJCAI）会议记录。
[2] Allen，G.和Liu，Z.（2013）。用于从测序数据推断网络的局部泊松图形模型。IEEE纳米生物科学汇刊，12189-198·doi:10.1109/TNB.2013.2263838
[3] Bengio，Y.，Thibodeau-Laufer，E。，Alain，G.和Yosinski，J.（2014）。可通过backprop训练的深度生成随机网络。第31届国际机器学习会议论文集（ICML）（第226-234页）。
[4] Berkes，P.、Wood，F.和Pillow，J.（2008）。用copula模型表征神经依赖性。《第二十二届神经信息处理系统年会论文集》（第129-136页）·Zbl 1317.68173号
[5] Besag，J.（1974年）。空间相互作用和晶格系统的统计分析。英国皇家统计学会杂志。B系列（方法学），36（2），192-236·Zbl 0327.60067号
[6] Bolker，B.M.、Brooks，M.E.、Clark，C.J.、Geange，S.W.、Poulsen，J.R.、Stevens，M.H.H.等人（2009年）。广义线性混合模型：生态学和进化的实用指南。生态与进化趋势，24，127-135·Zbl 0578.03011号 ·doi:10.1016/j.tree.2008.10.008
[7] Breiman，L.、Friedman，J.、Stone，C.J.和Olshen，R.A.（1984年）。分类和回归树。贝尔蒙特：华兹华斯·Zbl 0541.62042号
[8] Bucila，C.、Caruana，R.和Niculescu-Mizil，A.（2006年）。模型压缩。第十二届ACM SIGKDD国际知识发现和数据挖掘会议（KDD）论文集（第535-541页）·Zbl 1121.62408号
[9] Chaudhuri，P.、Lo，W.D.、Loh，W.Y.和Yang，C.C.（1995）。广义回归树。中国统计局，5641-666·Zbl 0824.62060号
[10] Chen，Y.、Pavlov，D.和Canny，J.（2009）。大规模行为目标。第15届ACM SIGKDD知识发现和数据挖掘国际会议（CIKM）会议记录（第209-218页）·Zbl 0904.62067号
[11] Choi，J.和Amir，E.（2010年）。提升了关系连续模型的推理。第26届人工智能不确定性会议论文集·兹伯利0904.62067
[12] 克拉克·R·D（1946）。泊松分布的应用。精算师学会杂志，72481。
[13] Dietterich，T.G.、Hao，G.和Ashenfelter，A.（2008）。梯度树增强用于训练条件随机场。机器学习研究杂志，9，2113-2139·Zbl 1225.68173号
[14] Dobra，A.（2009）。全基因组数据的变量选择和依赖网络。生物统计学，19621-639·Zbl 1437.62444号 ·doi:10.1093/生物统计学/kxp018
[15] Dobra，A.和Gehrke，J.（2002年）。秘密：一种可扩展的线性回归树算法。第八届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第481-487页）。
[16] Elith，J.、Leathwick，J.和Hastie，T.（2008）。增强回归树的工作指南。动物生态学杂志，77，802-813·doi:10.1111/j.1365-2656.2008.01390.x
[17] Feller，W.（1968年）。概率论及其应用导论。伦敦：威利·Zbl 0155.23101号
[18] Friedman，J.H.（2001）。贪婪函数近似：梯度增强机。《统计年鉴》，29（5），1189-1232·Zbl 1043.62034号 ·doi:10.1214/aos/1013203451
[19] Gehler，P.、Holub，A.和Welling，M.（2006年）。用于信息检索和对象识别的速率自适应泊松模型。第二十三届国际会议记录（ICML）（第337-344页）·Zbl 1113.62082号
[20] Geman，S.和Geman，D.（1984）。随机松弛、吉布斯分布和图像的贝叶斯恢复。IEEE模式分析和机器智能汇刊，6721-741·Zbl 0573.62030号 ·doi:10.1109/TPAMI.1984.4767596
[21] Ghitany，M.、Karlis，D.、Al-Mutairi，D.和Al-Awadhi，F.（2012年）。多元泊松回归模型的em算法及其应用。应用数学科学，66843-6856。
[22] Goodman，N.（2013）。概率规划的原理和实践。在第40届ACM SIGPLAN-SIGCT年度编程语言原理研讨会论文集（POPL）（第399-402页）。
[23] Gopalan，P.、Charlin，L.和Blei，D.（2014）。基于内容的建议和泊松因子分解。神经信息处理系统（NIPS）年度会议记录（第3176-3184页）·Zbl 1243.68245号
[24] Guo，Y.，&Gu，S.（2011）。使用条件依赖网络的多标签分类。第22届国际人工智能联合会议（IJCAI）会议记录（第1300-1305页）。
[25] Hadiji，F.、Kersting，K.、Bauckhage，C.和Ahmadi，B.（2013年）。GeoDBLP：用于挖掘计算机科学社会学的地理标签DBLP。arXiv预打印arXiv:1304.7984·Zbl 0573.62030号
[26] Hadiji，F.、Sifa，R.、Drachen，A.、Thurau，C.、Kersting，K.和Bauckhage，C.（2014）。预测玩家在野外的流失。IEEE计算智能与游戏会议（CIG）论文集·Zbl 1192.68831号
[27] Heckerman，D.、Chickering，D.、Meek，C.、Rounthwaite，R.和Kadie，C.（2000年）。密度估计、协同过滤和数据可视化的依赖网络。机器学习研究杂志，149-76·Zbl 1008.68132号
[28] Hoff，P.（2003）。网络数据的随机效应模型。R.Breiger、K.Carley和P.Pattison（编辑），《动态社交网络建模与分析：研讨会摘要和论文》（第303-312页）。华盛顿：国家学院出版社。
[29] Hutter，F.、Hoos，H.H.、Leyton-Brown，K.和Stützle，T.（2009年）。ParamILS：自动算法配置框架。《人工智能研究杂志》，36267-306·Zbl 1192.68831号
[30] Inouye，D.、Ravikumar，P.和Dhillon，I.（2014a）。poisson mrfs的混合：具有单词依赖性的主题模型。第31届国际机器学习会议（ICML）论文集（第683-691页）·Zbl 1100.62541号
[31] Inouye，D.、Ravikumar，P.和Dhillon，I.（2014b）。通过混合泊松MRF捕获语义上有意义的单词相关性。神经信息处理系统（NIPS）年度会议记录（第3158-3166页）。
[32] Kaiser，M.S.和Cressie，N.（1997年）。建立具有正空间相关性的泊松变量模型。《统计与概率快报》，35（4），423-432·Zbl 0904.62067号 ·doi:10.1016/S0167-7152（97）00041-2
[33] Karlis，D.（2003年）。多元泊松分布和相关模型的EM算法。应用统计学杂志，30，63-77·Zbl 1121.62408号 ·doi:10.1080/026647602200018510
[34] Karlis，D.和Ntzoufras，I.（2003年）。使用二元泊松模型分析体育数据。英国皇家统计学会杂志：D辑（统计学家），52（3），381-393。
[35] Kersting，K.和Driessens，K.（2008年）。非参数政策梯度：命题域和关系域的统一处理。第二十五届国际会议记录（第456-463页）。
[36] Khot，T.、Natarajan，S.、Kersting，K.和Shavlik，J.（2011年）。通过函数梯度提升学习马尔可夫逻辑网络。第11届IEEE数据挖掘国际会议（ICDM）论文集（第320-329页）。
[37] Koller，D.和Friedman，N.（2009年）。概率图形模型。剑桥：麻省理工学院出版社·Zbl 1183.68483号
[38] Lafferty，J.、McCallum，A.和Pereira，F.（2001年）。条件随机场：用于分割和标记序列数据的概率模型。第18届机器学习国际会议论文集（第282-289页）。Morgan Kaufmann，加利福尼亚州旧金山·Zbl 1225.68173号
[39] Lee，E.H.（2014）。相关计数的Copula分析。T.K.Leen、T.G.Dietterich和V.Tresp（编辑），《计量经济学进展》（第16章，第325-348页）。布拉德福德：Emerals Group出版社·Zbl 1453.62491号
[40] Lee，D.和Seung，H.S.（2000年）。非负矩阵分解算法。《神经信息处理系统学报》（NIPS）（第556-562页）。
[41] Lehmussola，A.、Ruusuvuori，P.、Selinummi，J.、Huttunen，H.和Yli-Harja，O.（2007）。用细胞群模拟荧光显微镜图像的计算框架。IEEE医学成像学报，26（7），1010-1016·doi:10.1109/TMI.2007.896925
[42] Lowd，D.和Davis，J.（2014）。利用决策树改进马尔可夫网络结构学习。机器学习研究杂志，15（1），501-532·Zbl 1317.68173号
[43] McCullagh，P.和Nelder，J.（1989）。广义线性模型。伦敦：查普曼和霍尔·Zbl 0744.62098号 ·doi:10.1007/9781-4899-3242-6
[44] Meinshausen，N.和Bühlmann，P.（2006）。高维图和用套索选择变量。《统计年鉴》，34（3），1436-1462·Zbl 1113.62082号 ·doi:10.1214/0090536000000281
[45] Milch，B.、Marthi，B.、Russell，S.、Sontag，D.、Ong，D.和Kolobov，A.（2005）。BLOG：具有未知对象的概率模型。第十九届国际人工智能联合会议（IJCAI）会议记录（第1352-1359页）。
[46] Natarajan，S.、Kersting，K.、Khot，T.和Shavlik，J.（2014a）。促进统计关系型学习者：从基准到数据驱动医学。柏林：斯普林格·Zbl 1311.68008号
[47] Natarajan，S.、Khot，T.、Kersting，K.、Gutmann，B.和Shavlik，J.（2012）。统计关系学习中基于梯度的助推：关系依赖网络案例。机器学习杂志，86（1），25-56·Zbl 1243.68245号 ·doi:10.1007/s10994-011-5244-9
[48] Natarajan，S.、Leiva，J.M.P.、Khot，T.、Kersting，K.、Re，C.和Shavlik，J.（2014b）。通过近似的领域知识有效地创建标记较弱的训练示例。在ILP中。
[49] Natarajan，S.、Saha，B.、Joshi，S.，Edwards，A.、Khot，T.、Davenport，E.M.等人（2014c）。关系学习有助于从大脑的结构磁共振图像对阿尔茨海默病患者进行三向分类。国际机器学习与控制论杂志，5（5），659-669。
[50] Radev，D.、Muthukrishnan，P.和Qazvinian，V.（2009年）。ACL文集网络语料库。在Proceedings中，ACL数字图书馆自然语言处理和信息检索研讨会。新加坡。
[51] 拉维库马尔（Ravikumar，P.）、温赖特（Wainwright，M.J.）和拉弗蒂（Lafferty，J.D.）（2010年）。使用l1-正则化logistic回归进行高维ising模型选择。《统计年鉴》，38（3），1287-1936·Zbl 1189.62115号 ·doi:10.1214/09-AOS691
[52] Ridgeway，G.（2006）。广义增强模型：GBM包指南。R小品·Zbl 1113.62082号
[53] Saul，L.和Lee，D.（2001）。混合模型分类的乘法更新。《神经信息处理系统学报》（NIPS）（第897-904页）。
[54] Sha，F.、Saul，L.K.和Lee，D.D.（2003）。大边距分类器的乘法更新。第16届计算学习理论年会（COLT）会议记录（第188-202页）·Zbl 1274.68349号
[55] Singla，P.和Domingos，P.（2007年）。无限域中的马尔可夫逻辑。《第二十三届人工智能不确定性会议论文集》（第368-375页）。
[56] Therneau，T.M.、Atkinson，B.和Ripley，B.（2011年）。rpart：递归分区。http://CRAN.R-project.org/package=rpart
[57] Tsiamirtzis，P.和Karlis，D.（2004）。有效计算多元泊松概率的策略。统计、模拟和计算通信，33，271-292·Zbl 1100.62541号 ·doi:10.1081/SAC-120037235
[58] Weiss，J.、Natarajan，S.、Peissig，P.、McCarty，C.和Page，D.（2012）。从电子健康记录预测原发性心肌梗死的统计相关学习。第二十四届人工智能创新应用年会（IAAI-12）会议记录。
[59] Xiang，R.和Neville，J.（2013）。具有copula潜马尔可夫网络的网络数据的集体推理。第六届ACM网络搜索和数据挖掘国际会议（WSDM）论文集（第647-656页）。
[60] Yang，E.、Ravikumar，P.、Allen，G.和Liu，Z.（2012年）。通过广义线性模型的图形模型。神经信息处理系统年度会议记录（第1367-1375页）·Zbl 0744.62098号
[61] Yang，E.、Ravikumar，P.、Allen，G.I.和Liu，Z.（2013）。关于泊松图形模型。神经信息处理系统（NIPS）年度会议记录（第1718-1726页）·Zbl 1008.68132号
[62] Yang，Z.和Laaksonen，J.（2007年）。非负投影的乘法更新。神经计算，71（1-3），363-373·doi:10.1016/j.neucom.2006.11.023
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。