×
何塞·米盖尔·埃尔南德斯·洛巴托;埃尔南德斯·洛巴托，丹尼尔;阿尔贝托·苏亚雷斯

具有尖峰和停滞先验的线性回归模型中的期望传播。 （英语） Zbl 1359.62290号

机器。学习。 99，第3期，437-487（2015）.
摘要：提出了一种期望传播（EP）算法，用于具有尖峰和停滞先验的线性回归模型的近似推理。该EP方法适用于训练实例数较少、特征空间维数较大的回归任务。分析的问题包括遗传网络的重建、稀疏信号的恢复、，从客户撰写的评论中预测用户情绪，并从近红外光谱中分析饼干面团成分。提出的EP方法在大多数任务中都优于另一种忽略后验相关性的EP方法和用于近似推理的变分Bayes技术。此外，EP生成的解与吉布斯采样给出的解非常接近，吉布斯采样可以作为金标准，但计算成本可能要高得多。在所分析的任务中，尖峰-尖峰先验通常优于其他稀疏先验，如拉普拉斯先验、学生先验和马蹄先验。改进拉普拉斯和Student先验预测的关键是尖峰和斜峰先验分布的优良选择性收缩能力。

引用于10文件

MSC公司：

62J05型 线性回归；混合模型

关键词：

钉子和实验室;线性回归;期望传播;选择性收缩

软件：

PRMLT公司;R（右）
PDF格式BibTeX公司 XML格式引用
\textit{J.M.Hernández-Lobato}等人，马赫。学习。99，No.3，437--487（2015；Zbl 1359.62290）
全文： 内政部

参考文献：

[1] Alon，U.（2006年）。系统生物学导论。博卡拉顿：CRC出版社·Zbl 1141.92002号
[2] 阿提亚斯，H。；拉斯基，KB（编辑）；Prade，H.（ed.），用变分贝叶斯推断潜在变量模型的参数和结构，21-30（1999），Los Altos
[3] Barabási，A.L.和Oltvai，Z.N.（2004）。网络生物学：了解细胞的功能组织。《自然评论遗传学》，5（2），101-113·doi:10.1038/nrg1272
[4] Bishop，C.M.（2006年）。模式识别和机器学习。柏林：斯普林格·Zbl 1107.68072号
[5] Blitzer，J.、Dredze，M.和Pereira，F.（2007年）。传记、宝莱坞、潮箱和搅拌器：情绪分类的领域适应。ACL第45届年会会议记录（第440-447页）。
[6] Brown，P.、Fearn，T.和Vannucci，M.（2001）。曲线上的贝叶斯小波回归及其在光谱校准问题中的应用。《美国统计协会杂志》，96398-408·Zbl 1022.62027 ·doi:10.1198/016214501753168118
[7] Calderhead，B.和Girolma，M.（2009年）。通过热力学积分和总体mcmc估计贝叶斯因子。计算统计与数据分析，53（12），4028-4045·Zbl 1453.62055号 ·doi:10.1016/j.csda.2009.07.025
[8] Candès，E.（2006年）。压缩取样。国际数学家大会会议记录，31433-1452·Zbl 1130.94013号
[9] Carbonetto，P.和Stephens，M.（2012年）。回归中贝叶斯变量选择的可缩放变分推理及其在遗传关联研究中的准确性。贝叶斯分析，6（4），1-42·Zbl 1330.62089号
[10] Carvalho，C.M.、Polson，N.G.和Scott，J.G.（2009年）。通过马蹄铁处理稀疏。机器学习研究杂志W&CP，573-80。
[11] 坎宁安，J.P.、亨尼格，P.和鳄鱼-朱利安，S.（2011）。高斯概率和期望传播。arXiv:1116832v2。
[12] Damien，P.、Wakefield，J.和Walker，S.（1999）。使用辅助变量对贝叶斯非共轭和层次模型进行吉布斯抽样。英国皇家统计学会期刊B辑（统计方法），61（2），331-344·Zbl 0913.62028号 ·doi:10.1111/1467-9868.00179
[13] Davis，J.和Goadrich，M.（2006）。精确再调用和ROC曲线之间的关系。第23届机器学习国际会议论文集（第233-240页）。纽约州纽约市：ACM。
[14] Donoho，D.（2006年）。压缩传感。IEEE信息理论汇刊，52（4），1289-1306·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[15] Faul，A.C.和Tippin，M.E.（2001年）。稀疏贝叶斯学习分析。T.G.Dietterich、S.Becker和Z.Ghahramani（编辑），《神经信息处理系统进展》，14，383-389·Zbl 0673.62051号
[16] Ferkinghoff Borg，J.（2002）。复杂系统中的蒙特卡罗方法。Cpenhagen大学博士论文·Zbl 1348.65022号
[17] Gardner，T.S.和Faith，J.J.（2005）。逆向工程转录控制网络。生命物理学评论，2（1），65-88·doi:10.1016/j.plrev.2005.01.001
[18] George，E.I.和McCulloch，R.E.（1997）。贝叶斯变量选择方法。中国统计，7（2），339-373·Zbl 0884.62031号
[19] Geweke，J.等人（1996年）。回归中的变量选择和模型比较。贝叶斯统计，5609-620。
[20] Gill，P.E.、Golub，G.H.、Murray，W.和Saunders，M.A.（1974年）。修改矩阵分解的方法。计算数学，28（126），505-535·Zbl 0289.65021号 ·doi:10.1090/S0025-5718-1974-0343558-6
[21] Hernández-Lobato，J.M.和Dijkstra，T.M.H.（2010）。用于重建转录网络的枢纽基因选择方法。J.L.Balcázar、F.Bonchi、A.Gionis和M.Sebag（编辑），ECML-PKDD 2010。人工智能课堂讲稿（第6321卷）。柏林：斯普林格·Zbl 1225.62087号
[22] 埃尔南德斯·洛巴托（Hernández-Lobato，J.M.）和埃尔南德斯·洛巴托，D.（Hernandez-Labato，D.）（2011年）。具有尖峰和停滞先验的线性模型中的收敛期望传播。arXiv:1112.2289·Zbl 1359.62290号
[23] 埃尔南德斯·洛巴托，JM；Dijkstra，T。；Heskes，T。；Platt，J.（编辑）；Koller，D.（编辑）；辛格，Y.（编辑）；Roweis，S.（编辑），《疟疾寄生虫基因表达时间序列中的调节器发现：层次方法》，第20期，649-656（2008），马萨诸塞州剑桥
[24] 埃尔南德斯·洛巴托（Hernández-Lobato，D.）、埃尔南德斯·布洛巴托、J.M.和苏亚雷斯（Suárez，A.）（2010年）。微阵列数据分类的期望传播。《模式识别字母》，31（12），1618-1626·doi:10.1016/j.patrec.2010.05.007
[25] Ishwaran，H.和Rao，J.S.（2005年）。尖峰和平板变量选择：频繁和贝叶斯策略。《统计年鉴》，33（2），730-773·Zbl 1068.62079号 ·doi:10.1214/009053604000001147
[26] Ji，S.，Xue，Y.，&Carin，L.（2008）。贝叶斯压缩感知。IEEE信号处理汇刊，56（6），2346-2356·Zbl 1390.94231号 ·doi:10.1109/TSP.2007.914345
[27] Johnstone，I.M.和Titterington，D.M.（2009年）。高维数据的统计挑战。《皇家学会哲学学报A：数学、物理和工程科学》，367（1906），4237-4253·Zbl 1185.62007号 ·doi:10.1098/rsta.2009.0159
[28] Kuss，M.和Rasmussen，C.E.（2005年）。评估二元高斯过程分类的近似推理。机器学习研究杂志，61679-1704·Zbl 1190.62119号
[29] Lee，K.E.、Sha，N.、Dougherty，E.R.、Vannucci，M.和Mallick，B.K.（2003）。基因选择：贝叶斯变量选择方法。生物信息学，19（1），90-97·doi:10.1093/生物信息/19.1.90
[30] 麦凯·D·J·C（1992）。贝叶斯插值。神经计算，4（3），415-447·doi:10.1162/neco.1992.4.3.415
[31] 麦凯，D.J.C.（2003）。信息理论、推理和学习算法。剑桥：剑桥大学出版社·Zbl 1055.94001号
[32] Manning，C.D.和Schütze，H.（2000）。统计自然语言处理基础。剑桥：麻省理工学院出版社。
[33] Marbach，D.、Schaffter，T.、Mattiussi，C.和Floreano，D.（2009年）。为逆向工程方法的性能评估生成逼真的计算机基因网络。计算生物学杂志，16（2），229-239·doi:10.1089/cmb.2008.09TT
[34] Minka，T.（2001）。近似贝叶斯推理的一系列算法。麻省理工学院博士论文·Zbl 1330.62089号
[35] Minka，T.和Lafferty，J.（2002年）。生成方面模型的期望传播。《第18届人工智能不确定性会议论文集》（第352-359页）·Zbl 0673.62051号
[36] Mitchell，T.和Beauchamp，J.（1988）。线性回归中的贝叶斯变量选择。美国统计协会杂志，83（404），1023-1032·Zbl 0673.62051号 ·doi:10.1080/016214519988.10478694
[37] Nickisch，H.和Rasmussen，C.E.（2008）。二元高斯过程分类的近似。机器学习研究杂志，92035-2078·Zbl 1225.62087号
[38] Opper，M.和Winther，O.（2005年）。期望一致的近似推断。机器学习研究杂志，62177-2204·Zbl 1222.68278号
[39] Osborne，B.G.、Fearn，T.、Miller，A.R.和Douglas，S.（1984）。近红外反射光谱法在饼干和饼干面团成分分析中的应用。《食品与农业科学杂志》，35（1），99-105·doi:10.1002/jsfa.2740350116
[40] Osborne，B.、Fearn，T.、Hindle，P.和Hindle，P.（1993年）。实用近红外光谱在食品和饮料分析中的应用。朗曼食品科技系列。加拿大：威利。
[41] Rasmussen，C.E.和Williams，C.K.I.（2005）。机器学习的高斯过程（自适应计算和机器学习）。剑桥：麻省理工学院出版社。
[42] Rue，H.、Martino，S.和Chopin，N.（2009年）。利用集成嵌套拉普拉斯近似对潜在高斯模型进行近似贝叶斯推断。英国皇家统计学会杂志：B辑（统计方法），71（2），319-392·Zbl 1248.62156号 ·doi:10.1111/j.1467-9868.2008.00700.x
[43] Sandler，T.、Talukdar，P.P.、Ungar，L.H.和Blitzer，J.（2008年）。通过特色网络进行正规化学习。D.Koller、D.Schuurmans、Y.Bengio和L.Bottou（编辑），《神经信息处理系统的进展》（第21卷，第1401-1408页）。
[44] Scott，J.G.（2010年）。局部收缩模型中的参数扩展。arXiv:1010.5265·Zbl 1390.94231号
[45] Seeger，M.W.（2008）。稀疏线性模型的贝叶斯推理与优化设计。机器学习研究杂志，9759-813·Zbl 1225.68213号
[46] Seeger，M.、Nickisch，H.和Schlkopf，B.（2010年）。利用贝叶斯实验设计优化压缩感知的k空间轨迹。医学中的磁共振，63（1），116-126。
[47] 斯洛尼姆博士（2002年）。从模式到路径：基因表达数据分析已经成熟。《自然遗传学》，32，502-508·数字对象标识代码：10.1038/ng1033
[48] Steinke，F.、Seeger，M.和Tsuda，K.（2007年）。使用稀疏贝叶斯模型有效识别基因调控网络的实验设计。BMC系统生物学，1（1），51·doi:10.1186/1752-0509-1-51
[49] Stolovitzky，G.、Monroe，D.和Califano，A.（2007年）。逆向工程评估与方法对话。《纽约科学院年鉴》，1115，1-22·doi:10.1196/annals.1407.021
[50] R.D.C.团队（2007年）。R： 用于统计计算的语言和环境。维也纳：R统计计算基金会。网址：http://www.R-project.org，国际标准图书编号：3-900051-07-0
[51] Thieffry，D.、Huerta，A.M.、Pérez-Rueda，E.和Collado-Vides，J.（1998）。从特定基因调控到基因组网络：大肠杆菌转录调控的全球分析。生物论文，20（5），433-440·doi:10.1002/（SICI）1521-1878（199805）20:5<433:：AID-BIES10>3.0.CO；2-2
[52] Tibshirani，R.（1996）。通过拉索回归收缩和选择。英国皇家统计学会杂志B，58（1），267-288·Zbl 0850.62538号
[53] Tipping，M.E.和Faul，A.（2003年）。稀疏贝叶斯模型的快速边缘似然最大化。在C.M.Bishop和B.J.Frey（编辑），第九届人工智能与统计国际研讨会论文集。
[54] Tipping，M.E.（2001）。稀疏贝叶斯学习和相关向量机。机器学习研究杂志，121-244·Zbl 0997.68109号
[55] Titsias，M.K.和Lazaro-Gredilla，M.（2012）。用于多任务和多核学习的尖峰和平板变分推理。神经信息处理系统进展（第24卷）。
[56] van Gerven，M.、Cseke，B.、Oostenveld，R.和Heskes，T.（2009年）。基于多元拉普拉斯先验的贝叶斯信源定位。Y.Bengio、D.Schuurmans、J.Lafferty、C.K.I.Williams和A.Culotta（编辑），《神经信息处理系统的进展》（第22卷，第1901-1909页）。
[57] 维普夫·D。；帕尔默，J。；Rao，B。；Thrun，S.（编辑）；Saul，L.（编辑）；Schölkopf，B.（ed.），稀疏贝叶斯学习视角，第16期（2004），马萨诸塞州剑桥
[58] Zhu，H.和Rohwer，R.（1995）。泛化的贝叶斯不变度量。《神经处理快报》，2（6），28-31·doi:10.1007/BF02309013
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。