×
努哈·扎姆扎米;尼扎尔·布吉拉

从指数族近似导出计数数据的多元分布的概率SVM核。 （英语） Zbl 1434.62091号

Bouguila，Nizar（编辑）等人，混合物模型和应用。查姆：斯普林格。无监督。半监督。学习。，125-153 (2020).
摘要：本工作旨在提出一种稳健的混合概率学习方法，该方法适当地结合了用于计数数据建模的生成模型和判别模型的优点。我们基于支持向量机（SVM）中从有效逼近到多元分布的信息发散和Fisher分数构建了新的概率核。更准确地说，我们将概率核从指数族近似的混合推广到计数数据的两个强大的生成模型，即多项式复合Dirichlet（DCM）和广义Dirichle多项式（GDM）。所开发的混合模型被引入为有效的SVM内核，能够结合关于当前问题中涉及的数据性质的先验知识，因此允许良好的数据区分。我们证明了所提出的框架在分析监视场景中的活动问题上的灵活性和优点。
关于整个系列，请参见[Zbl 1430.62012年].

引用于三文件

MSC公司：

62H10型 统计的多元分布
62H30型 分类和区分；聚类分析（统计方面）
68T05型 人工智能中的学习和自适应系统
62B10型 信息理论主题的统计方面
第60页 统计学在工程和工业中的应用；控制图

关键词：

生成性/辨别性学习;count数据;指数族近似;有限混合物;多项式复合Dirichlet（DCM）;广义Dirichlet多项式;支持向量机;概率核;放射性分析;多元分布;鲁棒混合概率学习;费希尔得分

软件：

PRMLT公司;SIFT公司
PDF格式BibTeX公司 XML格式引用
\textit｛N.Zamzami｝和\textit｛N.Bouguila｝，在：混合物模型和应用中。查姆：斯普林格。125-153（2020年；Zbl 1434.62091）
全文： 内政部

参考文献：

[1] Agarwal，A.，DauméIII，H.：指数族的生成核。摘自：《第十四届国际人工智能与统计会议记录》，第85-92页（2011年）
[2] Ali，S.，Shah，M.：高密度人群场景中用于跟踪的地面区域。摘自：欧洲计算机视觉会议，第1-14页。柏林施普林格出版社（2008）
[3] Baktashmotlagh，M.、Harandi，M.，Lovell，B.C.、Salzmann，M.：视频分类的判别非线性平稳子空间分析。IEEE传输。模式分析。马赫。智力。36(12), 2353-2366 (2014) ·doi:10.1109/TPAMI.2014.2339851
[4] Banerjee，A.、Merugu，S.、Dhillon，I.S.、Ghosh，J.：Bregman分歧的聚类。J.马赫。学习。第6号决议（10月），1705-1749（2005）·Zbl 1190.62117号
[5] Bdiri，T.，Bouguila，N.：用于生成SVM核的反向Dirichlet混合的贝叶斯学习。神经计算。申请。23(5), 1443-1458 (2013) ·doi:10.1007/s00521-012-1094-z
[6] Bishop，C.：模式识别和机器学习。信息科学与统计学。施普林格，纽约（2006）·Zbl 1107.68072号
[7] Bishop，C.M.等人：模式识别的神经网络。牛津大学出版社，牛津（1995）·兹比尔0868.68096
[8] Bouguila，N.：使用广义Dirichlet多项式分布对计数数据进行聚类。IEEE传输。知识。数据工程20（4），462-474（2008）·doi:10.1010/TKDE.2007.190726
[9] Bouguila，N.：比例数据建模和分类的混合生成/区分方法。IEEE传输。知识。数据工程24（12），2184-2202（2012）·doi:10.1109/TKDE.2011.162
[10] Bouguila，N.，Amayri，O.：SVM的基于混合的离散内核：垃圾邮件和图像分类应用。信息处理。管理。45(6), 631-642 (2009) ·doi:10.1016/j.ipm.2009.05.005
[11] Brown，L.D.：统计指数族基础：在统计决策理论中的应用。海沃德数理统计研究所（1986）·Zbl 0685.6202号
[12] Burges，C.J.：模式识别支持向量机教程。数据最小知识。发现。2(2), 121-167 (1998) ·doi:10.1023/A:1009715923555
[13] Caballero，K.L.，Barajas，J.，Akella，R.：增强主题检测中的广义Dirichlet分布。摘自：《第21届ACM信息和知识管理国际会议记录》，第773-782页。ACM，纽约（2012）
[14] Campbell，W.M.，Sturim，D.E.，Reynolds，D.A.：使用GMM超向量进行说话人验证的支持向量机。IEEE信号处理。莱特。13(5), 308-311 (2006) ·doi:10.10109/LSP.2006.870086
[15] Chan，A.B.，Vasconcelos，N.：自回归视觉过程分类的概率核。收录于：IEEE计算机学会计算机视觉和模式识别会议（CVPR），第1卷，第846-851页。IEEE，皮斯卡塔韦（2005）
[16] Chan，A.B.，Vasconcelos，N.，Moreno，P.J.：基于信息散度的概率核族。加利福尼亚大学圣地亚哥分校，技术报告。SVCL-TR-2004-1（2004）
[17] Christianini，N.，Shawe-Taylor，J.：支持向量机，第93卷（443），第935-948页。剑桥大学出版社，剑桥（2000）
[18] Church，K.W.，Gale，W.A.：泊松混合物。Nat.Lang.Eng.1（2），163-190（1995）·doi:10.1017/S1351324900000139
[19] Cong，Y.，Yuan，J.，Liu，J.：使用稀疏表示在拥挤场景中检测异常事件。模式识别。46(7), 1851-1864 (2013) ·doi:10.1016/j.patcog.2012.11.021
[20] Csurka，G.，Dance，C.，Fan，L.，Willamowski，J.，Bray，C.：用大量关键点进行视觉分类。摘自：计算机视觉中的统计学习研讨会（ECCV），布拉格，第1卷，第1-2页（2004年）
[21] DasGupta，A.：指数族和统计应用。摘自：《统计学和机器学习的概率》，第583-612页。施普林格，纽约（2011）·Zbl 1233.62001
[22] Dempster，A.P.，Laird，N.M.，Rubin，D.B.：通过EM算法获得不完整数据的最大似然。J.R.Stat.Soc.系列。B Methodol公司。39, 1-38 (1977) ·Zbl 0364.62022号
[23] Deng，J.，Xu，X.，Zhang，Z.，Frühholz，S.，Grandjean，D.，Schuller，B.：语音情感识别中基于相位特征的Fisher核。摘自：《与社交机器人的对话》，第195-203页。新加坡施普林格（2017）
[24] Dong，Z.，Kong，Y.，Liu，C.，Li，H.，Jia，Y.：通过多重特征识别人类交互。摘自：第一届亚洲模式识别会议，第77-81页。IEEE，皮斯卡塔韦（2011）
[25] Elkan，C.：使用Dirichlet复合多项式分布的指数族近似对文档进行聚类。摘自：《第23届机器学习国际会议论文集》，第289-296页。ACM，纽约（2006）
[26] Fayyad，U.M.，Reina，C.，Bradley，P.S.：迭代细化聚类算法的初始化。收录：KDD，第194-198页（1998年）
[27] Figueiredo，M.A.T.，Jain，A.K.：有限混合模型的无监督学习。IEEE传输。模式分析。马赫。智力。24(3), 381-396 (2002) ·doi:10.1109/34.990138
[28] Geary，D.：《混合模型：聚类推理和应用》，J.R.Stat.Soc.Ser。A 152（1），126-127（1989）·doi:10.2307/2982840
[29] Grauman，K.，Darrell，T.：金字塔匹配内核：具有图像特征集的判别分类。参见：第十届IEEE计算机视觉国际会议（ICCV），第2卷，第1458-1465页。IEEE，皮斯卡塔韦（2005）
[30] Holub，A.D.，Welling，M.，Perona，P.：混合生成-鉴别视觉分类。国际期刊计算。视觉。77(1-3), 239-258 (2008) ·doi:10.1007/s11263-007-0084-6
[31] Jaakkola，T.，Haussler，D.：利用区分分类器中的生成模型。摘自：《神经信息处理系统进展》，第487-493页。麻省理工学院出版社，剑桥（1999）
[32] Jain，A.K.：数据聚类：超过K-means 50年。模式识别。莱特。31(8), 651-666 (2010) ·doi:10.1016/j.parec.2009.0011
[33] Jebara，T.：图像是一袋袋像素。收录于：ICCV，第265-272页（2003年）
[34] Jebara，T.，Kondor，R.：Bhattacharyya和预期似然核。摘自：《学习理论与核心机器》，第57-71页。柏林施普林格出版社（2003）·Zbl 1274.68321号 ·doi:10.1007/978-3-540-45167-96
[35] Jebara，T.、Kondor，R.、Howard，A.：概率积核。J.马赫。学习。第5号决议（7月），819-844（2004年）·Zbl 1222.68226号
[36] Jégou，H.，Douze，M.，Schmid，C.：关于视觉元素的突发性。摘自：IEEE计算机视觉和模式识别会议（CVPR），第1169-1176页。IEEE，皮斯卡塔韦（2009）
[37] Johnston，J.，Hamerly，G.：使用EDCM集群提高SimPoint在小仿真预算中的准确性。In:ARchitographics and compilaTion的统计和机器学习方法研讨会（SMART08）（2008）
[38] Kailath，T.：发散和巴塔查里亚距离测量信号选择。IEEE传输。Commun公司。Technol公司。15(1), 52-60 (1967) ·doi:10.1109/TCOM.1967.1089532
[39] Katz，S.M.：文本和语言建模中内容词和短语的分布。Nat.Lang.Eng.2（1），15-59（1996）·doi:10.1017/S1351324996001246
[40] Keerthi，S.S.，Lin，C.J.：高斯核支持向量机的渐近行为。神经计算。15(7), 1667-1689 (2003) ·Zbl 1086.68569号 ·doi:10.1162/089976603321891855
[41] Kim，J.，Grauman，K.：局部观察，全局推断：一种时空MRF，用于检测带有增量更新的异常活动。摘自：IEEE计算机视觉和模式识别会议（CVPR），第2921-2928页。IEEE，皮斯卡塔韦（2009）
[42] Kong，D.，Gray，D.，Tao，H.：使用视点不变训练计算人群中的行人数。载于：BMVC，第1卷，第2页。Citeser（2005）
[43] Kullback，S.：信息理论与统计学。马萨诸塞州切姆斯福德Courier Corporation（1997）·Zbl 0897.62003号
[44] Laptev，I.：关于时空兴趣点。国际期刊计算。视觉。64(2-3), 107-123 (2005) ·doi:10.1007/s11263-005-1838-7
[45] Laptev，I.、Caputo，B.等人：识别人类行为：局部支持向量机方法。收录：空，第32-36页。IEEE，皮斯卡塔韦（2004）
[46] Li，Y.，Shapiro，L.，Bilmes，J.A.：一种用于图像分类的生成/判别学习算法。摘自：第十届IEEE计算机视觉国际会议（ICCV'05），第2卷，第1605-1612页。IEEE，皮斯卡塔韦（2005）
[47] Lin，J.：基于香农熵的散度度量。IEEE传输。Inf.理论37（1），145-151（1991）·Zbl 0712.94004号 ·数字对象标识代码：10.1109/18.61115
[48] Lin，H.T.，Lin，C.J.：关于支持向量机的S形核和使用SMO类型方法训练非PSD核的研究。神经计算。3, 1-32 (2003)
[49] Lowe，D.G.：不同尺度变化关键点的独特图像特征。国际期刊计算。视觉。60(2), 91-110 (2004) ·doi:10.1023/B:VISI.0000029664.99615.94
[50] Loy，C.C.，Xiang，T.，Gong，S.：基于流的主动异常事件检测。载于：亚洲计算机视觉会议，第161-175页。柏林施普林格出版社（2010年）·doi:10.1007/978-3-642-19315-6-13
[51] Ma，Y.，Guo，G.：支持向量机应用。查姆施普林格（2014）·doi:10.1007/978-3-319-02300-7
[52] Madsen，R.E.，Kauchak，D.，Elkan，C.：使用Dirichlet分布建模单词burstiness。摘自：《第22届机器学习国际会议论文集》，第545-552页。ACM，纽约（2005）
[53] Mahadevan，V.、Li，W.、Bhalodia，V.和Vasconcelos，N.：拥挤场景中的异常检测。收录于：IEEE计算机学会计算机视觉和模式识别会议（CVPR），1975-1981页。IEEE，皮斯卡塔韦（2010）
[54] Margaritis，D.，Thrun，S.：连续变量的贝叶斯多分辨率独立性测试。摘自：《第十七届人工智能不确定性会议记录》，第346-353页。摩根考夫曼出版社，伯灵顿（2001）
[55] McLachlan，G.J.：《混合模型：推断和聚类应用》，Marcel Dekker，纽约（1988）·Zbl 0697.62050号
[56] McLachlan，G.，Krishnan，T.：EM算法和扩展，第382卷。霍博肯·威利（2007）·Zbl 1165.62019号
[57] Mehran，R.、Oyama，A.、Shah，M.：使用社会力量模型检测异常人群行为。摘自：IEEE计算机视觉和模式识别会议（CVPR），第935-942页。IEEE，皮斯卡塔韦（2009）
[58] Melnykov，V.，Maitra，R.等人：有限混合模型和基于模型的聚类。统计综述。4, 80-116 (2010) ·Zbl 1190.62121号 ·doi:10.1214/09-SS053
[59] Moguerza，J.M.，Muñoz，A.等人：支持向量机及其应用。统计科学。21(3), 322-336 (2006) ·Zbl 1246.68185号 ·doi:10.1214/08834230600000493
[60] Moreno，P.J.，Ho，P.P.，Vasconcelos，N.：多媒体应用中基于Kullback-Leibler散度的SVM分类核。《神经信息处理系统进展》，第1385-1392页（2004年）
[61] Ozkurt，C.，Camci，F.：使用神经网络的交通监控系统的自动交通密度估计和车辆分类。数学。计算。申请。14(3), 187-196 (2009)
[62] Penny，W.D.：正态密度、伽马密度、狄里克莱密度和Wishart密度的Kullback-Leibler发散。威康认知神经病学系技术报告（2001年）
[63] Pérez-Cruz，F.：连续分布的Kullback-Leibler散度估计。参见：IEEE信息理论国际研讨会（ISIT），第1666-1670页。IEEE，皮斯卡塔韦（2008）
[64] Raina，R.，Shen，Y.，Mccallum，A.，Ng，A.Y.：用杂交生殖/辨别模型进行分类。摘自：《神经信息处理系统进展》，第545-552页（2004年）
[65] Rényi，A.等人：关于熵和信息的度量。在：第四届伯克利数理统计与概率研讨会论文集，第1卷：对统计学理论的贡献。加州大学奥克兰校区（1961年）·Zbl 0106.33001号
[66] Rubinstein，Y.D.，Hastie，T.等人：区分性学习与信息性学习。收录于：KDD，第5卷，第49-53页（1997年）
[67] Ryoo，M.S.，Aggarwal，J.K.：时空关系匹配：用于识别复杂人类活动的视频结构比较。摘自：IEEE第十二届计算机视觉国际会议（ICCV），第1593-1600页。IEEE，皮斯卡塔韦（2009）
[68] Sankaranarayanan，A.C.，Turaga，P.K.，Baraniuk，R.G.，Chellappa，R.：动态场景的压缩获取。摘自：欧洲计算机视觉会议，第129-142页。柏林施普林格出版社（2010年）·doi:10.1007/978-3-642-15549-9_10
[69] Scovanner，P.，Ali，S.，Shah，M.：三维筛选描述符及其在动作识别中的应用。摘自：第15届ACM国际多媒体会议记录，第357-360页。ACM，纽约（2007）
[70] Shmilovici，A.：支持向量机。摘自：《数据挖掘和知识发现手册》，第231-247页。施普林格，纽约（2010）·doi:10.1007/978-0-387-09823-4_12
[71] Titterington，D.M.，Smith，A.F.，Makov，U.E.：有限混合分布的统计分析。威利，伦敦（1985）·Zbl 0646.62013.中
[72] Tsuda，K.，Akaho，S.，Kawanabe，M.，Müller，K.R.：fisher核的渐近性质。神经计算。16(1), 115-137 (2004) ·Zbl 1084.68108号 ·doi:10.1162/08997660460734029
[73] Ueda，N.，Nakano，R.：确定性退火EM算法。神经网络。11(2), 271-282 (1998) ·doi:10.1016/S0893-6080（97）00133-0
[74] Van Der Maaten，L.：学习区分性鱼核。载于：ICML，第11卷，第217-224页（2011年）
[75] Vapnik，V.N.：统计学习理论的本质。施普林格，纽约（1995）·Zbl 0833.62008号 ·数字对象标识代码：10.1007/978-1-4757-2440-0
[76] Vasconcelos，N.，Ho，P.，Moreno，P.：Kullback-Leibler核作为视觉识别的判别和局部表示框架。摘自：欧洲计算机视觉会议，第430-441页。施普林格，柏林（2004）·Zbl 1098.6880号
[77] Wang，Y.，Mori，G.：半潜在主题模型的人类行为识别。IEEE传输。模式分析。马赫。智力。31(10), 1762-1774 (2009) ·doi:10.1109/TPAMI.2009.43
[78] Wong，T.T.：改进天真贝叶斯分类器性能的替代性先验假设。数据最小知识。发现。18（2），183-213（2009）·doi:10.1007/s10618-008-0101-6
[79] Wong，T.T.：文档分类中带有多项式模型的朴素贝叶斯分类器的广义Dirichlet先验。数据最小知识。发现。28(1), 123-144 (2014) ·Zbl 1281.68199号 ·doi:10.1007/s10618-012-0296-4
[80] Zamzami，N.，Bouguila，N.：使用分层贝叶斯框架进行消费行为预测。摘自：第一届工业人工智能国际会议（AI4I），第31-34页。IEEE，皮斯卡塔韦（2018）
[81] Zamzami，N.，Bouguila，N.：基于多项标度Dirichlet混合模型的混合生成鉴别方法。申请。智力。，1-18（2019年出版）
[82] Zamzami，N.，Bouguila，N.：模型选择和应用于高维计数数据聚类——通过有限EDCM混合模型。申请。智力。49(4), 1467-1488 (2019) ·doi:10.1007/s10489-018-1333-9
[83] Zamzami，N.，Bouguila，N.：使用广义Dirichlet多项式分布的指数近似进行稀疏计数数据聚类。提交给IEEE神经网络和学习系统交易会审查的手稿（2019年）·Zbl 1458.62134号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。