×
穆罕默德·埃尔霍西尼；艾哈迈德·埃尔加马尔

使用Sharma-Mittal散度的广义双高斯过程。 （英语） Zbl 1341.62203号

机器。学习。 100，编号2-3，399-424（2015）.
摘要：由于互信息度量在机器学习和计算机视觉中的广泛应用，人们对其越来越感兴趣。在本文中，我们提出了一个基于Sharma-Mittal（SM）散度的广义结构回归框架，这是一种相对熵测度，本文将其引入机器学习社区。SM散度是广泛使用的Rényi、Tsallis、Bhattacharyya和Kullback-Leibler（KL）的广义互信息测度相对熵。具体来说，我们研究了双高斯过程（TGP）中作为代价函数的SM发散[L.Bo先生和C.斯密奇塞斯库，“结构化预测的双高斯过程”，国际计算杂志。视觉。87, 28–52 (2010;doi:10.1007/s11263-008-0204-y)]，它在无计算代价的情况下对KL收敛进行了推广。我们通过理论分析展示了Sharma-Mittal TGP（SMTGP）的有趣特性，其中涵盖了传统TGP配方中缺失的见解。然而，我们基于SM散度而不是特殊情况下的KL散度来推广这一理论。在实验上，我们在多个数据集上评估了所提出的SMTGP框架。结果表明，SMTGP比基于KL的TGP实现了更好的预测，因为它通过我们从数据中学习到的参数提供了更大类别的模型。

MSC公司：

62J02型 一般非线性回归
62B10型 信息理论主题的统计方面
68T45型 机器视觉和场景理解
68单位10 图像处理的计算方法
94甲17 信息的度量，熵

关键词：

Sharma-Mittal熵；结构化回归；双高斯过程；姿态估计；图像重建

软件：

HumanEva公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Elhoseiny}和\textit{A.Elgammal}，马赫。学习。100，编号2-3399-424（2015年；兹bl 1341.62203）
全文： 内政部 arXiv公司

参考文献：

[1] Agarwal，A.和Triggs，B.（2006年）。从单目图像中恢复三维人体姿势。模式分析与机器智能，28，44-58·doi:10.1109/TPAMI.2006.21
[2] Aghagolzadeh，M.、Soltanian-Zadeh，H.、Araabi，B.和Aghagol Zadeh（2007）。基于互信息最大化的层次聚类。在ICIP中·Zbl 1229.94024号
[3] Akturk，E.、Bagci，G.和Sever，R.（2007年）。sharma mittal熵真的超越了tsallis和rényi熵吗？http://arxiv.org/abs/cond-mat/0703277
[4] 阿基尔克。，Aktürk，E.和Tomak，M.（2008）。沙马-米塔尔熵可以写成索波列夫不等式吗？国际理论物理杂志，473310-3320·Zbl 1160.82303号 ·doi:10.1007/s10773-008-9766-2
[5] Alvarado，F.L.（1999）。矩阵反演引理。技术报告，威斯康星州大学，威斯康辛州麦迪逊，53706，美国。
[6] Amari，S.I.和Nagaoka，H.（2000）。信息几何方法，数学专著的翻译（第191卷）。牛津：牛津大学出版社·Zbl 0960.62005号
[7] Banerjee，A.、Merugu，S.、Dhillon，I.S.和Ghosh，J.（2005）。带Bregman分歧的聚类。机器学习研究杂志，61705-1749·Zbl 1190.62117号
[8] Bo，L.和Sminchisescu，C.（2009年）。结构化输出关联回归。在CVPR中。
[9] Bo，L.和Sminchisescu，C.（2010年）。结构化预测的双高斯过程。国际计算机视觉杂志，87，28-52·doi:10.1007/s11263-008-0204-y
[10] Cichocki，A.和Ichi Amari，S.（2010年）。α-β-和γ-发散族：灵活而稳健的相似性度量。《熵》，第12期，1532-1568页·Zbl 1193.11012号 ·doi:10.3390/e12061532
[11] Cichocki，A.、Lee，H.、Kim，Y.D.和Choi，S.（2008）。α发散的非负矩阵分解。模式识别字母，29（9），1433-1440·Zbl 1280.68192号
[12] Cichocki，A.、Cruces，S.和Si，Amari（2011年）。广义α-β发散及其在稳健非负矩阵分解中的应用。熵，13，134-170·Zbl 1156.60318号 ·doi:10.3390/e13010134
[13] 克里斯蒂亚尼尼，J.N.肖-泰勒Kandola，J.S.（2001）。用于聚类的谱核方法。在NIPS中·Zbl 0994.68074号
[14] DeGroot，M.H.（1962年）。不确定性、信息和顺序实验。《数理统计年鉴》，33404-419·Zbl 0151.22803号 ·doi:10.1214/aoms/1177704567
[15] Frank，T.和Plastino，A.（2002年）。基于sharma-mittal熵和护卫平均值的广义恒温学。欧洲物理杂志B，30，543-549·doi:10.1140/epjb/e2002-00412-6
[16] Gray，R.M.（1990）。熵与信息论。纽约：斯普林格·Zbl 0722.94001号 ·doi:10.1007/978-1-4757-3982-4
[17] Gretton，A.、Bousquet，O.、Smola，A.和Schölkopf，B.（2005）。使用hilbert-schmidt规范测量统计相关性。在算法学习理论国际会议上·Zbl 1168.62354号
[18] Hero，A.O.，Ma，B.，Michel，O.，&Gorman，J.（2001）。分类、索引和检索的阿尔法分歧。密歇根大学技术报告·JFM 37.0422.02号
[19] 赫尔·J·J（1994）。用于手写文本识别研究的数据库。IEEE模式分析和机器智能汇刊，16，550-554·数字对象标识代码：10.1109/34.291440
[20] Jensen，J.L.W.V.（1906年）。Sur les functions converxes et les in egáalite si entre les valeurs moyennes。《数学学报》，第30期，第175-193页·JFM 37.0422.02号 ·doi:10.1007/BF02418571文件
[21] Kailath，T.（1967年）。发散度和巴塔查里亚距离衡量信号选择。IEEE通信技术汇刊，15，52-60·doi:10.1109/TCOM.1967.1089532
[22] Kompass，R.（2007）。非负矩阵分解的广义散度测度。神经计算，19780-791·Zbl 1127.68081号 ·doi:10.1162/neco.2007.19.3.780
[23] Kybic，J.（2006）。基于最近邻的高维熵估计的增量更新。在ICASSP中。
[24] Learnd-Miller，E.G.和Fisher-III，J.W.（2003）。Ica使用熵的间距估计。机器学习研究杂志，41271-1295·Zbl 1061.62007年
[25] Masi，M.（2005）。超越tsallis和rényi熵的一步。《物理快报》A，338（3），217-224·Zbl 1136.94315号 ·doi:10.1016/j.physleta.2005.01.094
[26] Nielsen，F.和Nock，R.（2012年）。指数族sharmamittal熵的封闭表达式。物理学报A：数学与理论，45（3）·Zbl 1235.81039号
[27] Petersen，K.B.和Pedersen，M.S.（2008）。矩阵食谱。丹麦技术大学，第7-15页·Zbl 1338.53062号
[28] Póczos，B.和Lõrincz，A.（2005年）。使用测地线生成树的独立子空间分析。在ICML中·Zbl 1229.94030号
[29] Rasmussen，C.E.和Williams，C.K.I.（2005）。机器学习的高斯过程。剑桥：麻省理工学院出版社·Zbl 1177.68165号
[30] Reid，M.D.和Williamson，R.C.（2011年）。二进制实验的信息、分歧和风险。机器学习研究杂志，12731-817·Zbl 1280.68192号
[31] Rényi，A.（1960年）。关于熵和信息的度量。在伯克利数学、统计学和概率研讨会上·Zbl 0115.35502号
[32] Shan，C.、Gong，S.和Mcowan，P.W.（2005年）。基于条件互信息的面部表情识别增强。在BMVC中。
[33] Shannon，C.E.（2001）。传播的数学理论。SIGMOBILE，第5页，第3-55页。
[34] Sharma，B.D.和Mittal，D.（1975年）。离散概率分布的熵的新的非加性度量。数学科学杂志，10122-133。
[35] Sigal，L.、Balan，A.O.和Black，M.J.（2010年）。Humaneva：同步视频和运动捕捉数据集以及评估关节人体运动的基线算法。国际计算机视觉杂志，87，4-27·doi:10.1007/s11263-009-0273-6
[36] Szab，Z.、Pczos，B.和Lrincz，A.（2007年）。基于线性预测的欠完全盲子空间反褶积。在ECML中·Zbl 1061.62007年
[37] Trefethen，L.N.和Bau，D.（1997）。数值线性代数。工业和应用数学学会。费城：SIAM·Zbl 0874.65013号 ·doi:10.1137/1.9780898719574
[38] Tsallis，C.（1988年）。玻尔兹曼-吉布斯统计的可能推广。统计物理杂志，52479-487·Zbl 1082.82501号 ·doi:10.1007/BF01016429
[39] Tsallis，C.、Plastino，A.R.和Alvarez-Estrada，R.F.（2009年）。护送平均值和幂律衰减概率密度的特征。数学物理杂志。doi:10.1063/1.3104063·Zbl 1214.82004号
[40] Van Hulle，M.M.（2008）。直接基于互信息优化的约束子空间ica。神经计算，20964-973·Zbl 1148.68475号 ·doi:10.1116/neco.2008.10-06-383
[41] Wang，Y.X.，&Zhang，Y.J.（2013）。非负矩阵因式分解：综述。IEEE知识与数据工程汇刊，251336-1353·doi:10.1109/TKDE.2012.51
[42] Yamada，M.、Sigal，L.和Raptis，M.（2012年）。没有留下任何偏见：用于区分性三维姿势估计的协变移位自适应。在ECCV中。
[43] 张杰（2004）。散度函数、对偶性和凸分析。神经计算，16，159-195·Zbl 1082.62005年 ·doi:10.11162/08997604060734047
[44] 张杰（2007）。关于统计流形\[\alpha\]α-连接曲率的注记。《统计数学研究所年鉴》，59（1），161-170·Zbl 1147.53011号
[45] 张杰（2013）。非参数信息几何学：从发散函数到统计流形上的参照再现性。熵，15，5384-5418·Zbl 1338.53062号 ·doi:10.3390/e15125384
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。