杉山正树 具有平方损失互信息的机器学习。 （英语） Zbl 1371.68241号 熵 15，第1期，80-112（2013）. 摘要：互信息（MI）有助于检测随机变量之间的统计独立性，并已成功应用于解决各种机器学习问题。最近，一种替代MI的方法称为平方损失引入了MI（SMI）。普通MI是从联合分布到边际分布乘积的Kullback-Leibler散度，而SMI是其Pearson散度变体。由于这两种发散都属于（f）-发散族，因此它们具有相似的理论性质。然而，SMI的一个显著优点是，与普通MI相比，它可以从数据中以计算效率更高、数值更稳定的方式进行近似。在本文中，我们回顾了基于直接密度比估计的SMI近似和基于SMI的机器学习技术（如独立性测试、，降维、典型依赖分析、独立成分分析、对象匹配、聚类和因果推理。 引用于5文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62B10型 信息理论主题的统计方面 62H25个 因子分析和主成分；对应分析 62H30型 分类和区分；聚类分析（统计方面） 关键词：平方损失互信息;皮尔逊发散;密度比估算;独立性测试;降维;独立成分分析;对象匹配;群集;因果推理;机器学习 软件：衍射 PDF格式BibTeX公司 XML格式引用 \textit{M.Sugiyama}，熵15，No.1，80--112（2013；Zbl 1371.68241） 全文： 内政部 参考文献： [1] Shannon，《通信数学理论》，AT&T Tech.J.27 pp 379–（1948） [2] 封面，信息理论要素（2006） [3] 内政部：10.1214/aoms/1177729694·Zbl 0042.38403号 ·doi:10.1214/aoms/1177729694 [4] DOI:10.1103/PhysRevA.33.1134·Zbl 1184.37027号 ·doi:10.1103/PhysRevA.33.1134 [5] Vapnik，统计学习理论（1998） [6] DOI:10.109/18.761290·Zbl 0957.94006号 ·doi:10.1109/18.761290 [7] DOI:10.10109/时间.2005.853314·Zbl 1310.94055号 ·doi:10.1109/TIT.2005.853314 [9] DOI:10.1103/PhysRevE.69.066138·doi:10.1103/PhysRevE.69.066138 [10] DOI:10.1103/PhysRevE.76.026209·doi:10.1103/PhysRevE.76.026209 [12] 内政部：10.1162/0899766054323026·Zbl 1076.62013年 ·doi:10.1162/0899766054323026 [14] 数字对象标识码：10.1007/s10463-008-0197-x·Zbl 1294.62069号 ·doi:10.1007/s10463-008-0197-x [15] DOI:10.10109/时间.2010.2068870·Zbl 1366.62071号 ·doi:10.1109/TIT.2010.2068870 [16] Sugiyama，机器学习中的密度比估计（2012） [17] DOI:10.1093/biomet/85.3.549·Zbl 0926.62021号 ·doi:10.1093/biomet/85.3549 [18] DOI:10.1007/s10463-011-0343-8·Zbl 1440.62111号 ·doi:10.1007/s10463-011-0343-8 [19] 内政部：10.1186/1471-2105-10-S1-S52·doi:10.1186/1471-2105-10-S1-S52 [20] 内政部：10.1080/14786440009463897·网址：10.1080/14786440009463897 [21] Ali，一种分布与另一种分布的一般散度系数，J.R.Stat.Soc.系列B 28第131页–（1966）·Zbl 0203.19902号 [22] Csiszár，概率分布差异的信息型度量和间接观测，科学研究。数学。挂。第229页-（1967） [23] Kanamori，直接重要性估计的最小二乘法，J.Mach。学习。第10号决议第1391页–（2009年）·Zbl 1235.62039号 [24] 内政部：10.1007/s10994-011-5266-3·兹比尔1246.68182 ·doi:10.1007/s10994-011-5266-3 [26] DOI:10.1587/传输。1333年4月94日·doi:10.1587/transinf。E94.D.1333号文件 [28] 通过平方损失互信息估计充分降维ugiyama-www.cs.titech.ac.jp//AISTATS2010b.pdf [30] DOI:10.1016/j.neunet.2012.06.009·Zbl 1258.68115号 ·doi:10.1016/j.neunet.2012.06.009 [31] DOI:10.1162/NECO_a_00062·Zbl 1205.94040号 ·doi:10.1162/NECO_a_00062 [34] Kimura，具有最小平方互信息的依赖最大化聚类，J.Adv.Compute。智力。智力。Inf.15第800页–（2011年） [36] Van der Vaart，弱收敛和经验过程及其在统计学中的应用（1996）·兹比尔0862.60002 [37] Van der Vaart，渐近统计（2000）·Zbl 0910.62001号 [38] 内政部：10.1090/S0002-9947-1950-0051437-7·doi:10.1090/S0002-9947-1950-0051437-7 [39] 租赁方相互信息（LSMI）http://sugiyama-ww.cs.titech.ac.jp/sugi/software/LSMI软件/ [40] Efron，最小角回归，《Ann.Stat.32》第407页–（2004）·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [41] Hastie，支持向量机的整个正则化路径，J.Mach。学习。第5号决议第1391页–（2004年）·Zbl 1222.68213号 [42] 内政部：10.1145/959242.959248·数字对象标识代码：10.1145/959242.959248 [44] 格雷顿，独立性的核心统计测试。神经信息处理系统进展20 pp 585–（2008） [45] Steinwart，《关于核对支持向量机一致性的影响》，J.Mach。学习。第2号决议，第67页–（2001年）·Zbl 1009.68143号 [46] Schölkopf，《使用内核学习》（2002） [47] Efron，Bootstrap简介（1993） [48] 最小二乘独立性测试（LSIT）http://sugiyama-ww.cs.titech.ac.jp/sugi/软件/LSIT/ [49] Guyon，《变量和特征选择简介》，J.Mach。学习。第3号决议第1157页–（2003年）·兹比尔1102.68556 [50] Tibshirani，用套索进行回归收缩和子集选择，J.R.Stat.Soc.B系列58，第267页–（1996）·Zbl 0850.62538号 [51] Boyd，凸优化（2004） [52] Tomioka，稀疏正则估计的对偶增广拉格朗日算法的超线性收敛，J.Mach。学习。第12号决议第1537页–（2011年）·Zbl 1280.68206号 [53] 1-乙所有http://wittawat.com/software/l1lsmi/ [55] 库克，《回归图形：通过图形研究回归的思路》（1998年）·Zbl 0903.62001 [56] 内政部：10.1080/01621459.1991.10475035·数字对象标识代码：10.1080/01621459.1991.10475035 [57] 内政部：10.1080/01621459.1992.10476258·doi:10.1080/01621459.1992.10476258 [58] DOI:10.1080/03610920008832598·Zbl 1061.62503号 ·网址：10.1080/03610920008832598 [59] 内政部：10.1214/08-AOS637·Zbl 1168.62049号 ·doi:10.1214/08-AOS637 [60] Golub，矩阵计算（1989） [61] DOI:10.1016/j.neucom.2004.11.035·doi:10.1016/j.neucom.2004.11.035 [62] 内政部：10.1162/08997669830017746·doi:10.1162/08997669830017746 [63] 内政部：10.1137/S089547989529290954·Zbl 0928.6500号 ·doi:10.1137/S089547989529290954 [64] Patriksson，非线性规划和变分不等式问题（1999） [65] 最小二乘降维（LSDR）http://sugiyama-ww.cs.titech.ac.jp/软件/LSDR/ [66] 内政部：10.1137/1114019·数字对象标识代码：10.1137/1114019 [67] 充分成分分析（SCA）http://sugiyama-ww.cs.titech.ac.jp/山田/sca.html [68] DOI:10.1093/biomet/28.3-4.321·Zbl 0015.40705号 ·doi:10.1093/biomet/28.3-4.321 [69] 内政部：10.1038/355161a0·数字对象标识代码：10.1038/355161a0 [70] Fyfe，核与非线性典型相关分析，国际神经系统杂志。第10页，365页–（2000年）·doi:10.1142/S012906570000034X [73] 内政部：10.1080/01621459.1985.10478157·doi:10.1080/01621459.1985.10478157 [74] 巴赫，《内核独立成分分析》，J.Mach。学习。第3号决议第1页–（2002年）·Zbl 1088.68689号 [75] DOI:10.1016/S0047-259X（03）00129-5·Zbl 1058.62049号 ·doi:10.1016/S0047-259X（03）00129-5 [76] 哈德尔，非参数和半参数模型（2004）·Zbl 1059.62032号 [77] 最小二乘标准依赖分析（LSCDA）http://www.bic.kyoto-u.ac.jp/pathway/krsym/software/LSCDA/index.html [78] Hyvärinen，独立成分分析（2001） [79] Amari，一种新的盲信号分离学习算法。神经信息处理系统进展8 pp 757–（1996） [80] DOI:10.1162/neco.2008.09-06-335·Zbl 1135.68541号 ·doi:10.1162/neco.2008.09-06-335 [81] 内政部：10.1016/0165-1684（91）90079-X·Zbl 0729.73650号 ·doi:10.1016/0165-1684（91）90079-X [82] 内政部：10.1109/72.761722·数字对象标识代码：10.1109/72.761722 [83] 最小二乘独立分量Analysishttp://www.simplex.t.u-tokyo.ac.jp/s-taiji/software/LICA/index.html [85] Gretton，用Hilbert-Schmidt范数测量统计相关性，算法学习理论第63页–（2005） [86] 内政部：10.1109/TPAMI.2009.184·doi:10.1109/TPAMI.2009.184 [88] 内政部：10.1002/nav.3800020109·doi:10.1002/nav.3800020109 [89] Least-Squares对象匹配（LSOM）网址：http://sugiyama-www.cs.titech.ac.jp/yamada/lsom.html [90] MacQueen，《多元观测分类和分析的一些方法》，第五届伯克利数理统计与概率研讨会论文集，第1卷，第281页–（1967）·Zbl 0214.46201号 [91] 内政部：10.1109/TNN.2002.1000150·doi:10.1109/TNN.2002.1000150 [92] 史，归一化切割与图像分割，IEEE Trans。帕特。分析。第22页，888页–（2000年）·数字对象标识代码：10.1109/34.868688 [93] Ng，关于光谱聚类：分析和算法。神经信息处理系统进展14 pp 849–（2002） [94] 内政部：10.1109/TIT.1975.1055330·兹比尔0297.62025 ·doi:10.1109/TIT.1975.1055330 [96] Xu，最大利润聚类。神经信息处理系统的进展17 pp 1537–（2005） [97] 《区分和灵活的聚类框架》，巴赫著，《神经信息处理系统的进展》，第20页，49–（2008） [100] Agakov，核化Infomax聚类，《神经信息处理系统进展》，第18页，第17页，2006年 [101] Gomes，正则信息最大化判别聚类，神经信息处理系统进展，23页766–（2010） [102] Zelnik-Manor，自校正光谱聚类，《神经信息处理系统进展》，17页，1601–（2005） [103] 基于SMIC的群集（SMIC）http://sugiyama-ww.cs.titech.ac.jp/sugi/software/SMIC公司/ [104] 霍恩，矩阵分析（1985） [105] 珀尔，《因果关系：模型、推理和推断》（2000年） [107] 清水，因果发现的线性非高斯非循环模型，J.Mach。学习。2003年（2006年）第7号决议 [108] 霍耶，非线性因果发现与加性噪声模型。神经信息处理系统进展21 pp 689–（2009） [110] 拉斯穆森，机器学习的高斯过程（2006）·Zbl 1177.68165号 [111] 最小二乘独立回归（LSIR）http://sugiyama-ww.cs.titech.ac.jp/yamada/lsr.html [112] Sugiyama，《非静态环境中的机器学习：协变变换适应导论》（2012） [113] DOI:10.1007/s10115-010-0283-2·doi:10.1007/s10115-010-0283-2 [114] DOI:10.1002/sam.10124·doi:10.1002/sam.10124 [115] 刘，通过相对密度比估计、结构、句法和统计模式识别在时间序列数据中检测变化点，第7626卷，第363页–（2012年） [117] 内政部：10.1016/j.neunet.2011.04.003·Zbl 1414.62311号 ·doi:10.1016/j.neunet.2011.04.003 [118] 内政部：10.1109/TIT.2011.2163380·Zbl 1365.62119号 ·doi:10.1109/TIT.2011.2163380 [119] DOI:10.1587/传输。图93.D.2690·doi:10.1587/transinf。图93.D.2690 [121] DOI:10.1587/传输。第93页，第583页·doi:10.1587/transinf。图93.D.583 [122] DOI:10.1016/j.neunet.2009.07.007·Zbl 1401.62097号 ·doi:10.1016/j.neunet.2009.07.007 [123] DOI:10.1016/j.neunet.2010.10.005·Zbl 1217.68188号 ·doi:10.1016/j.neunet.2010.10.005 [125] Yamada，稳健分布比较的相对密度比估计，《神经信息处理系统的进展》，24页，594–（2011） [127] 沙发twarehttp://sugiyama-ww.cs.titech.ac.jp/sugi/软件/ 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。