杉山正树;高福美·卡纳莫里;铃木、太极;马丁努斯·克里斯托费尔·杜普莱西斯;刘、宋;一郎武内 密度差估计。 （英语） Zbl 1418.62147号 神经计算。 25，第10号，2734-2775（2013）. 小结：我们解决了估计两个概率密度之间差异的问题。朴素的方法是一个两步过程，首先分别估计两种密度，然后计算其差值。然而，由于第一步的执行与第二步无关，因此该程序不一定能很好地工作，因此，第一阶段产生的小估计误差可能会导致第二阶段出现大误差。在这封信中，我们提出了一种直接估算密度差而不单独估算两种密度的一次性方法。我们推导了所提出的单次密度差估计量的非参数有限样本误差界，并证明其达到了最佳收敛速度。然后我们展示了所提出的密度差估计器如何用于（L^2）-距离近似。最后，我们通过实验证明了该方法在鲁棒分布比较中的有效性，如类前验估计和变点检测。 引用于7文件 MSC公司： 62G07年 密度估算 62G35型 非参数稳健性 关键词：密度差估计;稳健分布 软件：ElemStatLearn（电子状态学习）;引导数据库 PDF格式BibTeX公司 XML格式引用 \textit{M.Sugiyama}等人，《神经计算》。25，第10号，2734--2775（2013；Zbl 1418.62147） 全文： DOI程序 arXiv公司 参考文献： [1] Anderson，N.、Hall，P.和Titterington，D.（1994年）。使用基于核的密度估计测量两个多元概率密度函数之间差异的双样本检验统计。多元分析杂志，50，41-54·Zbl 0798.62055号 [2] Arlot，S.、Celisse，A.和Harchaoui，Z.（2012年）。内核更改点检测（技术代表1202.3878）。arXiv公司·Zbl 1446.62120号 [3] Aronszajn，N.（1950）。再生核理论。美国数学学会学报，68，337-404·Zbl 0037.20701号 [4] Atif，J.、Ripoche，X.和Osorio，A.（2003）。基于二次互信息最大化的非刚性医学图像配准。IEEE第29届东北部生物工程年会论文集（第32-40页）。新泽西州皮斯卡塔韦：IEEE。 [5] Baranchik，A.J.（1964年）。多元正态分布均值的多元回归和估计（技术代表51）。加利福尼亚州斯坦福：斯坦福大学统计系。 [6] Basu，A.、Harris，I.R.、Hjort，N.L.和Jones，M.C.（1998年）。通过最小化密度功率发散，实现稳健高效的估计。生物特征，85，549-559·Zbl 0926.62021号 [7] Besbeas，P.和Morgan，B.J.T.（2004）。正态混合的积分平方误差估计。计算统计与数据分析，44，517-526·Zbl 1429.62079号 [8] Bickel，S.、Brückner，M.和Scheffer，T.（2007）。针对不同培训和测试分布的区别学习。第24届国际机器学习会议记录（第81-88页）。纽约：ACM， [9] Boser，B.E.、Guyon，I.M.和Vapnik，V.N.（1992年）。一种最优边缘分类器的训练算法。第五届ACM计算学习理论研讨会论文集（第144-152页）。纽约：ACM出版社， [10] Chapelle，O.、Schölkopf，B.和Zien，A.（编辑）。(2006). 半监督学习。马萨诸塞州剑桥：麻省理工学院出版社， [11] Chow，C.K.（1970年）。关于最佳识别错误和拒绝权衡。IEEE信息理论汇刊，16，41-46·Zbl 0185.47804号 [12] Cortes，C.、Mansour，Y.和Mohri，M.（2010年）。重要性加权的学习界限。J.Lafferty、C.K.I.Williams、R.Zemel、J.Shawe-Taylor和A.Culotta（编辑），《神经信息处理系统的进展》，23（第442-450页）。马萨诸塞州剑桥：麻省理工学院出版社。 [13] Cortes，C.和Vapnik，V.（1995年）。支持向量网络。机器学习，20，273-297·Zbl 0831.68098号 [14] Desobry，F.、Davy，M.和Doncarli，C.（2005）。一种在线内核变化检测算法。IEEE信号处理汇刊，53，2961-2974·Zbl 1370.94317号 [15] du Plessis，M.C.（2013）。类别优先级更改标签。未发表的研究备忘录。 [16] du Plessis，M.C.和Sugiyama，M.（2012）。基于分布匹配的类先验变化下的类平衡半监督学习。《第29届国际机器学习会议论文集》（第823-830页）。威斯康星州麦迪逊：无所不在。 [17] Duda，R.O.、Hart，P.E.和Stork，D.G.（2001）。模式分类（第二版）。纽约：威利·Zbl 0968.68140号 [18] Duong，T.、Koch，I.和Wand，M.P.（2009年）。应用流式细胞术数据进行最高密度差区域估计。生物医学杂志，51，504-521·Zbl 1442.62340号 [19] Eberts，M.和Steinwart，I.（2011年）。使用高斯核的最小二乘支持向量机的最佳学习速率。J.Shawe-Taylor、R.S.Zemel、P.Bartlett、F.C.N.Pereira和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，24（第1539-1547页）。纽约州红钩市：Curran·Zbl 1337.62073号 [20] Efron，B.和Tibshirani，R.J.（1993）。引导程序简介。佛罗里达州博卡拉顿：查普曼和霍尔/CRC·Zbl 0835.62038号 [21] Farrell，R.H.（1972年）。关于密度函数在一点上估计的最佳渐近收敛速度。数理统计年鉴，43，170-180·Zbl 0238.62049号 [22] Gray，D.M.和Principie，J.C.（2010年）。用于降维和分类的二次互信息。SPIE会议记录（第76960D页）。华盛顿州贝灵汉：SPIE。 [23] Gretton，A.、Smola，A.、Huang，J.、Schmittfull，M.、Borgwardt，K.和Schölkopf，B.（2009）。通过核均值匹配的协方差偏移。J.Quiñonero、M.Sugiyama、A.Schwaighofer和N.Lawrence（编辑），机器学习中的数据集转换（第131-160页）。马萨诸塞州剑桥：麻省理工学院出版社。 [24] Hall，P.和Wand，M.P.（1988年）。利用密度差进行非参数判别。生物特征，75，541-547·Zbl 0651.62029号 [25] Harchaoui，Z.、Bach，F.和Moulines，E.（2009年）。内核转换点分析。D.Koller、D.Schuurmans、Y.Bengio和L.Bettou（编辑），《神经信息处理系统的进展》，21（第609-616页）。马萨诸塞州剑桥：麻省理工学院出版社。 [26] Härdle，W.、Müller，M.、Sperlich，S.和Werwatz，A.（2004）。非参数和半参数模型。柏林：斯普林格·Zbl 1059.62032号 [27] Hastie，T.、Tibshirani，R.和Friedman，J.（2001年）。统计学习的要素：数据挖掘、推理和预测。纽约：斯普林格·Zbl 0973.62007号 [28] Henkel，R.E.（1976年）。显著性测试。加利福尼亚州贝弗利山：Sage。 [29] Huang，J.、Smola，A.、Gretton，A.、Borgwardt，K.M.和Schölkopf，B.（2007）。通过未标记数据纠正样本选择偏差。B.Schölkopf、J.C.Platt和T.Hoffmann（编辑），《神经信息处理系统的进展》，19（第601-608页）。马萨诸塞州剑桥：麻省理工学院出版社。 [30] Kanamori，T.、Hido，S.和Sugiyama，M.（2009年）。直接重要性估计的最小二乘法。机器学习研究杂志，101391-1445·Zbl 1235.62039号 [31] Kanamori，T.、Suzuki，T.和Sugiyama，M.（2012）。基于核的最小二乘密度比估计的统计分析。机器学习，86，335-367·Zbl 1246.68182号 [32] Kawahara，Y.和Sugiyama，M.（2012）。基于直接密度比估计的顺序变点检测。统计分析和数据挖掘，5，114-127·Zbl 07260318号 [33] Kawahara，Y.、Yairi，T.和Machida，K.（2007年）。基于子空间识别的时间序列数据变化点检测。第七届IEEE数据挖掘国际会议论文集（第559-564页）。新泽西州皮斯卡塔韦：IEEE， [34] Kullback，S.和Leibler，R.A.（1951年）。关于信息和充分性。《数理统计年鉴》，2279-86·Zbl 0042.38403号 [35] Liu，B.，Cheng，H.D.，Huang，J.，Tian，J.、Tang，X.和Liu，J.（2010）。基于概率密度差的主动轮廓超声图像分割。模式识别，432028-2042·Zbl 1191.68588号 [36] Liu，S.、Yamada，M.、Collier，N.和Sugiyama，M.（2013）。通过相对密度比估计检测时间序列数据中的变化点。神经网络，43，72-83·Zbl 1367.62259号 [37] Moskvina，V.和Zhigljavsky，A.A.（2003）。基于奇异谱分析的变点检测算法。统计学中的传播：模拟与计算，32，319-352·兹比尔1075.62625 [38] Nguyen，X.、Wainwright，M.J.和Jordan，M.I.（2010）。通过凸风险最小化估计发散泛函和似然比。IEEE信息理论汇刊，56，5847-5861·Zbl 1366.62071号 [39] Parzen，E.（1962年）。关于概率密度函数和模式的估计。数理统计年鉴，331065-1076·Zbl 0116.11302号 [40] Pérez-Cruz，F.（2008）。连续分布的Kullback-Leibler散度估计。IEEE信息理论国际研讨会论文集（第1666-1670页）。新泽西州皮斯卡塔韦：IEEE， [41] 秦杰（1998）。病例对照和半参数双样本密度比模型的推论。生物特征，85，619-630·Zbl 0954.62053号 [42] Rao，C.R.（1965）。线性统计推断及其应用。纽约：威利·Zbl 0137.36203号 [43] Rifkin，R.、Yeo，G.和Poggio，T.（2003）。正则最小二乘分类。J.A.K.Suykens、G.Horvath、S.Basu、C.Michelli和J.Vandewalle（编辑），《学习理论的进展：方法、模型和应用》（第131-154页）。阿姆斯特丹：IOS出版社。 [44] Rockafellar，R.T.（1970）。凸分析。新泽西州普林斯顿：普林斯顿大学出版社·兹比尔0193.18401 [45] Saerens，M.、Latinne，P.和Decaestecker，C.（2002年）。将分类器的输出调整为新的先验概率：一个简单的过程。神经计算，14，21-41·兹比尔1026.62065 [46] Scott，D.W.（2001）。最小综合平方误差的参数统计建模。技术计量学，43，274-285， [47] Silva，J.和Narayanan，S.S.（2010年）。基于数据相关分区的信息散度估计。统计规划与推断杂志，1403180-3198·Zbl 1205.62003号 [48] Silverman，B.W.（1986）。统计和数据分析的密度估计。伦敦：查普曼和霍尔·Zbl 0617.62042号 [49] Steinwart，I.和Christmann，A.（2008年）。支持向量机。纽约：斯普林格·Zbl 1203.68171号 [50] Steinwart，I.和Scovel，C.（2007）。使用高斯核的支持向量机的快速速率。《统计年鉴》，35，575-607·Zbl 1127.68091号 [51] Sugiyama，M.（2010年）。基于最小二乘后验拟合的超快速可训练多类概率分类器。IEICE信息与系统交易，E93-D，2690-2701， [52] Sugiyama，M.和Kawanabe，M.（2012年）。非平稳环境中的机器学习：协变变换自适应简介。马萨诸塞州剑桥：麻省理工学院出版社， [53] Sugiyama，M.、Kawanabe，M.和Chui，P.L.（2010年）。高维空间中密度比估计的降维方法。神经网络，23，44-59·Zbl 1401.62097号 [54] Sugiyama，M.、Krauledat，M.和Müller，K.-R（2007）。通过重要性加权交叉验证实现协变量移位适应。机器学习研究杂志，8，985-1005·Zbl 1222.68313号 [55] Sugiyama，M.、Suzuki，T.和Kanamori，T.（2012a）。机器学习中的密度比估计。剑桥：剑桥大学出版社·Zbl 1274.62037号 [56] Sugiyama，M.、Suzuki，T.和Kanamori，T.（2012b）。Bregman散度下的密度比匹配：密度比估计的统一框架。《统计数学研究所年鉴》，641009-1044·Zbl 1440.62111号 [57] Sugiyama，M.、Suzuki，T.、Kanamori，T.，du Plessis，M.C.、Liu，S.和Takeuchi，I.（2012）。密度差估计。P.Bartlett、F.C.N.Pereira、C.J.C.Burgess、L.Bettou和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，第25页。纽约州红钩市：Curran·Zbl 1418.62147号 [58] Sugiyama，M.、Suzuki，T.、Nakajima，S.、Kashima，H.、von Bünau，P.和Kawanabe，M.（2008）。协变量移位自适应的直接重要性估计。统计数学研究所年鉴，60，699-746·Zbl 1294.62069号 [59] Sugiyama，M.、Takeuchi，I.、Suzuki，T.、Kanamori，T.，Hachiya，H.和Okanohara，D.（2010年）。最小二乘条件密度估计。IEICE信息与系统交易，E93-D，583-594， [60] Sugiyama，M.、Yamada，M.、von Bünau，P.、Suzuki，T.、Kanamori，T.和Kawanabe，M.（2011）。通过最小二乘异分布子空间搜索进行降维的直接密度比估计。神经网络，24183-198·Zbl 1217.68188号 [61] 铃木，T.和杉山，M.（2013）。通过平方损失互信息估计进行充分的降维。神经计算，25725-758·Zbl 1269.62054号 [62] Takeuchi，Y.和Yamanishi，K.（2006年）。从非平稳时间序列数据中检测离群值和变化点的统一框架。IEEE知识与数据工程汇刊，18，482-489， [63] Torkkola，K.（2003年）。基于非参数互信息最大化的特征提取。机器学习研究杂志，31415-1438·Zbl 1102.68638号 [64] Vapnik，V.N.（1998）。统计学习理论。纽约：威利·兹比尔0935.62007 [65] von Bünau，P.、Meinecke，F.C.、Király，F.J.和Müller，K.-R（2009）。在多元时间序列中寻找平稳子空间。物理评论快报，103，214101， [66] Wang，Q.、Kulkarmi，S.R.和Verdú，S.（2005）。基于数据相关分区的连续分布的散度估计。IEEE信息理论汇刊，51，3064-3074·Zbl 1310.94055号 [67] Yamada，M.和Sugiyama，M.（2011年）。通过异分布子空间分析进行降维的直接密度比估计。在第二十五届AAAI人工智能会议记录中（第549-554页）。旧金山：AAAI出版社·Zbl 1217.68188号 [68] Yamada，M.、Suzuki，T.、Kanamori，T.，Hachiya，H.和Sugiyama，M.（2013）。稳健分布比较的相对密度比估计。神经计算，251324-1370·Zbl 1414.62115号 [69] Yamanaka，M.、Matsugu，M.和Sugiyama，M.（即将出版）。在没有明确分类的情况下检测活动和事件。IPSJ数学建模及其应用汇刊。 [70] Yamanaka，M.、Matsugu，M.和Sugiyama，M.（即将出版）。基于直接密度比估计的显著目标检测。IPSJ数学建模及其应用汇刊。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。