×

核分布嵌入:关于分布的通用核、特征核和核度量。 (英文) Zbl 1467.62057号

摘要:内核意味着嵌入已经成为机器学习中的一种流行工具。它们将概率测度映射到再生核希尔伯特空间中的函数。两个映射度量之间的距离定义了概率度量的半距离,称为最大平均偏差(MMD)。它的性质取决于底层内核,并与内核文献中的三个基本概念相联系:泛核、特征核和严格正定核。
本文的贡献有三方面。首先,通过对泛核、特征核和严格正定核的一般定义的稍微扩展,我们证明了这三个概念在本质上是等价的。其次,我们给出了相关MMD距离度量概率测度弱收敛的核的第一个完整刻画。第三,我们证明了核均值嵌入可以从概率测度扩展到广义测度,称为Schwartz分布,并对其进行了分析这些分布嵌入的一些性质。

MSC公司:

62G07年 密度估算
62E10型 统计分布的特征和结构理论
60B10型 概率测度的收敛性
46 E22型 具有再生核的希尔伯特空间(=(适当的)函数希尔伯特空间,包括de Branges-Rovnyak和其他结构空间)
54C08型 弱连续性和广义连续性
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] C.Berg、J.P.R.Christensen和P.Ressel。正定及相关函数半群理论的调和分析。斯普林格,1984年·Zbl 0619.43001号
[2] A.Berlinet和C.Thomas-Agnan。概率统计中的再生核希尔伯特空间。施普林格,2004年·Zbl 1145.6202号
[3] N.布尔巴吉。集成-第1-4章。施普林格,1965年原版重印,2007年。
[4] A.Caponetto、C.Michelli、M.Pontil和Y.Ying。通用多任务内核。《机器学习研究杂志》,9(7):1615-16462008·Zbl 1225.68155号
[5] C.Carmeli、E.De Vito和A.Toigo。向量值可积函数的再生核Hilbert空间和Mercer定理。分析与应用,4(4):377–4082006·Zbl 1116.46019号
[6] 杜克·雅克先生。近似值des Functionnelles Lin´eaires sur les Espaces Hilbertiens Autoreproduisants。1973年,格勒诺布尔一世约瑟夫·福里埃大学博士论文。27
[7] G.K.Dziugaite、D.M.Roy和Z.Ghahramani。通过最大平均差优化训练生成性神经网络。《人工智能中的不确定性》,2015年。
[8] D.H.Fremlin、D.J.H.Garling和R.G.Haydon。拓扑空间上的有界测度。伦敦数学学会学报,s3-25(1):115–1361972·Zbl 0236.46025号
[9] K.Fukumizu、F.Bach和M.Jordan。监督学习的核降维方法。机器学习研究杂志,5(12):73-992004·Zbl 1222.62069号
[10] K.Fukumizu、A.Gretton、X.Sun和B.Sch¨olkopf。条件依赖的核心度量。神经信息处理系统,2008年。
[11] K.Fukumizu、A.Gretton、G.R.Lanckriet、B.Sch¨olkopf和B.K.Sriperumbudur。概率分布RKHS嵌入的核选择和分类。神经信息处理系统,2009年a。
[12] K.Fukumizu、A.Gretton、B.Sch¨olkopf和B.Sriperumbudur。群和半群上的特征核。神经信息处理系统,2009b。
[13] A.Gretton和L.Gy¨orfi。独立性的一致非参数测试。《机器学习研究杂志》,11:1391-1423010·Zbl 1242.62033号
[14] A.Gretton、O.Bousquet、A.J.Smola和B.Sch¨olkopf。使用Hilbert-Schmidt规范测量统计相关性。算法学习理论,2005年·兹比尔1168.62354
[15] A.Gretton、K.M.Borgwardt、M.Rasch、B.Sch¨olkopf和A.J.Smola。两样本问题的核方法。《神经信息处理系统》,2007年。
[16] A.Gretton、K.Fukumizu、C.Teo、L.Song、B.Sch¨olkopf和A.Smola。独立性的核心统计测试。在神经信息处理系统,2008。
[17] A.Gretton、K.M.Borgwardt、M.J.Rasch、B.Sch¨olkopf和A.Smola。内核双样本测试。《机器学习研究杂志》,13:723–7732012年·Zbl 1283.62095号
[18] C.吉尔巴特。《测量空间上的标尺练习曲:估算标准投影》(Etude des Produits Scalaires sur l’Espace des Mesures:Estimation par Projections)。里尔科技大学博士论文,1978年·Zbl 0446.60005号
[19] O.莱特。关于Hilbert函数空间中核函数的一些注记。《费尼科科学院年鉴》,109:61952年·Zbl 0046.33306号
[20] 李宇佳、凯文·斯沃斯基和里奇·泽梅尔。生成力矩匹配网络。在2015年国际机器学习会议上。
[21] D.Lopez-Paz、P.Hennig和B.Sch¨olkopf。随机相关系数。神经信息处理系统,2013年。
[22] C.A.Michelli、Y.Xu和H.Zhang。通用内核。机器学习研究杂志,7(12):2651–26672006·Zbl 1222.68266号
[23] ˇ
[24] S.Schwabik。巴纳赫空间集成主题。实际分析系列第10名。《世界科学》,2005年。28 ·兹比尔1088.28008
[25] L.施瓦茨。函数的Espaces表示不同的值向量。《数学分析杂志》,4(1):88-1481954年·Zbl 0066.09601号
[26] L.施瓦茨。分配的理论。赫尔曼,1978年·Zbl 0399.46028号
[27] C.-J.Simon-Gabriel和B.Sch–olkopf。内核分布嵌入:通用内核、特征内核和分布上的内核度量-arXiv版本。arXiv:1604.052512016年。
[28] B.Sriperumbudur。关于弱拓扑和强拓扑中概率测度的最优估计。伯努利,22(3):1839-18932016年·Zbl 1360.62163号
[29] B.K.Sriperumbudur、A.Gretton、K.Fukumizu、G.R.G.Lanckriet和B.Sch–olkopf。概率测度的内射Hilbert空间嵌入。在2008年学习理论会议上。
[30] B.K.Sriperumbudur、K.Fukumizu和G.Lanckriet。关于测度的普遍性、特征核和RKHS嵌入之间的关系。在国际人工智能和统计会议上,2010年a·Zbl 1280.68198号
[31] B.K.Sriperumbudur、A.Gretton、K.Fukumizu、B.Sch¨olkopf和G.R.G.Lanckriet。Hilbert空间嵌入和概率度量。机器学习研究杂志,11:1517–15612010b·Zbl 1242.60005号
[32] B.K.Sriperumbudur、K.Fukumizu和G.R.G.Lanckriet。测度的普遍性、特征核和RKHS嵌入。机器学习研究杂志,12:2389–24102011·Zbl 1280.68198号
[33] I.斯坦瓦特。关于核对支持向量机一致性的影响。机器学习研究杂志,2(12):67-932001·Zbl 1009.68143号
[34] I.Steinwart和A.Christmann。支持向量机。信息科学与统计。施普林格,2008年·Zbl 1203.68171号
[35] F.特雷夫斯。拓扑向量空间,分布和核。学术出版社,1967年·Zbl 0171.10402号
[36] H.Wendland。分散数据近似。剑桥大学出版社,2004年·Zbl 1185.65022号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。