开放式访问
2012 积分概率度量的经验估计
Bharath K.Sriperumbudur学院,福美贤治,亚瑟·格雷顿,伯恩哈德·舍尔科夫,格特·R·G·兰克里特
电子。J.统计。 6: 1550-1599 (2012). 内政部:10.1214/12-EJS722

摘要

给定可测空间$S$上定义的两个概率测度$\mathbb{P}$和$\mathbb{Q}$,积分概率度量(IPM)定义为$$\gamma_{\mathcal{F}}(\mathbb{P},\mathbb2{Q})=\sup\left\{left\vert\int_{S} (f)\,d\mathbb{P}(P)-\整数_{S} 如果\,d\mathbb{Q}\right\vert\,:\,f\in\mathcal{f}\right,$$其中$\mathcal{f}$是$S$上的一类实值有界可测函数。通过适当选择$\mathcal{F}$,$\mathbb{P}$和$\mathbb{Q}$之间的各种常见距离,包括Kantorovich度量、Fortet-Mourier度量、双边界Lipschitz距离(也称为Dudley度量)、总变差距离,以及内核距离,可以获得。

在本文中,我们考虑了从$\mathbb{P}$和$\mathbb{Q}$中i.i.d.抽取的有限随机样本估计$\mamma_{\mathcal{F}}$的问题。虽然上述距离不能以封闭形式计算每个$\mathbb{P}$和$\mathbb{Q}$的距离,但我们证明了它们的经验估计易于计算,并且强一致(总变差距离除外)。我们进一步分析了它们的收敛速度。基于这些结果,我们讨论了$\mathcal{F}$(以及相应的IPM)的某些选择相对于其他选择的优势,特别是内核距离与其他提到的距离相比,具有三个有利的性质:它在计算上更便宜,经验估计以更快的速度收敛于总体值,并且收敛速度与空间的维数$d$无关(对于$S=\mathbb{R}^{d}$)。我们还通过将IPM及其经验估计值与二元分类问题联系起来,对其进行了新的解释:虽然类间条件分布的IPM是与二元分类器相关的最佳风险的负值,适当的二元分类器(例如,支持向量机、Lipschitz分类器等)的平滑度与这些类条件分布之间IPM的经验估计值成反比。

引文

下载引文

Bharath K.Sriperumbudur。 福美贤治。 亚瑟·格雷顿。 伯恩哈德·舍尔科夫(Bernhard Schölkopf)。 格特·R·G·兰克里特。 “关于积分概率度量的经验估计。” 电子。J.统计。 6 1550 - 1599, 2012 https://doi.org/10.1214/12-EJS722

问询处

发布日期:2012年
首次在欧几里得项目中提供:2012年9月18日

zbMATH公司:1295.62035
数学科学网:MR2988458型
数字对象标识符:10.1214/12-EJS722

学科:
主要用户:62G05型

关键词:双边界Lipschitz距离(达德利度量),经验估计,积分概率指标,康托洛维奇度量,内核距离,利普希茨分类器,Rademacher平均值,再生核希尔伯特空间,支持向量机

版权所有©2012 The Institute of Mathematical Statistics and The Bernoulli Society

2012年第6卷
返回页首