×

自限函数的\(\ell_1\)逼近和学习的紧界。 (英语) Zbl 1403.68092号

Steve Hanneke等人,算法学习理论国际会议。2017年10月15日至17日,日本京都京都大学,第28届会议记录(ALT 2017)。[s.l.]:机器学习研究论文集PMLR。机器学习研究论文集(PMLR)76,540-559(2017)。
摘要:我们研究了布尔超立方体({0,1}^n)上均匀分布上自限函数的学习和逼近的复杂性。非正式地,如果对于每一个上界,函数(f:\{0,1\}^n\to\mathbb{R})的值在\(x\ in \{0,1\}^n\),\(f(x)\)的所有\(n)边距之和在\(x)处减小,则函数为自限函数。自边界函数包括诸如子模函数和分数次加法(XOS)函数等众所周知的函数类。它们是由Boucheron等人在度量不等式集中的背景下引入的。我们的主要结果是用低度juntas近似自边界函数。具体地说,所有的自限函数都可以通过(2^{tilde{O}(1/\epsilon)})变量上的次数多项式在(\ell_1)中近似。我们表明,度和junta大小在对数项下都是最优的。以前的技术考虑了更强的(ell_2)近似,并证明了度上的(Theta(1/\epsilon^2))和变量数上的(2^{Theta(1/2)})的几乎紧界。我们的界依赖于对自边界函数的噪声稳定性的分析,以及噪声稳定性与低阶多项式逼近之间的较强联系。该技术还可用于通过低次多项式和半空间的快速学习算法获得更紧的(ell_1)近似界。
这些结果使PAC的边界得到了改进,在某些情况下几乎达到了严格的边界,并使自边界函数相对于均匀分布的不可知学习得以实现。特别地,假设学习juntas的困难性,我们证明了PAC和自限函数的不可知学习具有(n^{tilde{Theta}(1/\epsilon)})的复杂性。
关于整个系列,请参见[Zbl 1398.68029号].

MSC公司:

68问题32 计算学习理论
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接