×

支持向量机。 (英文) Zbl 1203.68171号

信息科学与统计纽约州纽约市:施普林格出版社(ISBN 978-0-387-77241-7/hbk;978-0-38.7-77242-4/电子书)。xvi,第601页。(2008).
本卷对支持向量机的数学理论进行了详细而严格的研究,并结合了许多最新的研究成果,这些成果通常是作者自己的成果,建立在函数分析(例如,熵数)和概率论(例如,偏差不等式)的精细技术基础上。作者的目标是在最小假设下工作,这有时会导致相当技术性的公式。尽管如此,该演示非常详细,并且在开头分别进行了非常受欢迎的概述和总结。每一章的结尾都能让读者跟上进度。此外,每一章都有不同难度的练习(由一到四颗星评级),本书还包含泛函分析、概率论、凸分析等主题的扩展附录。
本专著中的调查设置如下。假设给定一组数据点\((x_1,y_1),\点,(x_n,y_n)\,一个“训练集”,其中\(x_i)被视为来自某个集合\(x)的输入,\(y_i)是某些(未知)统计机制产生的输出;通常,\(y_i\)位于某个子集中\(y\subset\mathbb{R}\)。假设((x_i,y_i)是某个概率分布(mathbb{P})的独立样本,关于这个概率分布(x乘以y)是未知的,也没有进一步的假设。人们希望预测对未来输入的反应(f(x));预测的质量是通过损失函数(L:X\乘以Y\乘以mathbb{R}到mathbb}R})来衡量的,其思想是最优的(f)应该使平均值最小化(“风险”)\[R_{L,\mathbb{P}}(f)=\int_{X\乘以Y}L(X,Y,f(X))。\等式(1)\]然而,为了避免过拟合,将(1)替换为\[R_{\lambda,L,\mathbb{P}}(f)=\lambda\|f\|_H^2+\int_{X\乘以Y}L(X,Y,f(X))\]并希望在配备再生核的\(X)上的给定希尔伯特空间\(H)中最小化\(R_{lambda,L,\mathbb{P}}(f)\)。解决方案(或导致解决方案的算法)\[f\在H中,\;R_{\lambda,L,\mathbb{P}}(f)=\min!\等式(3)\]被称为支持向量机(SVM),人们希望借助从训练集导出的数量来近似求解。
这本专著的内容分为12章。在第一章之后,作者在第二章中介绍了损失函数及其风险。凸性(w.r.t。第三个变量)。虽然经典的最小二乘损失(L(x,y,t)=|y-t|^2)当然是凸的,但其他重要的损失函数(例如,对于二进制分类)则不是凸的。本文讨论了如何用凸函数代替这样的损失函数,第三章详细研究了如何产生“好的”替代损失函数。
在第四章中,作者解释了再生核希尔伯特空间的理论。他们的现代介绍对那些不想学习SVM的读者也很有用。
第五章给出了(3)(对于凸(L))的一般存在唯一性定理,并用(H)的再生核表示该解。这种重复对于经验SVM来说是最透明的,其中(未知)分布(mathbb{P})被与数据集(D={(x_1,y_1),dots,(x_n,y_n)相关联的经验度量(mathbb{D}=frac1n\sum{i=1}^n\delta{(x _i,y_i)})所取代。此外,还研究了溶液作为\(λ\ to 0\)的行为。
第六章介绍了统计学学习的概念。由于前面的结果对(X乘以Y)上的所有分布都有效,因此可以将它们应用于(mathbb{D})而不是(mathbb{P});对应的经验SVM解(R_{lambda,L,mathbb{D}}(f)=\min!)用\(f_{D,\lambda}\)表示。作者证明了(R{lambda,L,mathbb{P}}(f_{D,lambda})接近于极小值(H}R{lampda,L中的f_min{f\),具有很高的概率。(注意,\(f_{D,\lambda}\)是随机的;样本(D)根据(mathbb{P}^n)分布这是由使用经典集中/偏差不等式证明的“预言不等式”产生的。第7章对这些估计进行了改进;这里需要现代概率技术,如Talagrand不等式、Rademacher平均值和Dudley熵估计。
以下两章讨论SVM在二进制分类和回归中的性能。第10章指出在损失函数和核的温和假设下,支持向量机对异常值或违反模型假设具有良好的鲁棒性;特别地,建立了影响函数的有界性。
第11章介绍了实际计算经验决策函数(f_{D,\lambda})的算法,最后一章介绍了数据挖掘以及SVM在其中的应用。
总之,这本专著中有大量与统计学习理论中的支持向量机相关的经过严格验证的理论结果。研究人员和博士生将从这篇文章中获益,这篇文章将在未来几年内成为一个明确的来源。

MSC公司:

68-02 与计算机科学有关的研究展览会(专著、调查文章)
68T05型 人工智能中的学习和自适应系统
46 E22型 具有再生核的希尔伯特空间(=(适当的)函数希尔伯特空间,包括de Branges-Rovnyak和其他结构空间)
PDF格式BibTeX公司 XML格式引用
全文: 内政部