×

按委员会、线性分离和随机行走进行查询。 (英语) Zbl 1050.68118号

摘要:机器学习领域的一个长期目标是最小化样本复杂性,即尽可能减少学习过程中使用的样本数量。主动学习范式就是这样一种方法,旨在通过将学习者从信息收集过程中的被动参与者转变为主动参与者来实现这一目标。模糊地说,学习者试图尽量减少学习过程中使用的标记实例的数量,并传递未标记实例,以便尽可能获取所需的信息。这种推理来自许多现实问题,其中教师的活动是一种昂贵的资源(例如文本分类、词性标注)。
按委员会查询(QBC)是一种主动学习算法,作用于概念学习的贝叶斯模型,即假设要学习的概念是根据一些固定的已知分布选择的。试图应用QBC算法学习线性分隔符类时,人们面临着实现抽样假设机制(Gibbs预言机)的问题。主要问题是计算的复杂性,因为直接的蒙特卡罗方法需要指数时间。在本文中,我们讨论了实施这种机制所涉及的问题。
我们展示了如何将它们转换为从凸体采样或近似凸体体积的问题。最近,基于随机行走的计算几何领域也解决了类似问题。这些技术使我们能够有效地实现QBC算法。我们还对QBC算法进行了一些改进和修正,其中最重要的是当概念类具有某种对称性(适用于线性分隔符)时,去掉了Bayes假设。我们提请注意一个有用的几何引理,它限定了包含在凸体中的球的最大半径。最后,本文展示了随机游动与某些机器学习概念(如(varepsilon)-网和支持向量机)之间的联系。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] C.Burges,《支持向量机模式识别教程》,1998年,网址:;C.Burges,模式识别支持向量机教程,1998年,网址:
[2] D.Cohn,L.Atlas,R.Ladner,《使用查询和选择性抽样训练连接主义网络》,高级神经信息。过程。系统2,1990年。;D.Cohn,L.Atlas,R.Ladner,用查询和选择性抽样训练连接主义网络,高级神经信息。过程。系统2,1990年。
[3] I.Dagan,S.Engelson,用于训练概率分类器的基于委员会的采样,Proc。第12届国际机器学习大会,1995年。;I.Dagan,S.Engelson,用于训练概率分类器的基于委员会的采样,Proc。第12届国际机器学习大会,1995年·兹伯利0928.68062
[4] 戴尔,M。;弗里兹,A。;Kannan,R.,用于近似凸体体积的随机多项式时间算法,J.Assoc.Compute。机器。,38, 1, 1-17 (1991) ·Zbl 0799.68107号
[5] Eggleston,H.G.,《凸性》(1958),剑桥大学出版社:剑桥大学出版社·Zbl 0086.15302号
[6] 弗伦德,Y。;Seung,H。;沙米尔,E。;Tishby,N.,使用委员会查询算法的选择性采样,马赫。学习,28,2/3133-168(1997)·Zbl 0881.68093号
[7] 格罗切尔,L。;Lovasz,L。;Schrijver,A.,《几何算法和组合优化》(1988年),施普林格出版社:柏林施普林格·Zbl 0634.05001号
[8] Haussler,D。;卡恩斯,M。;Schapire,R.E.,《利用信息理论和vc维对贝叶斯学习的样本复杂度进行限制》,马赫。学习,1483-113(1994)·Zbl 0798.68145号
[9] Lovasz,L。;Simonovits,M.,《凸体中的随机行走和改进的体积算法》,Random Struct。算法,4,4,359-412(1993)·Zbl 0788.60087号
[10] Ray Liere,Prasad Tadepalli,文本分类委员会的主动学习,AAAI-971997。;Ray Liere,Prasad Tadepalli,文本分类委员会的主动学习,AAAI-971997。
[11] D.A.McAllester,一些pac-bayesian定理,Proc。每年11日。计算学习理论研讨会,1998年,第230-234页。;D.A.McAllester,一些pac-bayesian定理,Proc。每年11日。计算学习理论会议,1998年,第230-234页。
[12] H.S.Seung、M.Opper、H.Sompolinsky,委员会质询,程序。第五届计算学习理论研讨会,Morgan Kaufman,San Mateo,CA,1992年,第287-294页。;H.S.Seung、M.Opper、H.Sompolinsky,委员会质询,程序。第五届计算学习理论研讨会,Morgan Kaufman,加州圣马特奥,1992年,第287-294页。
[13] Shawe Taylor,J。;Williamson,R.C.,贝叶斯估计器的pac分析,Proc。第10年。《计算学习理论会议》(1997),美国计算机学会出版社:纽约
[14] Vapnik,V.N.,《统计学习理论》(1998),威利出版社:威利纽约·Zbl 0934.62009号
[15] V.Vapnik,S.Golowich,A.Smola,函数逼近、回归估计和信号处理的支持向量方法,高级神经信息。过程。系统,1996年。;V.Vapnik,S.Golowich,A.Smola,函数逼近、回归估计和信号处理的支持向量方法,高级神经信息。过程。系统,1996年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。