×

加权多数算法。 (英语) Zbl 0804.68121号

小结:我们研究预测算法的构造,在这种情况下,学习者面临一系列试验,每个试验都要进行预测,学习者的目标是少犯错误。我们对这种情况感兴趣,在这种情况下,学习者有理由相信某些已知算法池中的一个将表现良好,但学习者不知道哪一个。在这种情况下,提出了一种简单有效的基于加权投票的复合算法构造方法。我们称这种方法为加权多数算法。我们表明,该算法在数据中存在错误时是鲁棒的。我们讨论了加权多数算法的各种版本,并证明了它们的错误界与池中最佳算法的错误界密切相关。例如,给定一个试验序列,如果池中有一个算法最多出错(m),那么加权多数算法在该序列上最多出错(c(log|{mathcal a}|+m),其中c是固定常数。

MSC公司:

68T05型 人工智能中的学习和自适应系统
65年第68季度 算法和问题复杂性分析
91B12号机组 投票理论
PDF格式 BibTeX公司 XML格式 引用
全文: 内政部 链接

参考文献:

[1] Quinlan J R.决策树简介。马赫学习,1986,1:81-106
[2] 昆兰J R.C4.5:机器学习程序。旧金山:Morgan Kaufmann,1993
[3] 科恩·W·快速有效规则介绍。摘自:ICML-95会议记录。旧金山:Morgan Kaufmann,1995年。115-123
[4] Littlestone N,Warmuth M.加权多数算法。Inform Compute,1994,108:212-261·Zbl 0804.68121号
[5] Freund Y,Schapire R.使用感知器算法进行大边距分类。马赫学习,1999,37:277-296·Zbl 0944.68535号
[6] Rumelhart D E,Hinton G E,Williams R J.通过错误传播学习内部表示法。摘自:Rumelhart D E,McClelland J L编辑的《并行分布式处理:认知微观结构的探索》。剑桥:麻省理工学院出版社,1986年。318-362
[7] Cestnik B.估计概率:机器学习中的一项关键任务。摘自:《欧洲人工智能会议论文集》。斯德哥尔摩,1990年。147-149
[8] Friedman J H.正则化判别分析。J Am Stat Assoc,1989年,84:165-175
[9] Jensen F.贝叶斯网络简介。纽约:施普林格出版社,1996年
[10] Cover T,Hart P.最近邻模式分类。IEEE Trans Inform Theory,1967年,13:7-21·Zbl 0154.44505号
[11] Kubat,Martin M C.近邻分类的简化技术:小组示例。智能数据分析,2001,5:463-476·Zbl 1088.68766号
[12] Peleg D,Meir R.基于最小化泛化误差界的稀疏驱动核机器。模式识别,2009,42:2607-2614·Zbl 1175.68385号
[13] Wright J,Yang A Y,Ganesh A,等。基于稀疏表示的鲁棒人脸识别。IEEE Trans Pattern Ana,2009,31:210-227
[14] Donoho D L,Elad E.通过(L_1)最小化的最大稀疏表示。《国家科学学报》,2003,100:2197-2202·Zbl 1064.94011号
[15] Katz M,Schaffoner M,Andelic E,et al.使用增量特征选择的稀疏核逻辑回归用于文本无关说话人识别。收录于:IEEE Odyssey 2006:说话人与语言识别研讨会。圣胡安:IEEE,2006年。1-6
[16] Krishnapuram B,Carin L,Mario A T,et al.Hartemink,稀疏多项式逻辑回归:快速算法和泛化边界。IEEE Trans Pattern Ana,2005年,27:957-967
[17] 朱杰,哈斯蒂T.核逻辑回归与输入向量机。计算机图形统计杂志,2005,14:185-205
[18] 刘永发,张海华,安杰,等。自适应Lq惩罚的支持向量机。计算统计数据An,2007,51:6380-6394·Zbl 1446.62179号
[19] Jaakkola T,Haussler D.概率核回归模型。摘自:第七届人工智能与统计国际研讨会论文集。旧金山:Morgan Kaufmann,1999
[20] Roth V.多类问题的概率鉴别核分类器。收录:Radig B,Florczyk S,eds.Pattern recognition-DAGM’01。伦敦:Springer-Verlag,2001年。246-253 ·Zbl 1038.68842号
[21] Lee S-I,Lee H,Abbeel P,et al.高效(L_1)正则化逻辑回归。摘自:《第21届全国人工智能会议论文集》(AAAI-06)。加利福尼亚:AAAI出版社,2006
[22] Bradley P S,Mangasarian O L。通过凹形最小化和支持向量机进行特征选择。摘自:第13届ICML会议记录。旧金山:Morgan Kaufmann,1998年。82-90
[23] 刘志清,江峰,田国良,等。生物标志物识别的带L_p惩罚的稀疏logistic回归。《国家应用基因分子生物学》,2007,6:第6条·Zbl 1166.62314号
[24] Zhu J,Rosset S,Hastie T,et al.1-范数支持向量机。In:神经信息处理系统。剑桥:麻省理工学院出版社,2003
[25] Zou H.一种用于模拟分类和变量选择的改进的1-范数SVM。收录:Meila M,Shen X主编,《第十一届国际人工智能与统计会议论文集》。波多黎各,2007年。675-681
[26] Candès E,Tao T.从随机投影中恢复近最优信号:通用编码策略?IEEE Trans Inform Theory,2006,52:5406-5425·Zbl 1309.94033号
[27] 徐志斌,张华,王毅,等。(L_{1/2})正则化子。科学与中国Ser F-Inf Sci,2009,52:1-9
[28] Blumensath T,Davies M E.稀疏近似的迭代阈值法。傅里叶分析应用杂志,2008,14:629-654·Zbl 1175.94060号
[29] 徐振斌,张晓英,徐福明,等.(L_{1/2})正则化:一种阈值表示理论和快速求解器。IEEE Trans神经网络学习系统,2012,23:1013-1027
[30] Bregman L.寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用。苏联计算数学数学物理,1967,7:200-217
[31] 成熟的B D神经网络及其分类方法。J Roy Stat Soc-Ser B,1994,56:409-456
[32] 周德,布斯克特O,拉尔T N,等。学习与地方和全球一致性。内容:神经信息处理系统进展16。剑桥:麻省理工学院出版社,2004年。321-328
[33] 萨玛丽亚·F,
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。