小石块，尼克；曼弗雷德·沃穆特。 加权多数算法。 （英语） Zbl 0804.68121号 Inf.计算。 108，第2期，212-261（1994）。 摘要：我们研究了在学习者面临一系列试验的情况下预测算法的构建，每个试验都要进行预测，学习者的目标是少犯错误。我们对这种情况感兴趣，在这种情况下，学习者有理由相信某些已知算法池中的一个将表现良好，但学习者不知道哪一个。在这种情况下，提出了一种简单有效的基于加权投票的复合算法构造方法。我们称这种方法为加权多数算法。我们表明，该算法在数据中存在错误时是鲁棒的。我们讨论了加权多数算法的各种版本，并证明了它们的错误界与池中最佳算法的错误界密切相关。例如，给定一个试验序列，如果池中有一个算法最多出错（m），那么加权多数算法在该序列上最多出错（c（log|{mathcal a}|+m），其中c是固定常数。 引用于1审查引用于156文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 65年第68季度 算法和问题复杂性分析 91B12号机组 投票理论 关键词：在线预测算法；加权多数算法；加权投票 PDF格式BibTeX公司 XML格式引用 \textit{N.Littlestone}和\textit{M.K.Warmuth}，信息计算。108，No.2，212--261（1994；Zbl 0804.68121） 全文： 内政部 链接 参考文献： [1] Quinlan J R.决策树简介。马赫学习，1986，1:81-106 [2] 昆兰J R.C4.5：机器学习程序。旧金山：Morgan Kaufmann，1993 [3] 科恩·W·快速有效规则介绍。摘自：ICML-95会议记录。旧金山：Morgan Kaufmann，1995年。115年至123年 [4] Littlestone N，Warmuth M.加权多数算法。Inform Compute，1994，108:212-261·Zbl 0804.68121号 [5] Freund Y，Schapire R.使用感知器算法进行大边距分类。马赫学习，1999，37:277-296·Zbl 0944.68535号 [6] Rumelhart D E，Hinton G E，Williams R J.通过错误传播学习内部表示法。摘自：Rumelhart D E，McClelland J L编辑的《并行分布式处理：认知微观结构的探索》。剑桥：麻省理工学院出版社，1986年。318-362 [7] Cestnik B.估计概率：机器学习中的一项关键任务。摘自：《欧洲人工智能会议论文集》。斯德哥尔摩，1990年。147-149 [8] Friedman J H.正则化判别分析。J Am Stat Assoc，1989年，84:165-175 [9] Jensen F.贝叶斯网络导论。纽约：施普林格出版社，1996年 [10] Cover T，Hart P.最近邻模式分类。IEEE Trans Inform Theory，1967年，13:7-21·兹比尔0154.44505 [11] Kubat，Martin M.C.最近邻分类的约简技术：一组小例子。智能数据分析，2001，5:463-476·Zbl 1088.68766号 [12] Peleg D，Meir R.基于最小化泛化误差界的稀疏驱动核机器。模式识别，2009，42:2607-2614·Zbl 1175.68385号 [13] Wright J，Yang A Y，Ganesh A，等。基于稀疏表示的鲁棒人脸识别。IEEE Trans Pattern Ana，2009，31:210-227 [14] Donoho D L，Elad E.通过（L_1）最小化的最大稀疏表示。《国家科学学报》，2003，100:2197-2202·Zbl 1064.94011号 [15] Katz M，Schaffoner M，Andelic E等人。使用增量特征选择进行文本无关说话人识别的稀疏核逻辑回归。收录于：IEEE Odyssey 2006：说话人与语言识别研讨会。圣胡安：IEEE，2006年。1-6 [16] Krishnapuram B，Carin L，Mario A T，et al.Hartemink，稀疏多项式逻辑回归：快速算法和泛化边界。IEEE Trans Pattern Ana，2005年，27:957-967 [17] 朱杰，哈斯蒂T.核逻辑回归与输入向量机。计算机图形统计杂志，2005，14:185-205 [18] 刘永发，张海华，安杰，等。自适应Lq惩罚的支持向量机。计算统计数据An，2007，51:6380-6394·Zbl 1446.62179号 [19] Jaakkola T，Haussler D.概率核回归模型。摘自：第七届人工智能与统计国际研讨会论文集。旧金山：Morgan Kaufmann，1999 [20] Roth V.多类问题的概率鉴别核分类器。收录：Radig B，Florczyk S，eds.Pattern recognition-DAGM’01。伦敦：施普林格出版社，2001年。246-253 ·Zbl 1038.68842号 [21] Lee S-I，Lee H，Abbeel P，et al.高效（L_1）正则化逻辑回归。摘自：《第21届全国人工智能会议论文集》（AAAI-06）。加利福尼亚：AAAI出版社，2006 [22] Bradley P S，Mangasarian O L。通过凹形最小化和支持向量机进行特征选择。摘自：第13届ICML会议记录。旧金山：摩根·考夫曼，1998年。82-90 [23] 刘志清，江峰，田国良，等。生物标志物识别的带L_p惩罚的稀疏logistic回归。《国家应用基因分子生物学》，2007，6：第6条·兹比尔1166.62314 [24] Zhu J，Rosset S，Hastie T，et al.1-范数支持向量机。In：神经信息处理系统。剑桥：麻省理工学院出版社，2003 [25] Zou H.一种用于模拟分类和变量选择的改进的1-范数SVM。收录：Meila M，Shen X主编，《第十一届国际人工智能与统计会议论文集》。波多黎各，2007年。675-681 [26] Candès E，Tao T.从随机投影中恢复近最优信号：通用编码策略？IEEE Trans Inform Theory，2006，52:5406-5425·Zbl 1309.94033号 [27] 徐志斌，张华，王毅，等。（L_{1/2}）正则化子。科学与中国Ser F-Inf Sci，2009，52:1-9 [28] BlumentahT，DaviesME。稀疏近似的迭代阈值。傅里叶分析应用杂志，2008，14:629-654·Zbl 1175.94060号 [29] 徐振斌，张晓英，徐福明，等.（L_{1/2}）正则化：一种阈值表示理论和快速求解器。IEEE Trans神经网络学习系统，2012，23:1013-1027 [30] Bregman L.寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用。苏联计算数学数学物理，1967，7:200-217·Zbl 0186.23807号 [31] 成熟的B D神经网络及其分类方法。J Roy Stat Soc-Ser B，1994，56:409-456·Zbl 0815.62037号 [32] 周德，布斯克特O，拉尔T N，等。学习与地方和全球一致性。内容：神经信息处理系统进展16。剑桥：麻省理工学院出版社，2004年。321-328 [33] 萨玛丽亚·F， 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。