×
周志华;吴建新;唐伟

集成神经网络：许多可能比所有更好。 （英语） Zbl 0995.68077号

工件。智力。 137，编号1-2239-263（2002）; 更正同上，174，第18号，1570（2010）。
摘要：神经网络集成是一种学习范式，其中许多神经网络被联合用于解决问题。本文从回归和分类的角度分析了集成及其组件神经网络之间的关系，揭示了集成多个而不是所有现有的神经网络可能更好。这个结果很有趣，因为目前大多数方法都是将所有可用的神经网络集成在一起进行预测。然后，为了证明可以从一组可用的神经网络中有效地选择合适的神经网络来组成集成，提出了一种称为GASEN的方法。GASEN首先训练了许多神经网络。然后将随机权重分配给这些网络，并使用遗传算法对权重进行进化，使其能够在一定程度上表征神经网络在组成集成时的适应度。最后，它选择一些基于进化权重的神经网络来组成集合。一项大型实证研究表明，与一些流行的集成方法（如Bagging和Boosting）相比，GASEN可以生成规模更小但泛化能力更强的神经网络集成。此外，为了了解GASEN的工作机理，本文提供了误差的偏差-方差分解，这表明GASEN成功的原因可能在于它可以显著降低偏差和方差。

引用于1审查
引用于56文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

神经网络;神经网络集成;机器学习;选择性系综;增压;装袋;遗传算法;偏方差分解

软件：

UCI-毫升;神经网络工具箱;阿达·布斯特。MH公司;G工具箱;引导数据库
PDF格式BibTeX公司 XML格式引用
\textit{Z.-H.Zhou}等人，Artif。智力。137，编号1--2，239--263（2002；Zbl 0995.68077）
全文： 内政部

参考文献：

[1] 鲍尔，E。；Kohavi，R.，《投票分类算法的实证比较：打包、提升和变体》，机器学习，36，1-2，105-139（1999）
[2] 布莱克，C。；基奥，E。；Merz，C.J.，UCI机器学习数据库库（1998），加利福尼亚大学信息与计算机科学系：加利福尼亚大学欧文分校信息与计算机系
[3] Breiman，L.，打包预测，机器学习，24，2，123-140（1996）·Zbl 0858.68080号
[4] Breiman，L.，偏差、方差和电弧分类器，技术报告460（1996），加利福尼亚大学统计系：加利福尼亚大学伯克利分校统计系
[5] Cherkauer，K.J.，通过使用组合人工神经网络的系统在科学图像分析任务上的人类专家级表现，（Chan，P.；Stolfo，S.；Wolpert，D.，Proc.AAAI-96《集成多个学习模型以改进和缩放机器学习算法研讨会》，俄勒冈州波特兰（1996），AAAI出版社：AAAI Press Menlo Park，加利福尼亚州），15-21
[6] 坎宁安，P。；Carney，J。；Jacob，S.，《人工神经网络和集成解决方案的稳定性问题》，《医学中的人工智能》，20，3，217-225（2000）
[7] Demuth，H。；Beale，M.，《用于MATLAB的神经网络工具箱》（1998年），《数学工作：数学工作Natick》，马萨诸塞州
[8] Drucker，H.，《使用神经网络提升》（Sharkey，A.，《结合人工神经网络：集成和模块化多网络系统》（1999），Springer:Springer London），51-77·Zbl 0932.68074号
[9] Drucker，H。；夏皮雷，R。；Simard，P.，《使用增强算法改进神经网络性能》（Hanson，S.J.；Cowan，J.D.；Giles，C.L.，《神经信息处理系统5的进展》，科罗拉多州丹佛市（1993），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），42-49
[10] 埃夫隆，B。；Tibshirani，R.，《Bootstrap简介》（1993），查普曼和霍尔出版社：纽约查普曼与霍尔出版社·Zbl 0835.62038号
[11] Freund，Y.，以多数推动弱算法，Inform。和计算。，121, 2, 256-285 (1995) ·兹比尔083368109
[12] 弗伦德，Y。；Schapire，R.E.，《在线学习的决策理论概括及其在助推中的应用》（Proc.EuroCOLT-94，巴塞罗那，西班牙（1995），施普林格：施普林格柏林），23-37
[13] 弗伦德，Y。；Schapire，R.E.，《新增压算法的实验》（Proc.ICML-96，意大利巴里（1996），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），148-156
[14] 德语，S。；Bienenstock，E。；Doursat，R.，《神经网络与偏差/方差困境》，神经计算。，4, 1, 1-58 (1992)
[15] Goldberg，D.E.，《搜索、优化和机器学习中的遗传算法》（1989），Addison-Wesley:Addison-Whesley Reading，MA·Zbl 0721.68056号
[16] 古塔，S。；Wechsler，H.，使用混合分类器系统的人脸识别，（Proc.ICNN-96，Washington，DC（1996），IEEE Computer Society Press:IEEE Compute Socility Press Los Alamitos，CA），1017-1022
[17] J·汉普郡。；Waibel，A.，使用时滞神经网络改进音素识别的新目标函数，IEEE Trans。神经网络，1,2,216-228（1990）
[18] Hansen，J.V.，《组合预测因子：元机器学习方法及偏差/方差和模糊度分解》，奥胡斯大学计算机科学系博士论文（2000年）：丹麦奥胡斯学院计算机科学系
[19] Hansen，L.K。；Liisberg，L。；Salamon，P.，《手写数字识别的集成方法》，（IEEE信号处理神经网络研讨会，丹麦赫尔辛格（1992），IEEE出版社：新泽西州皮斯卡塔韦IEEE出版社），333-342
[20] Hansen，L.K。；Salamon，P.，《神经网络集成》，IEEE Trans。模式分析。机器智能，12，10，993-1001（1990）
[21] 霍克，C.R。；Joines，J.A。；Kay，M.G.，《用于函数优化的遗传算法：Matlab实现》，技术报告NCSU-IE-TR-95-09（1995），北卡罗来纳州立大学：北卡罗莱纳州立大学罗利分校
[22] 黄福杰。；周，Z.-H。；张海杰。；Chen，T.H.，姿势不变人脸识别，（第四届IEEE自动人脸和手势识别国际会议，法国格勒诺布尔（2000），IEEE计算机学会出版社：IEEE计算机协会出版社，加利福尼亚州洛斯阿拉米托斯），245-250
[23] 雅各布斯，R.A。；M.I.乔丹。；Nowlan，S.J。；Hinton，G.E.，《本地专家的自适应混合》，神经计算。，3, 1, 79-87 (1991)
[24] Jimenez，D.，用于分类的动态加权集成神经网络，（Proc.IJCNN-98，Vol.1，Anchorage，AK（1998），IEEE Computer Society Press:IEEE Compute Socility Press Los Alamitos，CA），753-756
[25] M.I.乔丹。；Jacobs，R.A.，专家和EM算法的层次混合，神经计算。，6, 2, 181-214 (1994)
[26] Kohavi，R。；Wolpert，D.H.，零损失函数的偏差加方差分解，（Proc.ICML-96，Bari，Italy（1996），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），275-283
[27] E.B.孔。；Dietterich，T.G.，《纠错输出编码纠正偏差和方差》（Proc.ICML-95，加利福尼亚州塔霍市（1995），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），313-321
[28] Krogh，A。；Vedelsby，J.，《神经网络集成、交叉验证和主动学习》，（Tesauro，G.；Touretzky，D.；Leen，T.，《神经元信息处理系统进展》7，科罗拉多州丹佛市（1995），麻省理工学院出版社：麻省理学学院出版社，马萨诸塞州剑桥），231-238
[29] 麦克林（R.Maclin）。；Shavlik，J.W.，《结合多分类器的预测：使用竞争学习初始化神经网络》（Proc.IJCAI-95，蒙特利尔，魁北克省（1995），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），524-530
[30] Mao，J.，《OCR神经网络的装袋、增强和基本集成的案例研究》，（Proc.IJCNN-98，Vol.3，Anchorage，AK（1998），IEEE计算机学会出版社：IEEE计算机学会出版社，加利福尼亚州洛斯阿拉米托斯），1828-1833
[31] Merz，C.J。；Pazzani，M.J.，《将神经网络回归估计与正则化线性权重相结合》，（Mozer，M.C.；Jordan，M.I.；Petsche，T.，《神经信息处理系统的进展》9，丹佛，科罗拉多州（1997），麻省理工学院出版社：麻省理学院出版社剑桥，马萨诸塞州），564-570
[32] 奥皮茨，D。；Maclin，R.，《流行集成方法：实证研究》，《人工智能研究杂志》，第11期，第169-198页（1999年）·Zbl 0924.68159号
[33] Opitz，D.W。；Shavlik，J.W.，《积极寻找有效的神经网络集成》，《连接科学》，8，3-4，337-353（1996）
[34] Opitz，D.W。；Shavlik，J.W.，《生成准确且多样的神经网络集成成员》（Touretzky，D.S.；Mozer，M.C.；Hasselmo，M.E.，《神经信息处理系统进展8》，科罗拉多州丹佛市（1996），麻省理工学院出版社：麻省理学学院出版社，马萨诸塞州剑桥），535-541
[35] 佩罗内，M.P。；Cooper，L.N.，《当网络不一致时：神经网络的集成方法》（Mammone，R.J.，《语音和视觉的人工神经网络》（1993），查普曼和霍尔出版社：纽约查普曼与霍尔出版社），126-142
[36] Quinlan，J.R.，《装袋、增压和C4.5》（Proc.AAAI-96，Portland，OR（1996），AAAI出版社：AAAI Press Menlo Park，CA），725-730
[37] 里奇韦，G。；Madigan，D。；Richardson，T.，回归问题的推进方法，（Proc.AISTATS-99，Fort Lauderdale，FL（1999），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），152-161
[38] Rumelhart，D.E。；辛顿，G.E。；Williams，R.J.，《通过错误传播学习内部表征》（Rumelhart，D.E.；McClelland，J.L.，《并行分布式处理：认知微观结构的探索》，1（1986），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥），318-362
[39] Schapire，R.E.，《弱可学习性的力量》，机器学习，5，2，197-227（1990）
[40] （Sharkey，A.，《结合人工神经网络：集成和模块化多网络系统》（1999），Springer:Springer London）·Zbl 0910.00025号
[41] Shimshoni，Y。；Intrator，N.，《通过集成神经网络集成对地震信号进行分类》，IEEE Trans。信号处理。，461194-1201（1998年）
[42] Sollich，P。；Krogh，A.，《用集合学习：过度拟合是如何有用的》（Touretzky，D.S.；Mozer，M.C.；Hasselmo，M.E.，《神经信息处理系统进展8》，科罗拉多州丹佛市（1996年），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥），190-196年
[43] Ueda，N.，改善分类性能的神经网络最佳线性组合，IEEE Trans。模式分析。机器智能，22,2207-215（2000）
[44] 韦斯顿，J.A.E。；斯蒂森，M.O。；Gammerman，A。；沃夫克，V。；Vapnik，V.，《支持向量机实验》，技术报告：CSD-TR-96-19（1996），伦敦皇家霍洛韦大学：伦敦皇家霍洛韦大学
[45] Wolpert，D.H.，叠加泛化，神经网络，5，2，241-259（1992）
[46] 姚，X。；Liu，Y.，在进化人工神经网络中利用人口信息，IEEE系统、人与控制论汇刊-B部分：控制论，28，3，417-425（1998）
[47] 周，Z.-H。；姜瑜。；Yang，Y.-B。；陈世芳，基于人工神经网络集成的肺癌细胞识别，医学人工智能，24，1，25-36（2002）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。