×

神经网络近似问题的硬度结果。 (英语) Zbl 0997.68098号

摘要:我们考虑两层神经网络中的有效学习问题。我们用简单的神经网络家族作为假设类来研究不可知学习的计算复杂性。我们表明,找到一个固定大小的线性阈值网络是NP-hard,它可以使训练集中误分类示例的比例最小化,即使有一个网络可以正确地对所有训练示例进行分类。特别是,对于一个训练集,如果它是由一些带有隐藏单元的两层线性阈值网络正确分类的,那么对于一些常数(c),找到这样一个网络的错误比例小于示例中的(c/k^{2})是不正确的我们证明了具有sigmoid输出单元的双层网络的二次损失近似最小化问题的类似结果。

MSC公司:

68T05年 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Arora,S。;巴拜,L。;斯特恩,J。;Sweedyk,Z.,《格、码和线性系统中近似最优的硬度》,J.Compute。系统科学。,54, 2, 317-331 (1997) ·Zbl 0877.68067号
[2] S.Ben-David,N.Eiron,P.Long,《关于协议近似最大化的困难》,Proc。第13届Ann.计算学习理论会议,2000年,第266-274页。;S.Ben-David,N.Eiron,P.Long,《关于协议近似最大化的困难》,Proc。年第13届计算学习理论会议,2000年,第266-274页·兹比尔1053.68054
[3] Blum,A.L。;Rivest,R.L.,《训练一个三节点神经网络是NP-complete》,神经网络,5,1,117-127(1992)
[4] 达斯·古普塔,B。;Siegelmann,H.T。;Sontag,E.D.,《关于用连续激活函数训练神经网络的复杂性》,IEEE Trans。神经网络,61490-1504(1995)
[5] FaragóG.Lugosi,A.,神经网络分类器的强通用一致性,IEEE Trans。通知。理论,39,4,1146-1151(1993)·Zbl 0811.68109号
[6] Goldreich,O。;Goldwasser,S。;Micali,S.,《如何构造随机函数》,J.ACM,33,792-807(1986)·Zbl 0596.65002号
[7] Haussler,D.,神经网络和其他学习应用的PAC模型的决策理论推广,Inform。和计算。,100, 1, 78-150 (1992) ·Zbl 0762.68050号
[8] 霍夫根,英国。;西蒙·H·U。;Van Horn,K.S.,《单个神经元的鲁棒可训练性》,J.Compute。系统科学。,50, 1, 114-125 (1995) ·Zbl 0939.68771号
[9] Jones,L.K.,《训练S形神经网络的计算难题》,IEEE Trans。通知。理论,43,1,167-713(1997)·Zbl 0874.68255号
[10] Judd,J.S.,《神经网络设计和学习的复杂性》(1990),麻省理工学院出版社:麻省理学院出版社,马萨诸塞州剑桥
[11] V.Kann,S.Khanna,J.Lagergren,A.Panconesi,《关于近似max-\(k\)的硬度》;V.Kann,S.Khanna,J.Lagergren,A.Panconesi,关于近似最大值的硬度·兹比尔0924.68013
[12] M.Kearns,L.G.Valiant,学习布尔公式和有限自动机的密码限制,Proc。ACM交响乐团(Ann 21)。《计算理论》,1989年,第433-444页。;M.Kearns,L.G.Valiant,学习布尔公式和有限自动机的密码限制,Proc。ACM交响乐团(Ann 21)。《计算理论》,1989年,第433-444页·Zbl 0807.68073号
[13] P.Koiran,连续神经网络的有效学习,Proc。ACM计算学习理论研讨会,1994年,第7届,348-355页。;P.Koiran,连续神经网络的有效学习,Proc。美国计算机学会计算学习理论研讨会,1994年,第7期,第348-355页。
[14] Lee,W.S。;Bartlett,P.L。;Williamson,R.C.,《有界扇入神经网络的有效不可知学习》,IEEE Trans。通知。理论,42,6,2118-2132(1996)·Zbl 0874.68253号
[15] Megiddo,N.,《关于多面体可分性的复杂性,离散计算》。几何。,3, 325-337 (1988) ·Zbl 0669.68035号
[16] Papadimitriou,C.H。;Yannakakis,M.,《优化、近似和复杂性类》,J.Compute。系统科学。,43, 425-440 (1991) ·Zbl 0765.68036号
[17] Petrank,E.,近似的硬度:间隙位置,计算。复杂性,4,2,133-157(1994)·Zbl 0822.68052号
[18] Vu,V.H.,《关于用小平方误差训练神经网络的不可行性》,(Jordan,M.I.;Kearns,M.J.;Solla,S.A.,《神经信息处理系统的进展》,第10卷(1998年),麻省理工学院出版社:麻省理学学院出版社,马萨诸塞州剑桥),371-377
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。