迪格维杰·布布;桑塔努·戴伊。;蓝，广汇 ReLU神经网络训练的复杂性。 （英语） Zbl 1506.68088号 离散优化。 44，第1部分，文章ID 100620，16 p.（2022）. 摘要：本文探讨了具有ReLU激活函数的神经网络训练复杂性的一些基本问题。我们证明了训练一个双隐层前馈ReLU神经网络是NP-hard。如果输入数据的维数和网络拓扑是固定的，那么我们证明了对于相同的训练问题存在多项式时间算法。我们还表明，如果在ReLU神经网络的第一个隐藏层中提供了足够的过参数化，则存在一个多项式时间算法，该算法可以找到权重，从而使过参数化ReLU网络的输出与给定数据的输出相匹配。 引用于三文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 65年第68季度 算法和问题复杂性分析 关键词：NP-hardness（NP-hardeness）;神经网络;ReLU激活功能;2-超平面可分性 软件：AlexNet公司;达奇;图像网络 PDF格式BibTeX公司 XML格式引用 \textit{D.Boob}等人，《离散优化》。44，第1部分，文章ID 100620，16 p.（2022；Zbl 1506.68088） 全文： 内政部 arXiv公司 参考文献： [1] A.Blum，R.L.Rivest，《训练三节点神经网络是np-complete》，载于：《第一届计算学习理论年度研讨会论文集》，COLT’88，1988年，第9-18页。 [2] Megiddo，N.，《关于多面体可分性的复杂性，离散计算》。地理。，3, 4, 325-338 (1988) ·Zbl 0669.68035号 [3] 辛顿，G.E。；Osindero，S。；Teh，Y.-W.，深度信念网络的快速学习算法，神经计算。，18, 7, 1527-1554 (2006) ·兹比尔1106.68094 [4] R.Collobert，J.Weston，《自然语言处理的统一架构：具有多任务学习的深度神经网络》，载于《第25届国际机器学习会议论文集》，ICML'082008，第160-167页。 [5] Mohamed，A。；Dahl，G.E。；Hinton，G.，《使用深度信念网络的声学建模》，Trans。音频语音语言处理。，14-22 (2012) [6] A.Krizhevsky，I.Sutskever，G.E.Hinton，深度卷积神经网络的Imagenet分类，收录于：《第25届神经信息处理系统国际会议论文集》，第1卷，NIPS’12，2012年，第1097-1105页。 [7] C.Zhang、S.Bengio、M.Hardt、B.Recht、O.Vinyals，理解深度学习需要重新思考泛化，CoRR。 [8] Hochreiter，S。；Y.本吉奥。；Frasconi，P。；Schmidhuber，J.，《递归网络中的梯度流：学习长期依赖性的困难》（2001） [9] Klivans，A.R。；Shertov，A.A.，《学习半空间交集的密码学硬度》，J.Compute。系统科学。，75, 1, 2-12 (2009) ·Zbl 1158.68384号 [10] 沙列夫·施瓦茨，S。；Ben-David，S.，《理解机器学习：从理论到算法》（2014），剑桥大学出版社·Zbl 1305.68005号 [11] 利夫尼，R。；沙列夫·施瓦茨，S。；Shamir，O.，《关于训练神经网络的计算效率》，（神经信息处理系统进展27（2014）），855-863 [12] B.DasGupta，H.T.Siegelmann，E.Sontag，《关于与持续激活的神经网络相关的可学习性问题》，载于《第七届计算学习理论年会论文集》，COLT’94，1994年，第47-56页。 [13] O.Shamir，学习神经网络的分布特定硬度，CoRR·Zbl 1461.68200号 [14] L.Song，S.Vempala，J.Wilmes，B.Xie，《关于学习神经网络的复杂性》，CoRR。 [15] 阿罗拉，R。；巴苏，A。；Mianjy，P。；Mukherjee，A.，《理解具有校正线性单位的深层神经网络》（2016） [16] P.Manurangsi，D.Reichman，训练相关性的计算复杂性，CoRR abs/1810.04207。arXiv:1810.04207。统一资源定位地址http://arxiv.org/abs/1110.04207。 [17] 戴，S.S。；王，G。；Xie，Y.，一种训练单节点relu神经网络的近似算法（2018），arXiv:1810.03592 [18] Edelsbrunner，H。；奥鲁克，J。；Seidel，R.，《用应用构造线和超平面的排列》，SIAM J.Compute。，15, 2, 341-363 (1986) ·Zbl 0603.68104号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。