神经网络中的深度分离：什么是真正的分离？

@文章{Safran2019DepthSI，title={神经网络中的深度分离：实际分离的是什么？}，author={Itay Safran和Ronen Eldan以及Ohad Shamir}，journal={构造近似}，年份={2019}，体积={55}，页数={225-257}，网址={https://api.semanticscholar.org/CorpusID:118682435}}
本文研究了深度分离在O（1）的自然环境中是否仍然成立，并表明答案是否定的：与以往工作所建议的直觉相反，可以近似O（1”）。
Springer上的视图
[PDF]语义阅读器

33引文

关于内积Mod 2函数的深度-两个阈值电路的大小

研究了计算内积模2函数的深度-两个阈值电路的大小，给出了\documentclass[12pt]{minimal]\usepackage{amsmath}\use-package{wasysym}的上界为1000000英镑。

神经网络中的深度分离：尺寸与精度的分离

当将$mathcal{O}（1）$-Lipschitz目标函数近似到恒定精度时，我们证明了深度2和深度3神经网络之间的指数分离…

大约需要多少神经元才能达到最大值？

我们研究了在关于$L_2$范数的最基本近似设置中，在$d$输入上近似最大函数所需的神经网络的大小…

ReLU神经网络的最佳记忆能力

研究了前馈ReLU神经网络的记忆能力，结果表明，该网络可以使用$tilde{O}左（sqrt{N}右）$参数记忆任何满足温和可分性假设的$N$点，并且其结构在对数因子范围内是最优的。

范数有界无限宽神经网络中的深度分离

在输入维中，有一些函数可以通过范数控制深度-3 ReLU网络的样本复杂度多项式学习，但在次指数样本复杂度下无法通过范数受控深度-2 ReLU网学习（范数为任意值）。

神经网络中逼近、深度分离和可学习性之间的联系

研究表明，函数在深度神经网络上可以通过梯度下降学习的一个必要条件是能够用浅层神经网络逼近函数，至少在弱意义上是这样的。

神经网络逼近自然函数中的尺寸和深度分离

证明良性函数不能用深度多项式网络逼近的复杂性理论障碍被证明，并且根据函数的假设，给出了超多项式尺寸下限和此类下限的障碍。

基于优化的神经网络分离

实验证明，当数据由满足一些温和假设的径向对称分布生成时，梯度下降法可以使用具有两层S形激活的深度2神经网络有效地学习球指示器函数，并且在整个训练过程中隐藏层保持不变。

超越Sharkovsky定理的混沌网络表达

证明了周期点本身导致次优的深度-宽度权衡，并通过证明某些“混沌路线”给出了更强的指数权衡，对其进行了改进，即使在以前的分析仅暗示多项式间隙的情况下。

ReLU神经网络中宽度不如深度重要

研究表明，深度在神经网络的表达能力中起着比宽度更重要的作用，并且使用深度网络和窄网络精确表示宽网络和浅网络，在某些情况下，深度网络和宽度网络不会增加目标网络的参数数量。

35参考文献

神经网络的深度分离

结果表明，当$g$不能用低次多项式逼近时，具有（指数）有界权值的多尺度深度二神经网络就不能逼近f，从而建立了深度二和深度三网络之间的分离。

为什么用深度神经网络进行函数逼近？

研究表明，对于一大类分段光滑函数，对于给定的函数逼近度，浅网络逼近函数所需的神经元数量比深网络相应的神经元数量要大得多。

神经网络中深度的好处

本文对一类称为“半代数门”的节点证明了这一结果，其中包括ReLU、最大值、指示符和分段多项式函数的常见选择，因此不仅针对具有ReLU门的标准网络，而且针对具有ReLU门和最大值门的卷积网络，建立了深度效益，sum-product网络，并增强了决策树。

带有$\ell^1$和$\ell ^0$控件的ReLU和平方ReLU岭函数的组合逼近

这项工作建立了由校正线性单元（ReLU）和稀疏平方ReLU岭函数的线性组合近似的多变量函数的误差界，并提供了揭示结构近似最优性的伴随误差下限。

具有小权值和深度分离障碍的神经网络

对于是否存在多项式有界函数需要超多项式权重才能用等深度神经网络逼近，本文给出了一个否定的、建设性的答案，通过减少电路复杂性中的开放问题和自然保护性障碍，证明了证明此类结果超出深度的根本障碍$4$。

深度神经网络的可证明逼近性质

学习神经网络的复杂性

证明了一个全面的下限，排除了具有单个隐藏层、平滑激活函数和良性输入分布的神经网络生成的数据可以有效学习的可能性，并且对真实权重的小扰动具有鲁棒性。

前馈神经网络的深度幂

结果表明，在$\reals^d$上有一个简单的（近似径向的）函数，可以用一个小的三层前馈神经网络来表示，它不能用任何二层网络来近似，除非它的宽度在维数上是指数的。

凸叠加的逼近与学习

构造有限尺度敏感维数函数类的一种相当普遍的方法，包括所谓的Γ类Barron，它被证明满足许多有趣的近似和闭包性质。

为什么选择深度神经网络？

本文表明，对于一大类分段光滑函数，在给定的函数逼近度下，浅网络逼近函数所需的神经元数比深网络相应的神经元数要大得多。