分段线性神经网络的近紧VC-维数界

Nick Harvey、Christopher Liaw、Abbas Mehrabian
2017年学习理论会议记录2017年，PMLR 65:1064-1068。

摘要

我们利用ReLU激活函数证明了深度神经网络的VC-维数的新的上下界。对于几乎整个参数范围，这些边界都很紧。假设$W$是权重数，$L$是层数，我们证明了VC-维数是$O（W L\log（W））$，并提供了VC-维度$Ω（W L\ log（W/L））$的示例。这改进了先前已知的上限和下限。根据非线性单元的数量$U$，我们证明了VC-维上的紧束缚$0_（WU）$。所有这些结果都推广到任意分段线性激活函数。

引用本文

BibTeX公司
@会议记录{pmlr-v65-harvey17a，title={紧{VC}-维度分段线性神经网络}的界，作者＝{Harvey，Nick和Liaw，Christopher和Mehrabian，Abbas}，booktitle={2017年学习理论会议记录}，页数={1064--1068}，年份={2017年}，editor={Kale，Satyen和Shamir，Ohad}，体积={65}，series={机器学习研究论文集}，月={07--7月10日}，publisher={PMLR}，pdf={http://proceedings.mlr.press/v65/harvey17a/harvey17a.pdf},url={https://proceedings.mlr.press/v65/harvey17a.html},abstract={我们证明了具有ReLU激活函数的深度神经网络的VC-维数的新的上下界。这些上界对于几乎整个参数范围都是紧的。让$W$是权重数，$L$是层数，我们证明了VC-维数是$O（WL\log（W）)$，并提供VC-维度$Ω（W L\log（W/L））$的示例。这改进了先前已知的上限和下限。根据非线性单元的数量$U$，我们证明了VC-维上的紧束缚$0_（WU）$。所有这些结果都推广到任意分段线性激活函数。}}
尾注
%0会议论文%分段线性神经网络的T紧VC-维数界%尼克·哈维%克里斯托弗·利奥%阿巴斯·梅赫拉布（Abbas Mehrabian）%B 2017年学习理论会议记录%C机器学习研究进展%D 2017年%E Satyen Kale公司%E Ohad Shamir先生%对于pmlr-v65-harvey17a%我PMLR%电话1064--1068%U型https://proceedings.mlr.press/v65/harvey17a.html%65伏%X我们证明了具有ReLU激活函数的深度神经网络的VC-维数的新的上下界。对于几乎整个参数范围，这些边界都很紧。假设$W$是权重数，$L$是层数，我们证明了VC-维数是$O（W L\log（W））$，并提供了VC-维度$Ω（W L\ log（W/L））$的示例。这改善了先前已知的上界和下界。根据非线性单元的数量$U$，我们证明了VC-维上的紧束缚$0_（WU）$。所有这些结果都推广到任意分段线性激活函数。
阿帕
Harvey，N.、Liaw，C.和Mehrabian，A..（2017年）。分段线性神经网络的近紧VC-维数界。2017年学习理论会议记录，英寸机器学习研究进展65:1064-1068网址：https://proceedings.mlr.press/v65/harvey17a.html。

相关材料