分段线性神经网络的近紧VC-维数界
Nick Harvey、Christopher Liaw、Abbas Mehrabian
2017年学习理论会议记录2017年,PMLR 65:1064-1068。
摘要
我们利用ReLU激活函数证明了深度神经网络的VC-维数的新的上下界。对于几乎整个参数范围,这些边界都很紧。假设$W$是权重数,$L$是层数,我们证明了VC-维数是$O(W L\log(W))$,并提供了VC-维度$Ω(W L\ log(W/L))$的示例。这改善了先前已知的上界和下界。根据非线性单元的数量$U$,我们证明了VC-维上的紧束缚$0_(WU)$。所有这些结果都推广到任意分段线性激活函数。
引用本文
相关材料