对数修剪就是你所需要的

部分神经信息处理系统的进展33（NeurIPS 2020）

作者

劳伦特·奥尔索、马库斯·赫特、奥马尔·里瓦斯普拉塔

摘要

彩票假设是一种推测，即每个大型神经网络都包含一个子网络，在隔离训练时，该子网络的性能与大型网络相当。最近，一个更强大的猜想被证明：每个充分超参数化的网络都包含一个子网络，即使没有经过训练，也能达到与训练的大型网络相当的精度。然而，该定理依赖于一些强有力的假设，并保证与目标函数相比，大型网络的大小具有多项式因子。在这项工作中，我们去掉了之前工作中最有限的假设，同时提供了更严格的界限：过参数化网络只需要一个对数因子（除深度外的所有变量），即目标子网络每重量的神经元数量。