• 语料库ID:219966475

对数修剪就是你所需要的

@第{Orseau2020条对数PI，title={对数修剪就是你所需要的}，author={劳伦特·奥尔索（Laurent Orseau）、马库斯·赫特（Marcus Hutter）和奥马尔·里瓦斯普拉塔（Omar Rivasplata）}，日志={ArXiv}，年份={2020年}，体积={abs/2006.12156}，url={https://api.semanticscholar.org/CorpusID:219966475}}
这项工作消除了之前工作中最有限的假设，同时提供了更严格的界限：超参数化网络只需要目标子网络每重量的神经元对数因子数。
[PDF]语义阅读器
75条引文
极具影响力的引文
10
背景引文
59
方法引文
9
结果引文
5

本文中的数字

询问这篇论文
贝塔
AI供电

我们的系统试图限制本文中找到的信息。结果质量可能有所不同。了解更多信息关于我们如何产生这些答案。

75条引文

神经网络剪枝的概率方法

本文从理论上研究了两种剪枝技术（随机剪枝和基于数量的剪枝）在FCN和CNN上的性能，并确定在目标网络的任何指定范围内都存在具有表达能力的剪枝网络。

带ε-扰动的强彩票假设

通过将预训练步骤中的权重变化推广到初始化周围的一些扰动，将强大LTH文献的理论保证扩展到更类似于原始LTH的场景。

卷积网络和残差网络显然包含彩票

事实证明，由卷积层和剩余层组成的现代体系结构，可以配备几乎任意的激活功能，也可以高概率地包含彩票。

Plant‘n’Seek：你能找到中奖彩票吗？

为了分析最先进的剪枝技术识别极度稀疏彩票的能力，本工作设计并在随机初始化的神经网络中隐藏具有所需属性的中奖彩票，并得出结论，彩票稀疏性的当前限制可能是算法性的，而非基本性质的。

非零偏差彩票

这项工作将多种初始化方案和存在性证明扩展到非零偏差，包括ReLU激活函数的显式“看起来线性”方法，以实现真正的正交参数初始化，同时减少潜在的修剪误差。

迭代随机化剪枝随机初始化神经网络

介绍了一种新的具有迭代随机化权值的随机初始化神经网络剪枝框架（IteRand），该框架表明，随机化操作可以有效地减少所需的参数数量。

胜利者：压缩深层网络可以提高分布外鲁棒性

这项工作能够创建非常紧凑的CARD，与较大的CARD相比，它具有类似的测试准确性和匹配（或更好的）健壮性——只需进行修剪和（可选）量化。

彩票Jackpot存在于预先训练的模型中

研究表明，在宽度未扩展的预处理模型中，存在着不涉及权重训练的高性能稀疏子网络，称为“彩票累积点”，并提出了一种新的短约束方法来限制可能对训练损失产生潜在负面影响的掩码的变化，这使得搜索彩票头奖的收敛速度更快，振荡也更小。

使用预先训练的彩票Jackpots进行有效的体重修剪

。

非零偏差彩票的强剪枝

正交参数初始化
...

14参考文献

彩票假说的证明：修剪是你所需要的

证明了一个更强大的假设，表明对于每个有界分布和每个有界权重的目标网络，一个具有随机权重的充分过参数化神经网络包含一个子网络，其精度与目标网络大致相同，无需进一步训练。

彩票假说：寻找稀疏、可训练的神经网络

这项工作发现，密集的、随机初始化的前馈网络包含子网络（“中奖彩票”），当单独训练时，这些子网络在类似的迭代次数下达到了与原始网络相当的测试精度，并阐明了“彩票假说”。

基于超参数化的深度学习收敛理论

这项工作证明了为什么随机梯度下降可以在$\textit{多项式时间}$内找到DNN训练目标的全局极小值，并暗示了在有限（和多项式）宽度设置下，过参数化神经网络和神经切线核（NTK）之间的等价性。

随机加权神经网络中隐藏着什么？

经验表明，随着具有固定权重的随机加权神经网络越来越宽、越来越深，“未经训练的子网络”在精度上接近具有学习权重的网络。

超参数深度神经网络训练的改进分析

对训练深度神经网络的（随机）梯度下降的全局收敛性进行了改进分析，在训练样本大小和其他与问题相关的参数方面，深度神经网络只需要比以往工作更温和的过参数化条件。

神经网络训练的计算效率

本文从现代角度重新审视了训练神经网络的计算复杂性，并提供了正负两方面的结果，其中一些结果产生了新的可证明有效的实用算法，用于训练某些类型的神经网络。

插值的力量：理解SGD在现代超参数学习中的有效性

关键的观察结果是，大多数现代学习体系结构都是过参数化的，并且经过训练可以通过使经验损失接近于零来插值数据，因此尚不清楚为什么这些插值解在测试数据上表现良好。

通过学习模型进行规划，掌握Atari、围棋、国际象棋和shogi

提出了MuZero算法，该算法通过将基于树的搜索与学习模型相结合，在一系列具有挑战性和视觉复杂的领域中实现超人性能，而不需要了解其潜在的动态。

加权A*搜索-统一视图和应用程序

深度图像优先

结果表明，随机初始化的神经网络可以用作人工先验，在标准逆问题（如去噪、超分辨率和修复）中具有良好的结果。