×

阳极

swMATH ID: 44201
软件作者: Amir Ghoma、Kurt Keutzer、George Biros
描述: ANODE:神经常微分方程的无条件精确记忆有效梯度。残差神经网络可以看作是单位时间步长的常微分方程(ODE)的正向欧拉离散化。最近,这促使研究人员探索其他离散化方法并训练基于ODE的网络。然而,神经ODE的一个重要挑战是在梯度反向传播过程中其高昂的存储成本。最近,[8]中提出的一种方法声称,这种内存开销可以从O(LN_t)(其中N_t是时间步数)减少到O(L)(通过向后求解正向ODE,其中L是网络的深度)。然而,我们将表明这种方法可能会导致几个问题:(i)对于ReLU/非ReLU激活和一般卷积算子,其数值可能不稳定,并且(ii)由于小时间步长的梯度不一致,所提出的优化离散方法可能导致发散训练。我们讨论了潜在的问题,为了解决这些问题,我们提出了ANODE,一种基于伴随的神经ODE框架,它避免了上述与数值不稳定性相关的问题,并提供了无条件精确的梯度。阳极的内存占用为O(L)+O(N_t),与反向ODE求解的计算成本相同。此外,我们还讨论了一种节省内存的算法,该算法可以在权衡额外计算成本的情况下进一步减少这种占用空间。我们使用ResNet和SqueezeNext神经网络在Cifar-10/100数据集上显示了结果。
主页: https://arxiv.org/abs/1902.10298
源代码:  https://github.com/amirgholami/anode
依赖项: 蟒蛇
关键词: 机器学习;arXiv_cs。LG公司;神经ODE
相关软件: 火炬差异;AlexNet公司;ImageNet公司;阳极;掌中宽带;亚当;DGM公司;CIFAR公司;深度愚人;github;时尚GAN;i-RevNet公司;PyTorch公司;SOCS系统;科恩平滑;贝叶斯DA;Wasserstein甘;SINDy公司;hp虚拟专用网络;数据包
引用于: 11文件

按年份列出的引文