×

阳极

swMATH ID: 44201
软件作者: Amir Ghoma、Kurt Keutzer、George Biros
描述: 阳极:神经ODE的无条件精确记忆效率梯度。残差神经网络可以看作是单位时间步长的常微分方程(ODE)的正向欧拉离散化。最近,这促使研究人员探索其他离散化方法并训练基于ODE的网络。然而,神经ODE的一个重要挑战是在梯度反向传播过程中其高昂的存储成本。最近,[8]中提出的一种方法声称,这种内存开销可以从O(LN_t)(其中N_t是时间步数)减少到O(L)(通过向后求解正向ODE,其中L是网络的深度)。然而,我们将表明,这种方法可能会导致几个问题:(i)ReLU/非ReLU激活和一般卷积算子的数值可能不稳定,以及(ii)由于小时间步长的梯度不一致,所提出的优化-离散方法可能导致发散训练。我们讨论了潜在的问题,为了解决这些问题,我们提出了ANODE,一种基于伴随的神经ODE框架,它避免了上述与数值不稳定性相关的问题,并提供了无条件精确的梯度。阳极的内存占用为O(L)+O(N_t),与反向ODE求解的计算成本相同。此外,我们还讨论了一种节省内存的算法,该算法可以在权衡额外计算成本的情况下进一步减少这种占用空间。我们使用ResNet和SqueezeNext神经网络在Cifar-10/100数据集上显示了结果。
主页: https://arxiv.org/abs/1902.10298
源代码:  https://github.com/amirgholami/anode
依赖项: 蟒蛇
关键词: 机器学习;arXiv_cs.LG公司;神经ODE
相关软件: AlexNet公司;ImageNet公司;亚当;火炬差异;github;CIFAR公司;深度愚人;时尚GAN;PyTorch公司;阳极;国家科学基金;n流量;辉光;i-RevNet公司;低碳所;卡米诺;罗德斯;法托德;PETSc/TS公司;NeuralPDE.jl公司
引用于: 7出版物

按年份列出的引文