×

具有跳跃连接的网络架构的反向传播与动量的收敛。 (英语) Zbl 1474.68013号

摘要:我们研究了一类具有形成有向无环图(DAG)结构的深度神经网络。对于由具有自适应动量的梯度下降定义的反向传播,我们证明了一大类非线性激活函数的权重收敛。该证明推广了先前一些研究人员的结果,他们证明了具有一个隐藏层的前馈网络的收敛性。为了说明DAG架构的有效性,我们描述了一个通过自动编码器进行压缩的示例,并在几个指标下与顺序前馈网络进行了比较。

MSC公司:

2007年7月68日 计算机体系结构的数学问题
68兰特 计算机科学中的图论(包括图形绘制)
68T07型 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用