希拉格·阿加瓦尔;乔·克鲁布西基;丹·肖恩菲尔德 具有跳跃连接的网络架构的反向传播与动量的收敛。 (英语) Zbl 1474.68013号 J.计算。数学。 39,第1期,147-158(2021). 摘要:我们研究了一类具有形成有向无环图(DAG)结构的深度神经网络。对于由具有自适应动量的梯度下降定义的反向传播,我们证明了一大类非线性激活函数的权重收敛。该证明推广了先前一些研究人员的结果,他们证明了具有一个隐藏层的前馈网络的收敛性。为了说明DAG架构的有效性,我们描述了一个通过自动编码器进行压缩的示例,并在几个指标下与顺序前馈网络进行了比较。 MSC公司: 2007年7月68日 计算机体系结构的数学问题 68兰特 计算机科学中的图论(包括图形绘制) 68T07型 人工神经网络与深度学习 关键词:动量反向传播;有向非循环图;深度神经网络 PDF格式BibTeX公司 XML格式引用 \textit{C.Agarwal}等人,《计算杂志》。数学。39,编号1,147--158(2021;Zbl 1474.68013) 全文: DOI程序 arXiv公司