箭头
第39卷第1期
跳跃连接网络结构的反向传播与动量收敛性

希拉格·阿加瓦尔,乔·克鲁布西基&丹·肖恩菲尔德

J.公司。数学。,39(2021),第147-158页。

在线发布:2020-09

导出引文
  • 摘要

我们研究了一类具有形成有向无环结构的深度神经网络图形(DAG)。对于由具有自适应动量的梯度下降定义的反向传播,我们证明了一类非线性激活函数的权值收敛。证据概括了Wu等人(2008)的结果,他们发现前馈收敛具有一个隐藏层的网络。例如,DAG架构的有效性,我们描述了一个通过自动编码器进行压缩的示例,并与几个指标下的顺序前馈网络。

  • AMS主题标题

68M07、68T01

  • 版权

版权所有:©全球科学出版社

  • 电子邮件地址

chiragagarwall12@gmail.com(希拉格·阿加瓦尔)

klobuj@rpi.edu(乔·克洛布西基)

dans@uic.edu(丹·肖恩菲尔德)

  • BibTex公司
  • 里斯
  • TXT公司
@第{JCM-39-147条,作者={Agarwal,ChiragKlobusincky,Joe和Schonfeld,Dan},title={具有跳过连接的网络架构的反向传播与动量的收敛},journal={计算数学杂志},年份={2020年},体积={39},数字={1},页数={147--158},抽象={

我们研究了一类深度神经网络,其结构形成有向无环图形(DAG)。对于由具有自适应动量的梯度下降定义的反向传播,我们证明了一类非线性激活函数的权值收敛。证据概括了Wu等人(2008)的结果,他们发现前馈收敛具有一个隐藏层的网络。例如,DAG架构的有效性,我们描述了一个通过自动编码器进行压缩的示例,并与几个指标下的顺序前馈网络。

},issn={1991-7139},doi={https://doi.org/10.4208/jcm.1912-m2018-0279},url={http://global-sci.org/intro/article_detail/jcm/18282.html}}
TY-JOUR公司T1-具有跳跃连接的网络结构的反向传播与动量的收敛性非盟-阿加瓦尔,希拉格AU-乔·克鲁布西基澳大利亚-丹·肖恩菲尔德JO-计算数学杂志VL-1型SP-147EP-1582020年上半年DA-2020/09年序号-39做-http://doi.org/10.4208/jcm.1912-m2018-0279UR-(欧元)https://global-sci.org/intro/article_detail/jcm/18282.htmlKW-动量反向传播,自动编码器,有向无环图。实验室-

我们研究了一类具有形成有向无环结构的深度神经网络图形(DAG)。对于由具有自适应动量的梯度下降定义的反向传播,我们证明了一类非线性激活函数的权值收敛。证据概括了Wu等人(2008)的结果,他们发现前馈收敛具有一个隐藏层的网络。例如,DAG架构的有效性,我们描述了一个通过自动编码器进行压缩的示例,并与几个指标下的顺序前馈网络。

Chirag Agarwal、Joe Klobusicky和Dan Schonfeld。(2020). 具有跳过连接的网络架构的反向传播与动量的收敛。计算数学杂志.39(1) 。147-158.doi:10.4208/jcm.1912-m2018-0279
复制到剪贴板
引文已复制到剪贴板