深度网络中谱普适性的出现

Jeffrey Pennington、Samuel Schoenholz、Surya Ganguli
第二十届国际人工智能与统计会议记录，PMLR 84:1924-19322018年。

摘要

最近的工作表明，深度网络的输入-输出雅可比矩阵的奇异值的整个谱在初始化时紧密地集中在1附近，可以按数量级加速学习。因此，为了指导重要的设计选择，重要的是在初始化时建立对雅可比谱的完整理论理解。为此，我们利用自由概率理论的强大工具，对深度网络的雅可比谱如何依赖于各种超参数（包括非线性、权重和偏差分布以及深度）提供了详细的分析理解。对于各种非线性，我们的工作揭示了新的普遍极限光谱分布的出现，即使深度达到无穷大，这些分布仍然集中在一个周围。

引用本文

BibTeX公司
@会议记录{pmlr-v84-pennington18a，title={深网络中谱普遍性的出现}，author={Pennington、Jeffrey和Schoenholz、Samuel和Ganguli、Surya}，booktitle={第二十届国际人工智能与统计会议论文集}，页数={1924--1932}，年份={2018年}，editor={Storkey、Amos和Perez-Cruz、Fernando}，体积={84}，series={机器学习研究论文集}，月份＝{09年-4月11日}，publisher={PMLR}，pdf={http://processes.mlr.press/v84/pennington18a/pennington18a.pdf}，url={https://processes.mlr.press/v84/pennington18a.html}，抽象={最近的工作表明，深度网络的输入输出雅可比矩阵奇异值的整个谱在初始化时紧密地集中在一个附近，可以按数量级加快学习。因此，为了指导重要的设计选择，必须从理论上充分理解初始雅可比函数的谱实现。为此，我们利用自由概率理论的强大工具，对深度网络的雅可比谱如何依赖于各种超参数（包括非线性、权重和偏差分布以及深度）提供了详细的分析理解。对于各种非线性，我们的工作揭示了新的普遍极限谱分布的出现，即使深度趋于无穷大，这些分布仍集中在一周围。}}
尾注
%0会议论文%深度网络中频谱普遍性的出现%杰弗里·彭宁顿%塞缪尔·肖恩霍尔茨%苏里亚神经节%第二十届国际人工智能与统计会议论文集%C机器学习研究进展%2018年4月%E Amos Storkey公司%E费尔南多·佩雷斯-克鲁斯%F pmlr-v84-pennington18a型%我PMLR%1924-1932年%U型https://proceedings.mlr.press/v84/pennington18a.html%84伏%X最近的工作表明，深度网络的输入输出雅可比矩阵的奇异值的整个谱在初始化时紧密地集中在1附近，可以按数量级加速学习。因此，为了指导重要的设计选择，重要的是在初始化时建立对雅可比谱的完整理论理解。为此，我们利用自由概率理论的强大工具，对深度网络的雅可比谱如何依赖于各种超参数（包括非线性、权重和偏差分布以及深度）提供了详细的分析理解。对于各种非线性，我们的工作揭示了新的普适极限谱分布的出现，即使深度趋于无穷大，这些分布仍然集中在一周围。
亚太地区
Pennington，J.、Schoenholz，S.和Ganguli，S.（2018年）。深度网络中频谱普遍性的出现。第二十届国际人工智能与统计会议记录，英寸机器学习研究进展84:1924-1932可从https://proceedings.mlr.press/v84/pennington18a.html。

相关材料