训练深度残差网络以获得一致逼近保证

马特奥·马奇、巴赫曼·加雷斯法德、保罗·塔布阿达
第三届动力学和控制学习会议记录，PMLR 144:677-6882021年。

摘要

最近的研究表明，深度足够高但宽度有界的深度剩余网络能够在上确界范数意义下进行普适逼近。基于这些结果，我们展示了如何修改现有的深度残差网络训练算法，以便基于训练误差在上确界范数下为测试误差提供近似界。我们的方法基于对这些网络在离散时间和连续时间的控制理论解释，并确定这足以以与大多数当前使用的训练算法兼容的方式适当约束正在学习的参数集。

引用本文

BibTeX公司
@会议记录{pmlr-v144-marchi21a，title={训练深度剩余网络以获得一致逼近保证}，author={Marchi、Matteo和Gharisfard、Bahman和Tabuada、Paulo}，booktitle={第三届动力学和控制学习会议记录}，页数={677--688}，年份={2021}，editor={贾巴比、阿里和莱杰罗斯、约翰和帕帕斯、乔治J.和A.帕里罗、巴勃罗和雷希特、本杰明和汤姆林、克莱尔J.和泽林格、梅兰妮N.}，体积={144}，series={机器学习研究论文集}，月={07--08年6月}，publisher={PMLR}，pdf={http://proceedings.mlr.press/v144/marchi21a/mari21a.pdf},url={https://proceedings.mlr.press/v144/marchi21a.html},抽象={最近的研究表明，深度足够高但宽度有界的深度剩余网络能够在上确界范数意义下进行普适逼近。基于这些结果，我们说明了如何修改现有的深度剩余网训练算法，以便在上确值n下为测试误差提供逼近界orm，基于训练错误。我们的方法基于对这些网络在离散时间和连续时间的控制理论解释，并确定这足以以与大多数当前使用的训练算法兼容的方式适当约束正在学习的参数集。}}
尾注
%0会议论文%训练深度剩余网络以获得一致逼近保证%马蒂奥·马奇%巴赫曼·加勒斯法尔德%保罗·塔布阿达%B第三届动力学和控制学习会议记录%C机器学习研究进展%D 2021年%E阿里·贾德巴比%E John Lygeros公司%E乔治·J·帕帕斯%E巴勃罗·帕里罗%E本杰明·雷希特%E克莱尔·J·汤姆林%E梅兰妮·泽林格%对于pmlr-v144-marchi21a%我PMLR%电话677--688%单位https://proceedings.mlr.press/v144/marchi21a.html%V 144型%最近已经证明，具有足够高深度但有界宽度的深度残差网络能够在上确界范数意义上进行普遍逼近。基于这些结果，我们展示了如何修改现有的深度残差网络训练算法，以便基于训练误差在上确界范数下为测试误差提供近似界。我们的方法基于对这些网络在离散时间和连续时间的控制理论解释，并确定这足以以与大多数当前使用的训练算法兼容的方式适当约束正在学习的参数集。
阿帕
Marchi，M.、Gharisfard，B.和Tabuada，P.（2021）。训练深度剩余网络以获得一致逼近保证。第三届动力学和控制学习会议记录，英寸机器学习研究进展144:677-688网址：https://proceedings.mlr.press/v144/marchi21.html。

相关材料