@第{CiCP-27-379条，author={李、伯唐、珊珊和于海军}，title={用带整流功率单元的深度神经网络更好地逼近高维光滑函数}，journal={计算物理中的通信}，年份={2019}，体积={27}，数字={2}，页数={379--411}，抽象={具有校正线性单元（ReLU）的深度神经网络越来越多由于其普遍的表示能力和成功的应用，更受欢迎。关于深ReLU近似幂的一些理论进展最近，在Sobolev空间和Korobov空间中建立了函数网络作者：[D.Yarotsky，Neural Network，94:103-1142017]和[H.Montanelli和Q.Du，SIAM数学杂志。数据科学。，1：78-92，2019]等。在本文中，我们表明，带整流功率单元（RePU）的深网络可以为平滑提供更好的近似值功能优于深层ReLU网络。我们的分析基于经典多项式近似理论和本文提出的一些有效的转换算法多项式转化为无近似误差的最佳尺寸的深层RePU网络。与ReLU网络的结果相比具有误差容限的Sobolev空间和Korobov空间中的近似函数ε、 根据我们的建设性证明O美元$($log\压裂{1}{ε}$)小于的倍在大多数现有文献中构建了相应的ReLU网络。与Mhaskar的经典结果相比[Mhaska，高级计算数学.1:61-801993]，我们的构造使用较少的激活函数，数值更稳定，它们可以作为深层RePU网络的良好首字母，并进一步训练以打破线性逼近理论的极限。RePU网络所代表的功能是光滑函数，因此它们自然适合于涉及导数的地方在损失函数中。
},issn＝{1991-7120}，doi={https://doi.org/10.4208/cicp.OA-2019-0168},url={http://global-sci.org/intro/article_detail/cicp/13451.html}}
TY-JOUR公司用带整流功率单元的深度神经网络更好地逼近高维光滑函数AU-李波AU-Tang，鄯善AU-Yu，海军JO-计算物理通信VL-2级SP-379EP-4112019年上半年DA-2019/12序号-27做-http://doi.org/10.4208/cicp.OA-2019-0168UR-（欧元）https://global-sci.org/intro/article_detail/cicp/13451.htmlKW-深度神经网络，高维近似，稀疏网格，校正线性单位，整流功率单位，整流二次单位。AB公司-具有校正线性单元（ReLU）的深度神经网络越来越多由于其普遍的表示能力和成功的应用，更受欢迎。关于深ReLU近似幂的一些理论进展Sobolev空间和Korobov空间中的函数网络最近已经形成作者：[D.Yarotsky，Neural Network，94:103-1142017]和[H.Montanelli和Q.Du，SIAM J数学。数据科学。，1：78-92，2019]等。在本文中，我们表明，带整流功率单元（RePU）的深网络可以为平滑提供更好的近似值功能优于深层ReLU网络。我们的分析基于经典多项式近似理论和本文提出的一些有效的转换算法多项式转化为无近似误差的最佳尺寸的深层RePU网络。与ReLU网络的结果相比，RePU网络的大小需要具有误差容限的Sobolev空间和Korobov空间中的近似函数ε、 通过我们的建设性证明O美元$($log\压裂{1}{ε}$)小于的倍在大多数现有文献中构建了相应的ReLU网络。与Mhaskar的经典结果相比[Mhaska，高级计算数学.1:61-801993]，我们的构造使用较少的激活函数，数值更稳定，它们可以作为深层RePU网络的良好首字母，并进一步训练以打破线性逼近理论的极限。RePU网络所代表的功能是光滑函数，因此它们自然适合于涉及导数的地方在损失函数中。
Bo Li、Shanshan Tang和Haijun Yu。(2019). 用带整流功率单元的深度神经网络更好地逼近高维光滑函数。计算物理中的通信.27(2).379-411.doi:10.4208/cicp。OA-2019-0168
复制到剪贴板
