×
秋弘Oga;尤塔·柯克

使用深度神经网络的多维扩散过程的漂移估计。 （英语） Zbl 07812480号

随机过程应用。 170，文章ID 104240，25 p.（2024）。
摘要：最近，许多研究揭示了深度神经网络方法在非参数回归模型中的高度自适应性，并为各种函数类建立了其优越的性能。基于这一发展，我们研究了一种深度神经网络方法，以从离散观测值估计多维扩散过程的漂移系数。我们推导了基于深度神经网络的最小二乘估计的泛化误差界，并证明了当漂移函数具有组合结构时，它们达到了对数因子的最小最大收敛速度。

MSC公司：

2005年6月2日 马尔可夫过程：估计；隐马尔可夫模型
62G08号 非参数回归和分位数回归
62G05型 非参数估计
6220国集团 非参数推理的渐近性质
68T07型 人工神经网络与深度学习

关键词：

深度学习;最小二乘估计;极小极大估计;非参数漂移估计;oracle不等式
PDF格式BibTeX公司 XML格式引用
\textit{A.Oga}和\textit{Y.Koike}，随机过程应用。170，文章ID 104240，25 p.（2024；Zbl 07812480）
全文： 内政部 arXiv公司

参考文献：

[1] 班迪，F.M。；Moloche，G.，《关于多元扩散过程的函数估计》，经济学。理论，34896-946，（2018）·Zbl 1393.62036号
[2] 巴洛，M.T。；Jacka，S.D.博士。；Yor，M.，一对过程在随机时间停止的不等式，Proc。伦敦。数学。《社会学杂志》，52，142-172，（1986）·Zbl 0585.60055号
[3] Bauer，B。；Kohler，M.，《深度学习作为非参数回归中维度诅咒的补救方法》，《统计年鉴》。，47, 2261-2285, (2019) ·Zbl 1421.62036号
[4] Cloninger，A。；Klock，T.，一种适应领域外内在维度的深度网络构建，神经网络。，141, 40-419, (2021) ·Zbl 1532.68093号
[5] F.孔德。；Genon-Catalot，V.，扩散模型非紧支撑的漂移估计，随机过程。申请。，134, 174-207, (2021) ·Zbl 1473.62290号
[6] F.孔德。；Genon-Catalot，V。；Rozenholc，Y.，扩散过程系数的Penalized非参数均方估计，Bernoulli，13，514-543，（2007）·Zbl 1127.62067号
[7] Dallayan，A.，遍历扩散漂移函数的夏普自适应估计，Ann.Statist。，33, 2507-2528, (2005) ·Zbl 1084.62079号
[8] Dalalyan，A。；Reiß，M.，遍历扩散的渐近统计等价性：多维情况，Probab。理论相关领域，137，25-47，（2007）·Zbl 1105.62004号
[9] 于达维多夫。马尔可夫链的混合条件，理论概率。申请。，18312-3281973年·Zbl 0297.60031号
[10] Eguchi，S。；Masuda，H.，高斯拟似然推断中的数据驱动时间尺度，统计推断Stoch。过程。，22, 383-430, (2019) ·Zbl 1433.62247号
[11] Elbrächter，D。；Perekrestenko，D。；Grohs，P。；Bölcskei，H.，深度神经网络近似理论，IEEE Trans。通知。理论，672581-2623，（2021）·兹比尔1473.68178
[12] 戈贝，E。；霍夫曼，M。；Reiß，M.，基于低频数据的标量扩散的非参数估计，Ann.Statist。，32, 2223-2253, (2004) ·Zbl 1056.62091号
[13] Hairer，M.，马尔可夫过程的遍历性，（讲义，（2006）），可在http://www.hairer.org/notes/Markov.pdf
[14] 海尔，M。；Mattingly，J.C.，《再看哈里斯的马尔可夫链遍历定理》（Dalang，R.C.；Dozzi，M.；Russo，F.，随机分析、随机域和应用研讨会VI，（2011），Springer），109-117·兹比尔1248.60082
[15] Hayakawa，S。；铃木，T.，关于深度神经网络学习在稀疏参数空间上的极小极大最优性和优越性，神经网络。，123, 343-361, (2020) ·Zbl 1434.68508号
[16] Hoffmann，M.，扩散过程中的自适应估计，随机过程。申请。，79, 135-163, (1999) ·Zbl 1043.62528号
[17] Imaizumi，M。；Fukumizu，K.，深度神经网络有效学习非光滑函数，（第22届国际人工智能与统计会议，（2019），PMLR），869-878
[18] Imaizumi，M。；Fukumizu，K.，深度神经网络在估计超曲面上奇异函数方面的优势，J.Mach。学习。研究，23，1-54，（2022）
[19] Kulik，A.，马尔可夫过程的遍历行为，（2018），德格鲁特·Zbl 1386.60006号
[20] Kutoyants，Y.A.，遍历扩散过程的统计推断，（2004），Springer Science and Business Media·Zbl 1038.62073号
[21] 库兹涅佐夫，V。；Mohri，M.，非平稳混合过程的广义界，马赫。学习。，106, 93-117, (2017) ·Zbl 1412.68186号
[22] Liebscher，E.，《关于证明非线性自回归过程的几何遍历性和混合特性的统一方法》，《时间序列分析》。，26, 669-689, (2005) ·Zbl 1092.62091号
[23] Liptser，R.S。；Shiryaev，A.N.，《随机过程统计：I.一般理论》，（2001），施普林格出版社·Zbl 1008.62072号
[24] Masuda，H.，离散观测的遍历Ornstein-Uhlenbeck过程的近似自加权LAD估计，电子。《美国联邦法律大全》第4卷第525-565页（2010年）·Zbl 1329.62364号
[25] Nakada，R。；Imaizumi，M.，具有内在维数的深度神经网络的自适应逼近和泛化，J.Mach。学习。决议，21，1-38，（2020年）·Zbl 1525.68135号
[26] Nickl，R。；Ray，K.，多维扩散漂移向量场的非参数统计推断，Ann.Statist。，48, 1383-1408, (2020) ·Zbl 1450.62041号
[27] Ogihara，T.，《高频观测的指定错误扩散模型及其在神经网络中的应用》，《随机过程》。申请。，142245-292（2021）·Zbl 1476.62191号
[28] 哦，我。；Kim，Y.，深度神经网络的非凸稀疏正则化及其优化，神经计算。，34, 476-517, (2022) ·Zbl 07481540号
[29] de la Pena，V.H。；Klass，M.J。；Lai，T.L.，自规范化过程：指数不等式、矩界和重对数定律，Ann.Probab。，32, 1902-1933, (2004) ·Zbl 1075.60014号
[30] 钱，Z。；Russo，F。；Zheng，W.，扩散过程转移概率密度的比较定理和估计，Probab。理论相关领域，127388-406，（2003）·Zbl 1050.60061号
[31] Rio，E.，弱相依序列的不等式和极限定理，（2013），预印本，网址：https://cel.archives-ouvertes.fr/cel-00867106v2
[32] Schmidt-Hieber，J.，流形上函数的Deep-ReLU网络逼近，（2019），arXiv
[33] Schmidt-Hieber，J.，利用ReLU激活函数的深度神经网络进行非参数回归，Ann.Statist。，1875-1897年（2020年）·Zbl 1459.62059号
[34] Schmisser，E.，多维扩散过程的惩罚非参数漂移估计，统计学，47，61-84，（2013）·Zbl 1440.62321号
[35] Schmisser，E.，带跳扩散系数的非参数估计，随机过程。申请。，129, 5364-5405, (2019) ·Zbl 1428.62378号
[36] 斯波科尼，V.G.，非参数扩散模型的自适应漂移估计，Ann.Statist。，28, 815-836, (2000) ·Zbl 1105.62330号
[37] Strauch，C.，遍历扩散的夏普自适应漂移估计：多元情况，随机过程。申请。，125, 2562-2602, (2015) ·兹比尔1314.62196
[38] Strauch，C.，多维遍历扩散的精确自适应逐点漂移估计，Probab。理论相关领域，164361-400，（2016）·Zbl 1332.62290号
[39] 斯特罗克，D.W。；Varadhan，S.R.S.，多维扩散过程，（2006），Springer·Zbl 1103.60005号
[40] Sun，R.-Y.，《深度学习的优化：概述》，J.Oper。中国Res.Soc.，8249-294，（2020）·兹比尔1463.90212
[41] T.Suzuki，深度ReLU网络在Besov和混合光滑Besov空间中学习的适应性：最优速率和维数诅咒，收录于：国际学习表征会议，ICLR，2019年。
[42] 铃木，T。；Nitanda，A.，深度学习适用于各向异性Besov空间中模型平滑的内在维数，高级神经网络过程。系统。，34, 3609-3621, (2021)
[43] Tsuji，K。；铃木，T.，变指数贝索夫空间回归问题的深度学习估计误差分析，电子。J.Stat.，1869-1908年，（2021年）·Zbl 1472.62144号
[44] Tsybakov，A.B.，《非参数估计导论》（2009），施普林格出版社·Zbl 1176.62032号
[45] 范德法特，A.W。；Wellner，J.A.，《弱收敛与经验过程》（1996），Springer·Zbl 0862.60002号
[46] Vershynin，R.，《高维概率》（2018），剑桥大学出版社·Zbl 1430.60005号
[47] Volkonskii，V.A。；于罗扎诺夫。随机函数的一些极限定理。一、 理论问题。申请。，4, 178-197, (1959) ·Zbl 0092.33502号
[48] Yu，B.，平稳混合序列经验过程的收敛速度，Ann.Statist。，1994年11月22日·Zbl 0802.60024号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。