×
君士坦丁诺·加西亚。;保罗·费利克斯;Presedo，Jesús M。;亚伯拉罕·奥特罗

通过变分自编码器随机嵌入动力学现象。 （英语） Zbl 07518058号

J.计算。物理学。 454，文章ID 110970，22 p.（2022）。
总结：在观察到的变量数量小于动力学自由度的情况下，系统识别是一个重要的挑战。在这项工作中，我们通过使用识别网络在相空间重建过程中增加观测到的空间维数来解决这个问题。相空间被强迫具有近似马尔可夫动力学，由随机微分方程（SDE）描述，这也是有待发现的。为了从随机数据中实现稳健的学习，我们使用贝叶斯范式，并在漂移和扩散项上放置先验值。为了处理学习后验函数的复杂性，引入了一组对真实后验函数进行平均场变分近似的方法，从而实现了有效的统计推断。最后，使用解码器网络对实验数据进行合理的重构。这种方法的主要优点是，所得到的模型可以在统计物理学的范式中进行解释。我们的验证表明，该方法不仅恢复了与原始状态空间相似的状态空间，而且能够合成捕获实验数据主要属性的新时间序列。

MSC公司：

68泰克 人工智能
65立方厘米 概率方法，随机微分方程
62Gxx公司 非参数推理

关键词：

随机微分方程;高斯过程状态空间模型;结构化变分自动编码器

软件：

TensorFlow公司;火炬差异;PILCO公司;火炬;G流量;PMTK公司
PDF格式BibTeX公司 XML格式引用
\textit{C.A.GarcíA}等人，《计算杂志》。物理学。454，文章ID 110970，22 p.（2022；Zbl 07518058）
全文： 内政部 arXiv公司

参考文献：

[1] Takens，F.，《探测湍流中的奇怪吸引子》（数学讲义，第898卷（1981）），366-381·Zbl 0513.58032号
[2] Sauer，T。；约克，J.A。；Casdagli，M.，嵌入式，J.Stat.Phys。，65, 579-616 (1991) ·Zbl 0943.37506号
[3] 康茨，H。；Schreiber，T.，《非线性时间序列分析》，第7卷（2004），剑桥大学出版社·Zbl 1050.62093号
[4] 瓦拉科斯，I。；Kugiumtzis，D.，《非均匀状态空间重构和耦合检测》，Phys。E版，82，第016207条pp.（2010）
[5] Tran，Q.H。；长谷川，Y.，带延迟变量嵌入的拓扑时间序列分析，Phys。E版，99，第032209条pp.（2019）
[6] 出版社，W.H。；Teukolsky，S.A。；弗兰纳里，B.P。；Vetterling，W.T.，《Fortran中的数字配方77：第1卷，Fortran数字配方：科学计算的艺术》，第1卷（1991），剑桥大学出版社
[7] 施密德，P.J.，数值和实验数据的动态模式分解，J.流体力学。，656, 5-28 (2010) ·Zbl 1197.76091号
[8] Brunton，S.L。；布伦顿，B.W。；Proctor，J.L。；Kaiser，E。；Kutz，J.N.，《作为间歇性受迫线性系统的混沌》，《自然通讯》。，8，1-9（2017）
[9] M.O.威廉姆斯。；Kevrekidis，I.G。；Rowley，C.W.，Koopman算子的数据驱动近似：扩展动态模式分解，非线性科学杂志。，25, 1307-1346 (2015) ·Zbl 1329.65310号
[10] Lusch，B。；库茨，J.N。；Brunton，S.L.，《非线性动力学普遍线性嵌入的深度学习》，国家通讯社。，9, 1-10 (2018)
[11] Takeishi，N。；Y.川原。；Yairi，T.，学习动态模式分解的Koopman不变子空间，（神经信息处理系统进展（2017）），1130-1140
[12] 是的，我。；de Bézenac，E。；Pajot，A。；Brajard，J。；Gallinari，P.，从部分观测中学习动力系统（2019），arXiv预印本
[13] 瓦拉，S。；Nguyen，D。；Drumetz，L。；查普伦，B。；Pascual，A。；科勒德，F。；Gaultier，L。；Fablet，R.，学习部分观测混沌系统的潜在动力学（2019），arXiv预印本·Zbl 1456.37099号
[14] 莱斯，M。；Karniadakis，G.E.，《隐藏物理模型：非线性偏微分方程的机器学习》，J.Compute。物理。，357, 125-141 (2018) ·Zbl 1381.68248号
[15] Yap，H.L。；埃夫特哈里，A。；Wakin，M.B。；Rozell，C.J.，《Takens嵌入稳定性的首次分析》，（2014年IEEE信号和信息处理全球会议（GlobalSIP）（2014），IEEE），404-408
[16] 弗里德里希，R。；彭克，J。；萨希米，M。；Tabar，M.R.R.，《用随机方法处理复杂性：从生物系统到湍流》，《物理学》。众议员，50687-162（2011）
[17] Risken，H.，福克-普朗克方程（The Fokker-Planck equation（1996），Springer），63-95
[18] 戴森罗斯，M。；Rasmussen，C.E.，Pilco：基于模型和数据效率的政策搜索方法，（《第28届机器学习国际会议论文集》，第28届国际机器学习会议论文集，ICML-11（2011）），465-472
[19] Murphy，K.P.，《机器学习：概率观点》（2012），麻省理工学院出版社·兹比尔1295.68003
[20] 弗里戈拉，R。；Lindsten，F。；Schön，T.B。；Rasmussen，C.E.，使用粒子MCMC的高斯过程状态空间模型中的贝叶斯推断和学习，（神经信息处理系统进展（2013）），3156-3164
[21] 弗里戈拉，R。；陈，Y。；Rasmussen，C.E.，变分高斯过程状态空间模型，（神经信息处理系统进展（2014）），3680-3688
[22] Eleftheriadis，S。；Nicholson，T。；Deisenroth，M。；Hensman，J.，高斯过程状态空间模型的识别，（神经信息处理系统进展（2017）），5309-5319
[23] Krishnan，R.G。；沙利特，美国。；Sontag，D.，Deep Kalman过滤器（2015），arXiv预印本
[24] 约翰逊，M。；Duvenaud，D.K。；Wiltschko，A。；亚当斯·R·P。；Datta，S.R.，用神经网络构建图形模型以进行结构化表示和快速推理，（神经信息处理系统进展（2016）），2946-2954
[25] 莫勒，J.K。；Madsen，H.，通过Lamperti变换从随机微分方程中的状态依赖扩散到常数扩散（2010），DTU信息学
[26] 克劳登，体育。；Platen，E.，随机微分方程的数值解，数学应用（1999），Springer·Zbl 0701.60054号
[27] Ruttor，A。；巴茨，P。；Opper，M.，随机微分方程中漂移函数的近似高斯过程推断，（神经信息处理系统进展（2013）），2040-2048
[28] 加利福尼亚州加西亚。；奥特罗，A。；费利克斯，P。；Presedo，J。；Márquez，D.G.，稀疏高斯过程随机微分方程的非参数估计，物理学。E版，96，第022104条，pp.（2017）
[29] Lehmann，E.L。；Casella，G.，《点估计理论》（2006），Springer Science&Business Media
[30] Frigola，R.，高斯过程的贝叶斯时间序列学习（2015），剑桥大学，博士论文
[31] 医学博士霍夫曼。；布莱，D.M。；王，C。；Paisley，J.，随机变分推理，J.马赫。学习。第14号决议，1303-1347（2013）·Zbl 1317.68163号
[32] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。统计，400-407（1951）·Zbl 0054.05901号
[33] 公元Ialongo。；范德威尔克，M。；亨斯曼，J。；Rasmussen，C.E.，克服递归高斯过程模型中的平均场近似（2019），arXiv预印本
[34] Quiñonero-Candela，J。；Rasmussen，C.E.，稀疏近似高斯过程回归的统一观点，J.Mach。学习。1939-1959年第6号决议（2005年）·兹比尔1222.68282
[35] 亨斯曼，J。；福斯，N。；Lawrence，N.D.，《大数据的高斯过程》，（人工智能中的不确定性（2013）），282
[36] Murphy，K.P.，高斯分布的共轭贝叶斯分析（2007），技术报告
[37] Kingma，D.P。；Welling，M.，自动编码变分贝叶斯（2013），arXiv预印本
[38] Kalman，R.E.，《线性滤波和预测问题的新方法》，《基础工程杂志》，第82期，第35-45页（1960年）
[39] 坎德拉，J.Q.n。；Girard，A。；Larsen，J。；Rasmussen，C.E.，贝叶斯核模型中的不确定性传播——应用于多步预测，（IEEE声学、语音和信号处理国际会议论文集，2003年（ICASSP’03），第2卷（2003年），IEEE），第II-701页
[40] Deisenroth，M.P。；Huber，M.F。；Hanebeck，U.D.，基于分析矩的高斯过程滤波，（第26届机器学习国际年会论文集（2009），ACM），225-232
[41] Deisenroth，M.P。；特纳，R.D。；Huber，M.F。；哈内贝克，美国。；Rasmussen，C.E.，高斯过程的稳健滤波和平滑，IEEE Trans。自动。控制，571865-1871（2012）·兹比尔1369.93678
[42] TensorFlow：异构系统上的大规模机器学习（2015），可从TensorFlow.org获得软件
[43] 马修斯（A.G.De G.Matthews）。；范德威尔克，M。；Nickson，T。；Fujii，K。；布库瓦拉斯，A。；León-Villagrá，P。；加赫拉马尼，Z。；Hensman，J.，《GPflow:使用TensorFlow，J.Mach的高斯过程库》。学习。第18号决议，1299-1304（2017）·Zbl 1437.62127号
[44] 帕斯卡努，R。；Mikolov，T。；Bengio，Y.，《关于训练递归神经网络的困难》，（国际机器学习会议（2013）），1310-1318
[45] Andrieu，C。；Doucet，A。；Holenstein，R.，《粒子马尔可夫链蒙特卡罗方法》，J.R.Stat.Soc.，Ser。B、 统计方法。，72269-342（2010年）·Zbl 1411.65020号
[46] 男孩，R.J。；威尔金森，D.J。；Kirkwood，T.B.，离散观测随机动力学模型的贝叶斯推断，统计计算。，18, 125-135 (2008)
[47] Sheather，S.J。；Jones，M.C.，《一种用于核密度估计的可靠的基于数据的带宽选择方法》，J.R.Stat.Soc.B，53，683-690（1991）·Zbl 0800.62219
[48] Wilson，A。；Adams，R.，用于模式发现和外推的高斯过程核，（国际机器学习会议（2013）），1067-1075
[49] Cao，L.，确定标量时间序列最小嵌入维数的实用方法，Physica D，110，43-50（1997）·Zbl 0925.62385号
[50] Neal，R.M.，《神经网络贝叶斯学习》，第118卷（2012），施普林格科学与商业媒体
[51] Chen，R.T.Q。；Rubanova，Y。；Bettencourt，J。；Duvenaud，D.K.，《神经常微分方程》（Bengio，S.；Wallach，H.；Larochelle，H.）；Grauman，K.；Cesa-Bianchi，N.；Garnett，R.，《神经信息处理系统的进展》，第31卷（2018），Curran Associates，Inc.），6571-6583
[52] 李，X。；Wong，T.-K.L。；Chen，R.T。；Duvenaud，D.，随机微分方程的可缩放梯度（2020），arXiv预印本
[53] 居里，S。；Melchior，S。；Berkenkamp，F。；Krause，A.，部分可观测不稳定高斯过程状态空间模型中的结构化变分推理，Proc。机器。学习。决议，120，1-11（2020年）
[54] Doerr，A。；丹尼尔，C。；Schiegg，M。；Nguyen-Tuong，D。；沙尔，S。；杜桑，M。；Trimpe，S.，概率递归状态空间模型，（机器学习国际会议（ICML），PMLR（2018）），1280-1289
[55] García，C.a.，vaele:基于SDE的结构化变分自动编码器（2020）
[56] DasGupta，A.，《指数族和统计应用》（The index family and statistical applications）（《统计学和机器学习的概率》（Probability for Statistics and Machine Learning）（2011），施普林格出版社），583-612·Zbl 1233.62001
[57] Amari，S.-I.，《自然梯度在学习中有效工作》，《神经计算》。，10, 251-276 (1998)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。