×
赵，郑;穆罕默德·埃姆齐尔;西莫·Särkkä

深状态空间高斯过程。 （英语） Zbl 1475.62068号

统计计算。 31，第6号，第75号论文，第26页（2021年）.
摘要：本文研究深度高斯过程（DGP）回归的状态空间方法。我们通过在层次结构中的下一级高斯过程的长度尺度和幅值上分层放置变换后的高斯过程（GP）先验来构造DGP。状态空间方法的思想是将DGP表示为线性随机微分方程（SDE）的非线性分层系统，其中每个SDE对应一个条件GP。DGP回归问题随后成为状态估计问题，利用状态空间DGP的马尔可夫特性，我们可以用序贯方法有效地估计状态。计算复杂性与测量次数成线性关系。在此基础上，我们制定了状态空间MAP以及DGP回归问题的贝叶斯滤波和平滑解决方案。我们证明了所提出的模型和方法在合成非平稳信号上的性能，并将状态空间DGP应用于LIGO测量中的引力波检测。

引用于三文件

MSC公司：

62-08 统计问题的计算方法
62M20型 随机过程推断和预测

关键词：

深高斯过程;最大后验估计;高斯过程回归;状态空间;高斯滤波和平滑;颗粒过滤器;随机微分方程;引力波探测
PDF格式BibTeX公司 XML格式引用
\textit{Z.Zhao}等人，《统计计算》。31，第6号，第75号论文，第26页（2021年；Zbl 1475.62068）
全文： 内政部 arXiv公司

参考文献：

[1] 英国石油公司Abbott，《从双星黑洞合并中观察引力波》，Phys。修订稿。，116, 6, 061102 (2016) ·doi:10.1103/PhysRevLett.116.061102
[2] Al-Shedivat，M。；威尔逊股份有限公司；萨奇，Y。；胡，Z。；Xing，EP，学习具有循环结构的可扩展深层内核，J.Mach。学习。第18、82、1-37号决议（2017年）·Zbl 1434.68390号
[3] 安德里厄，C。；Doucet，A。；Holenstein，R.，《粒子马尔可夫链蒙特卡罗方法》，J.R.Stat.Soc.Ser。B（Stat.Methodol.），72，3，269-342（2010年）·Zbl 1411.65020号 ·doi:10.1111/j.1467-9868.2009.00736.x
[4] Bishop，CM，模式识别和机器学习（2006），柏林：施普林格出版社，柏林·Zbl 1107.68072号
[5] 布里戈，D。；Hanzon，B。；LeGland，F.，《非线性滤波的微分几何方法：投影滤波器》，IEEE Trans。自动。控制，43，2，247-252（1998）·Zbl 0904.93038号 ·数字对象标识代码：10.1109/9.661075
[6] 布鲁克斯，S。；盖尔曼，A。；琼斯·G。；Meng，XL，《马尔可夫链蒙特卡罗手册》（2011），剑桥：查普曼和霍尔/CRC，剑桥·Zbl 1218.65001号 ·doi:10.1201/b10905
[7] Calandra，R.，Peters，J.，Rasmussen，C.E.，Deisenroth，M.P.：回归的流形高斯过程。2016年国际神经网络联合会议（IJCNN），第3338-3345页（2016）
[8] Chang，P.E.，Wilkinson，W.J.，Khan，M.E.，Solin，A.：状态空间高斯过程模型中的快速变分学习。2020年IEEE第30届信号处理机器学习国际研讨会（MLSP）（2020年）
[9] Damianou，A.，Lawrence，N.：深高斯过程。摘自：《第十六届国际人工智能与统计会议记录》，美国亚利桑那州斯科茨代尔，第31卷，第207-215页（2013）
[10] Doucet，A。；Godsill，S。；Andrieu，C.，关于贝叶斯滤波的连续蒙特卡罗采样方法，Stat.Comput。，10, 3, 197-208 (2000) ·doi:10.1023/A:1008935410038
[11] 邓洛普，MM；马萨诸塞州吉洛米；斯图亚特，AM；Teckentrup，AL，深高斯过程有多深？，J.马赫。学习。第19、54、1-46号决议（2018年）·Zbl 1469.60107号
[12] Duvenaud，D.，Rippel，O.，Adams，R.，Ghahramani，Z.：在非常深的网络中避免病理。《第十七届国际人工智能与统计会议论文集》，PMLR，冰岛雷克雅未克，《机器学习研究论文集》第33卷，第202-210页（2014）
[13] 爱因斯坦。；Rosen，N.，《引力波》，J.Franklin Inst.著，第223、1、43-54页（1937年）·Zbl 0017.09601号 ·doi:10.1016/S0016-0032（37）90583-0
[14] 埃姆齐尔，M。；Lasanen，S。；普里沙，Z。；罗伊宁，L。；Särkkä，S.，贝叶斯反演的非静态多层高斯先验，逆概率。，2002年5月37日（2020年）·Zbl 1457.60097号 ·doi:10.1088/1361-6420/abc962
[15] Emzir，M.F.，Lasanen，S.，Purisha，Z.，Särkkä，S.：深高斯过程的Hilberts空间缩减库方法。2019年IEEE第29届信号处理机器学习国际研讨会（MLSP）（2019年）·Zbl 1457.60097号
[16] Florens-Zmirou，D.，扩散过程统计的近似离散时间方案，统计学，20，4，547-557（1989）·Zbl 0704.62072号 ·doi:10.1080/0233188908802205
[17] 弗里德曼，A.，《随机微分方程及其应用》（1975），柏林：施普林格出版社，柏林·Zbl 0323.60056号
[18] 空军加西亚-费尔南德斯；Tronarp，F。；Särkkä，S.，使用后验线性化的高斯过程分类，IEEE信号过程。莱特。，26, 5, 735-739 (2019) ·doi:10.1109/LSP.2019.2906929
[19] 格拉德·T。；Ljung，L.，控制理论：多元和非线性方法（2000），纽约：Taylor&Francis，纽约
[20] Godsill，SJ；Doucet，A。；West，M.，非线性时间序列的蒙特卡罗平滑，美国统计协会，99，465，156-168（2004）·兹比尔1089.62517 ·doi:10.1198/016214500000151
[21] 古德费罗，I。；本吉奥，Y。；Courville，A.，《深度学习》（2016），剑桥：麻省理工学院出版社，剑桥·兹比尔1373.68009
[22] 戈登，N。；鲑鱼，D。；Smith，A.，非线性/非高斯贝叶斯状态估计的新方法，IEE Proc。F（雷达和信号处理），140，2，107-113（1993）·doi:10.1049/ip-f-2.1993.0015
[23] Hartikainen，J.，Särkkä，S.：时间高斯过程回归模型的卡尔曼滤波和平滑解决方案。2010年IEEE信号处理机器学习国际研讨会，第379-384页（2010）
[24] Heinonen，M.，MannerströM，H.，Rousu，J.，Kaski，S.，Lähdesmäki，H.：非静态高斯过程回归与哈密顿蒙特卡罗。摘自：《第19届国际人工智能与统计会议论文集》，PMLR，《机器学习研究论文集》第51卷，第732-740页（2016）
[25] 希格顿，D。；Swall，J。；Kern，J.，《非静态空间建模》。贝叶斯，统计学，6，1，761-768（1999）·Zbl 0982.62079号
[26] 希尔，CD；Nuroski，P。；Bieri，L。；Garfinkle，D。；Yunes，N.，《引力波的数学》，AMS公告，64，7，686-707（2017）·Zbl 1377.83018号
[27] Itó，K。；Xiong，K.，非线性滤波问题的高斯滤波器，IEEE Trans。自动。对照组，45，5190-927（2000）·Zbl 0976.93079号 ·doi:10.1109/9.855552
[28] Jazwinski，A.，《随机过程和过滤理论》（1970），剑桥：学术出版社，剑桥·Zbl 0203.50101号
[29] Kessler，M.，从离散观测值估计遍历扩散，Scand。J.Stat.，24，2，211-229（1997）·Zbl 0879.60058号 ·doi:10.1111/1467-9469.00059
[30] Khasminskii，R.，微分方程的随机稳定性（2012），柏林：施普林格出版社，柏林·兹比尔1241.60002 ·doi:10.1007/978-3-642-23280-0
[31] Kitagawa，G.，非高斯非线性状态空间模型的蒙特卡罗滤波器和平滑器，J.Compute。Gr.Stat.，5，1，1-25（1996）
[32] Klenke，A.，《概率论：综合课程》（2014），伦敦：施普林格出版社，伦敦·Zbl 1295.60001号 ·doi:10.1007/978-1-4471-5361-0
[33] 科洛登，PE；Platen，E.，随机微分方程的数值解（1992），柏林：Springer，柏林·Zbl 0752.60043号 ·doi:10.1007/978-3-662-12616-5
[34] Koyama，S.，连续和连续离散随机动态系统的投影平滑，信号处理。，144, 333-340 (2018) ·doi:10.1016/j.sigpro.2017.10.028
[35] Kuo，HH，《随机积分导论》（2006），纽约：Springer，纽约·Zbl 1101.60001号
[36] 库什纳，HJ，最佳非线性滤波器的近似，IEEE Trans。自动。控制，12，5，546-556（1967）·doi:10.1109/TAC.1967.1098671
[37] Lazaro-Gredilla，M.，Titsias，M.：变分异方差高斯过程回归。摘自：第28届国际机器学习会议（ICML-11）会议记录，美国纽约州纽约市ACM，第841-848页（2011）
[38] Le，Q.V.，Smola，A.J.，Canu，S.：异方差高斯过程回归。摘自：美国纽约州纽约市计算机械协会第22届国际机器学习会议记录，第489-496页（2005）
[39] 林格伦，F。；H街。；Lindström，J.，《高斯场和高斯-马尔可夫随机场之间的明确联系：随机偏微分方程方法》，J.R.Stat.Soc.Ser。B（Stat.Methodol.），第73、4、423-498页（2011年）·Zbl 1274.62360号 ·文件编号：10.1111/j.1467-9868.2011.00777.x
[40] Luengo，D。；马蒂诺，L。；布加洛，M。；埃尔维拉，V。；Särkkä，S.，参数估计蒙特卡罗方法综述，EURASIP J.Adv.Signal Process。，25, 1-62 (2020)
[41] Mao，X.，《随机微分方程及其应用》（2008），牛津：伍德黑德出版社，牛津·doi:10.1533/9780857099402
[42] Monterrubio-Gómez，K。；罗伊宁，L。；韦德，S。；Damoulas，T。；Girolma，M.，稀疏分层非平稳模型的后验推断，计算。统计数据分析。，148, 106954 (2020) ·Zbl 1510.62068号 ·doi:10.1016/j.csda.2020.106954
[43] Nocedal，J。；Wright，SJ，《数值优化》（2006），柏林：施普林格出版社，柏林·Zbl 1104.65059号
[44] Øksendal，B.，《随机微分方程：应用简介》（2003），柏林：施普林格出版社，柏林·Zbl 1025.60026号 ·doi:10.1007/978-3-642-14394-6
[45] Paciorek，C.J.，Schervish，M.J.：高斯过程回归的非平稳协方差函数。摘自：《神经信息处理系统进展》16，麻省理工学院出版社，第273-280页（2004年）
[46] CJ帕西奥雷克；Schervish，MJ，使用一类新的非平稳协方差函数的空间建模，Environmetrics，17，54883-506（2006）·doi:10.1002/env.785
[47] Quinonero-Candela，J.，Rasmussen，C.E.：稀疏近似高斯过程回归的统一观点。J.马赫。学习。决议6（12月）：1939-1959（2005）·Zbl 1222.68282号
[48] 拉斯穆森，CE；Williams，CKI，《机器学习的高斯过程》（2006），剑桥：麻省理工学院出版社，剑桥·Zbl 1177.68165号
[49] 罗杰斯，C。；Williams，D.，扩散、马尔可夫过程和鞅，（2000），剑桥：剑桥大学出版社，剑桥·Zbl 0949.60003号 ·doi:10.1017/CBO9781107590120
[50] 罗杰斯，C.，威廉姆斯，D.：扩散，马尔可夫过程和鞅，第2卷，第2版。剑桥大学出版社（2000b）·Zbl 0949.60003号
[51] 罗伊宁，L。；Girolma，M。；Lasanen，S。；Markkanen，M.，Matérn场的超验函数及其在贝叶斯反演中的应用，反问题成像，13，1，1-29（2019）·Zbl 1454.60068号 ·doi:10.3934/ipi.2019001
[52] Rudner，T。；Sejdinovic，D。；Gal，Y.，具有RKHS傅立叶特征的域间深高斯过程，Proc。内部配置机。学习。，2020, 10236-10245 (2020)
[53] Salimbeni，H.，Deisenroth，M.：深高斯过程的双重随机变分推断。In:神经信息处理系统进展，Curran Associates，Inc.，第30卷（2017a）
[54] Salimbeni，H.，Deisenroth，M.P.：深度非平稳高斯过程。In:NIPS贝叶斯深度学习研讨会（2017b）
[55] PD桑普森；Guttorp，P.，非平稳空间协方差结构的非参数估计，美国统计协会，87，417，108-119（1992）·doi:10.1080/01621459.1992.10475181
[56] Särkkä，S.：贝叶斯滤波与平滑。《数理统计研究所教材》，剑桥大学出版社（2013）·Zbl 1274.62021号
[57] Särkkä，S.，Hartikainen，J.：时空高斯过程回归的无限维卡尔曼滤波方法。《第十五届国际人工智能和统计会议记录》，加那利群岛拉帕尔马，第22卷，第993-1001页（2012年）
[58] 南卡罗来纳州。；Sarmavuori，J.，连续离散动态系统的高斯滤波与平滑，信号处理。，93, 2, 500-510 (2013) ·doi:10.1016/j.sigpro.2012.09.002
[59] Särkkä，S.，Solin，A.：应用随机微分方程。剑桥大学出版社数学统计研究所教材（2019）·Zbl 1467.60043号
[60] 南卡罗来纳州。；索林，A。；Hartikainen，J.，《通过无限维贝叶斯滤波和平滑的时空学习：通过卡尔曼滤波的高斯过程回归》，IEEE信号过程。Mag.，30，4，51-61（2013）·doi:10.10109/MSP.2013.2246292
[61] 沈毅。；罗奇。；Mao，X.，随机泛函微分方程的改进LaSalle型定理，J.Math。分析。申请。，318, 1, 134-154 (2006) ·Zbl 1090.60059号 ·doi:10.1016/j.jmaa.2005.05.026
[62] Snelson，E.，Ghahramani，Z.，Rasmussen，C.E.：扭曲高斯过程。摘自：《神经信息处理系统进展》16，第337-344页。麻省理工学院出版社（2004）
[63] Tolvanen，V.，Jylänki，P.，Vehtari，A.：非平稳异方差高斯过程回归的期望传播。2014年IEEE信号处理机器学习国际研讨会（MLSP）（2014年）
[64] Vannucci，M。；Corradi，F.，《小波系数的协方差结构：贝叶斯视角下的理论和模型》，J.R.Stat.Soc.Ser。B（Stat.Methodol.），第61、4、971-986页（1999年）·Zbl 0940.62023号 ·doi:10.1111/1467-9868.00214
[65] Wilkinson，W.，Solin，A.，Adam，V.：马尔科夫-高斯过程的稀疏算法。在：《第24届国际人工智能与统计会议论文集》，第130卷，第1747-1755页（2021）
[66] Wilson，A.G.，Hu，Z.，Salakhutdinov，R.，Xing，E.P.：深层内核学习。摘自：《第19届人工智能与统计国际会议论文集》，PMLR，西班牙加的斯，《机器学习研究论文集》第51卷，第370-378页（2016a）
[67] Wilson，A.G.，Hu，Z.，Salakhutdinov，R.R.，Xing，E.P.：随机变分深核学习。In:神经信息处理系统进展，Curran Associates，Inc.，第29卷（2016b）
[68] Xu博士。；杨，Z。；Huang，Y.，随机泛函微分方程的存在唯一性和连续性定理，J.Differ。Equ.、。，245, 6, 1681-1703 (2008) ·Zbl 1161.34055号 ·doi:10.1016/j.jde.2008.03.029
[69] Zhao，Z.，Karvonen，T.，Hostettler，R.，Särkkä，S.：连续离散高斯滤波的泰勒矩展开。IEEE自动控制汇刊（2021）·Zbl 1471.93269号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。