×

海量时空数据的多分辨率过滤器。 (英语) Zbl 07499939号

摘要:时空数据集的规模正在迅速增长。例如,通过增加安装在卫星和飞机上的自动传感器的数量,以越来越高的分辨率测量环境变量。使用此类数据(通常是有噪声且不完整的数据),目的是获得时空过程的完整地图,以及不确定性量化。本文主要研究线性高斯状态空间模型中的实时滤波推断。在每个时间点,状态是在一个非常大的空间网格上评估的空间场,使用卡尔曼滤波器进行精确推断在计算上是不可行的。相反,我们提出了一种多分辨率滤波器(MRF),这是一种可在所有尺度上解析空间特征的高度可扩展和完全概率滤波方法。我们证明了MRF矩阵表现出一种特殊的块解析多分辨率结构,这种结构在滤波操作下会随着时间的推移而保持不变。我们描述了与现有方法的联系,包括来自数值数学的层次矩阵。我们还讨论了使用近似Rao-Blackwellized粒子滤波器对时变参数的推断,其中使用MRF计算积分似然。通过仿真研究和实际卫星数据应用,我们表明MRF大大优于竞争方法。补充材料包括用于再现模拟的Python代码、MRF的一些详细属性和辅助理论结果。

MSC公司:

62至XX 统计
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ambikasaran,S。;Darve,E.,“部分层次半可分离矩阵的快速直接解算器”,《科学计算杂志》,57477-501(2013)·Zbl 1292.65030号
[2] Ambikasaran,S。;Foreman Mackey博士。;Greengard,L。;霍格,D.W。;O'Neil,M.,“高斯过程的快速直接方法,IEEE模式分析和机器智能汇刊,38,252-265(2016)·doi:10.1109/TPAMI.2015.2448083
[3] 安德森,J.L。;Anderson,S.L.,“产生集合同化和预测的非线性滤波问题的蒙特卡罗实现,《月度天气评论》,1272741-2758(1999)·doi:10.1175/1520-0493(1999)127<2741:AMCIOT
[4] 比兹利,J.D。;曼德尔,J。;Cobb,L.,“小波集成卡尔曼滤波器”,第六届IEEE智能数据采集和高级计算系统国际会议论文集,2514-517(2011),pp
[5] 布拉德利,J.R。;Holan,S.H。;Wikle,C.K.,“高维数值数据的计算效率多元时空模型”(含讨论),贝叶斯分析,13,253-310(2018)·Zbl 1392.62148号 ·doi:10.1214/17-BA1069
[6] Chui,C.,《小波简介》(1992),加利福尼亚州圣地亚哥:学术出版社,加利福尼亚州圣迭戈·兹伯利0925.42016
[7] 北卡罗来纳州克雷西。;施,T。;Kang,E.L.,“时空数据的固定秩滤波,计算与图形统计杂志,19724-745(2010)·doi:10.1198/jcgs.2010.09051
[8] 克里斯蒂·R。;Tummala,M.,“多速率,多分辨率,递归卡尔曼滤波器,信号处理,801945-1958(2000)·Zbl 1035.94508号 ·doi:10.1016/S0165-1684(00)00104-3
[9] Datta,A。;班纳吉,S。;芬利,A.O。;Gelfand,A.E.,“大型地质统计数据集的层次最近邻高斯过程模型”,美国统计协会杂志,111,800-812(2016)·doi:10.1080/01621459.2015.1044091
[10] Datta,A。;班纳吉,S。;芬利,A.O。;哈姆,N.A.S。;Schaap,M.,“大型时空数据的不可分离动态最近邻高斯过程模型及其在颗粒物分析中的应用,应用统计年鉴,101286-1316(2016)·Zbl 1391.62269号 ·doi:10.1214/16-AOAS931
[11] DelSole,T。;Yang,X.,“随机动力学模型中的状态和参数估计,物理D,2391781-1788(2010)·兹比尔1197.37100 ·doi:10.1016/j.physd.2010.06.001
[12] 杜克,R。;O·卡佩。;Moulines,E.,《颗粒过滤重采样方案的比较》,ISPA 2005年。第四届图像和信号处理与分析国际研讨会论文集,64-69(2005)·doi:10.1109/ISPA.2005.195385
[13] Doucet,A。;德弗里塔斯,N。;墨菲,K。;Russell,S.,“用于动态贝叶斯网络的Rao Blackwellised粒子滤波”,第十六届人工智能不确定性会议论文集,176-183(2000)
[14] Doucet,A。;德弗里塔斯,N。;墨菲,K。;Russell,S.,“动态贝叶斯网络的Rao-Blackwellied粒子滤波”,arXiv编号1301.3853(2013)
[15] Evensen,G.,“使用蒙特卡罗方法预测误差统计的非线性准营养模型的序列数据同化,地球物理研究杂志,99,10143-10162(1994)·doi:10.1029/94JC00572
[16] Evensen,G.,《数据同化:集合卡尔曼滤波器》(2007),柏林,海德堡:施普林格,柏林,海德堡·Zbl 1157.86001号
[17] 芬利,A.O。;Sang,H。;班纳吉,S。;Gelfand,A.E.,“提高大型数据集预测过程建模的性能”,计算统计与数据分析,532873-2884(2009)·Zbl 1453.62090号
[18] 戈登,N。;鲑鱼,D。;Smith,A.,“非线性/非高斯贝叶斯状态估计的新方法”,IEE Proceedings F(雷达和信号处理),140107-113(1993)·doi:10.1049/ip-f-2.1993.0015
[19] 吉尼斯,J.,“锐化高斯过程近似的置换方法”,arXiv编号1609.05372(2016)
[20] Hackbusch,W.,《层次矩阵:算法与分析》,49(2015),柏林,海德堡:施普林格,柏林,海德堡·Zbl 1336.65041号
[21] Harville,D.A.,《统计学家视角下的矩阵代数》(1997),纽约州纽约市:斯普林格·Zbl 0881.15001号
[22] 希顿,M.J。;Datta,A。;芬利,A。;富勒,R。;Guhaniyogi,R。;Gerber,F。;Gramacy,R.B。;哈姆林,D。;卡茨福斯,M。;林格伦,F。;Nychka,D.W。;Sun,F。;Zammit-Mangion,A.,“大型空间数据分析方法:回顾与比较”,arXiv第1710.05013号(2017年)
[23] 亨德森,H。;Searle,S.,“关于求矩阵和的逆,SIAM评论,23,53-60(1981)·Zbl 0451.15005号 ·数字对象标识代码:10.1137/1023004
[24] 希克曼,K.S。;Godinez,H.C.,“使用小波分解的多分辨率集合卡尔曼滤波器”,arXiv no.1511.01935(2015)·Zbl 1387.86032号
[25] Hogben,L.,《线性代数、离散数学及其应用手册》(2006),佛罗里达州博卡拉顿:CRC出版社,佛罗里达州波卡拉顿
[26] Houtekamer,P.L。;Zhang,F.,“大气数据同化的集合卡尔曼滤波器综述,《月度天气评论》,144,4489-4532(2016)·doi:10.1175/MWR-D-15-0440.1
[27] Kalman,R.,“线性滤波和预测问题的新方法”,《基础工程杂志》,第82期,第35-45页(1960年)·数字对象标识代码:10.1115/1.3662552
[28] Kanter,M.,“单峰谱窗,统计与概率字母,34,403-411(1997)·兹比尔0895.60017
[29] Katzfush,M.,“海量空间数据集的多分辨率近似,美国统计协会杂志,112201-214(2017)·doi:10.1080/01621459.2015.1123632
[30] 卡茨福斯,M。;Cressie,N.,“海量遥感数据集的时空平滑和EM估计,时间序列分析杂志,32,430-446(2011)·Zbl 1294.62119号 ·doi:10.1111/j.1467-9892.2011-00732.x
[31] 卡茨福斯,M。;Gong,W.,“大型空间数据集的一类多分辨率近似,中国统计,30,2203-2226(2020)·Zbl 1464.62400号 ·doi:10.5705/ss.202018.0285
[32] 卡茨福斯,M。;Guinness,J.,“高斯过程维奇近似的一般框架,统计科学,36124-141(2021)·Zbl 07368223号 ·doi:10.1214/19-STS755
[33] 卡茨福斯,M。;斯特劳德,J.R。;Wikle,C.K.,“理解集合卡尔曼滤波器”,《美国统计学家》,70,350-357(2016)·Zbl 07665895号 ·doi:10.1080/00031305.2016.1141709
[34] 卡茨福斯,M。;斯特劳德,J.R。;Wikle,C.K.,“高维层次动态时空模型的集成卡尔曼方法”,美国统计协会杂志,115,866-885(2020)·Zbl 1445.62246号
[35] Khare,K。;Rajaratnam,B.,稀疏矩阵分解和图表征,线性代数及其应用,437932-947(2012)·Zbl 1242.05164号 ·doi:10.1016/j.laa.2012.03.027
[36] Kincaid,D。;Cheney,E.,《数值分析:科学计算的数学》,《纯粹和应用本科生教材》(2002),普罗维登斯,RI:美国数学学会,普罗维登斯,RI
[37] Li,J.Y。;Ambikasaran,S。;Darve,E.F。;Kitanidis,P.K.,“基于H-矩阵的准连续数据同化问题卡尔曼滤波器,水资源研究,50,3734-3749(2014)·doi:10.1002/2013WR014607
[38] 林格伦,F。;H街。;Lindström,J.,“高斯场和高斯马尔可夫随机场之间的显式联系:随机偏微分方程方法”,《皇家统计学会杂志》,B辑,73423-498(2011)·Zbl 1274.62360号 ·文件编号:10.1111/j.1467-9868.2011.00777.x
[39] 马丁·费尔南德斯,L。;Gilioli,G。;Lanzarone,E。;Míguez,J。;帕斯夸利,S。;Ruggeri,F。;Ruiz,D.P.,“用于随机捕食系统中联合参数估计和生物量跟踪的Rao-Blackwellized粒子滤波器”,《数学生物科学与工程》,11,573(2014)·Zbl 1298.92086号
[40] 马丁·费尔南德斯,L。;Lanzarone,E.,“实时估算均质物质导热系数和温度跟踪的颗粒过滤方法,数值传热,B部分:基础,67,507-530(2015)·doi:10.1080/10407790.2014.992060
[41] Nychka,D.W。;安德森,J.L。;Gelfand,A.E。;Diggle,P.J。;Fuentes,M。;Guttorp,P.,《空间统计手册》,“数据同化”(第27章),477-494(2010),佛罗里达州博卡拉顿:佛罗里达州博卡拉顿CRC出版社·Zbl 1188.62284号
[42] 尼奇卡,D.W。;Bandyopadhyay,S。;哈姆林,D。;林格伦,F。;Sain,S.R.,“用于分析大型空间数据集的多分辨率高斯过程模型”,《计算与图形统计杂志》,24,579-599(2015)·doi:10.1080/10618600.2014.914946
[43] Pham,D.T。;Verron,J。;Christine Roubaud,M.,“海洋学数据同化的奇异进化扩展卡尔曼滤波器,海洋系统杂志,16,323-340(1998)·doi:10.1016/S0924-7963(97)00109-7
[44] 劳赫,H.E。;斯特里贝尔,C。;Tung,F.,“线性动态系统的最大似然估计”,AIAA期刊,3,1445-1450(1965)·数字对象标识代码:10.2514/3.3166
[45] O·雷诺。;斯塔克·J·L。;Murtagh,F.,“基于小波的组合信号滤波和预测,IEEE系统、人和控制论汇刊,B部分:控制论,35,1241-1251(2005)·doi:10.1109/tsmcb.2005.850182
[46] Saibaba,A.K。;Miller,E.L。;Kitanidis,P.K.,“使用层次矩阵和低阶摄动方法的快速卡尔曼滤波器”,《反问题》,31,015009(2015)·Zbl 1323.35214号
[47] Searle,S.,《统计有用的矩阵代数》(1982),纽约:威利出版社,纽约·Zbl 0555.6202号
[48] 斯奈德,C。;Bengtsson,T。;比克尔,P。;Anderson,J.L.,“高维粒子过滤的障碍”,《月度天气评论》,136,4629-4640(2008)·doi:10.1175/2008MWR2529.1
[49] Stein,M.L.,“克里金的筛选效应,统计年鉴,30298-323(2002)·Zbl 1012.62102号 ·doi:10.1214/aos/1015362194
[50] Stein,M.L.,“2010年Rietz演讲:筛选效应何时持续?”,《统计年鉴》,39,2795-2819(2011)·Zbl 1246.60061号
[51] Stein,M.L.,“空间数据协方差矩阵低秩近似的局限性,空间统计,8,1-19(2014)
[52] 斯特劳德,J.R。;斯坦因,M.L。;Lesht,B.M。;施瓦布·D·J。;Beletsky,D.,“卫星数据同化的集合卡尔曼滤波器和平滑器,美国统计协会杂志,105,978-990(2010)·Zbl 1390.62329号 ·doi:10.198/jasa.2010.ap07636
[53] Talagrand,O。;Courtier,P.,“气象观测与伴随涡度方程的变分同化”,《理论》,英国皇家气象学会季刊,1131311-1328(1987)·doi:10.1002/qj.49711347812
[54] 蒂佩特,M.K。;安德森,J.L。;Bishop,C.H。;哈米尔,T.M。;Whitaker,J.S.,“集成平方根滤波器,每月天气评论,1311485-1490(2003)·doi:10.1175/1520-0493(2003)131<1485:ESRF
[55] 托莱多·S(2007)
[56] Verlaan,M。;Heemink,A.,“大尺度数据同化问题的降秩平方根滤波器”,第二届气象和海洋学同化国际研讨会论文集,247-252(1995)
[57] Wikle,C.K。;Cressie,N.,“时空卡尔曼滤波的降维方法,生物特征,86815-829(1999)·Zbl 0942.62114号 ·doi:10.1093/生物技术/86.4815
[58] Wikle,C.K。;米利夫·R·F。;Nychka,D。;Berliner,L.M.,“热带海洋表面风的时空层次贝叶斯建模,美国统计协会杂志,96,382-397(2001)·Zbl 1022.62117号 ·doi:10.1198/016214501753168109
[59] 张,B。;Sang,H。;Huang,J.Z.,“大数据集时空协方差模型的全尺度近似,统计研究,2599-114(2015)·Zbl 1482.62022号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。