×

存在异常值时的变化点检测。 (英语) Zbl 1478.62238号

总结:许多用于识别变更点的传统方法在异常值存在或噪声严重时会遇到困难。通常他们会推断出额外的变更点来适应异常值。为了克服这个问题,通常需要对数据进行预处理以删除离群值,但对于需要在线分析数据的应用程序来说,这是很困难的。我们提出了一种对异常值的存在具有鲁棒性的变化点检测方法。其想法是调整现有的惩罚成本方法来检测变化,以便使用对异常值不太敏感的损失函数。我们认为,有界损失函数(例如经典的双重损失)特别适用,因为我们表明只有有界损失功能对任意极端异常值具有鲁棒性。我们提出了一种高效的动态规划算法,该算法可以在我们的惩罚成本标准下找到最优分割。重要的是,该算法可用于需要在线分析数据的设置。我们表明,我们可以一致地估计变化点的数量,并使用双权损失函数准确地估计它们的位置。我们证明了我们的方法在分析测井数据、检测拷贝数变化和检测无线设备篡改等应用中的有用性。

MSC公司:

2007年6月62日 非马尔科夫过程:假设检验
62层35 鲁棒性和自适应程序(参数推断)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 亚当斯·R·P。;Mackay,D.J.,贝叶斯在线变化点检测,arXiv:0710.3742(2007)
[2] Bagci,I.E.,无线传感器网络的新型安全机制,(2016)
[3] 巴奇,I.E。;美国罗迪格。;马丁诺维奇,I。;舒尔茨,M。;Hollick,M.,《使用信道状态信息检测物联网中的篡改》(2015)
[4] Bai,J.,《一次估计多个断裂》,计量经济学理论,13,315-352(1997)
[5] Baranowski,R。;陈,Y。;Fryzlewicz,P.,多个变化点和类似变化点特征的最窄超阈值检测,(2016)
[6] Bengtsson,H.、Neuvial,P.、Seshan,V.E.、Olshen,A.B.、Spellman,P.T.和Olshein,R.A.(2016),“包装pscbs”,网址:
[7] 曹,H。;Wu,W.B.,《变化点估计:多重测试问题的另一视角》,《生物特征识别》,102974-980(2015)·Zbl 1390.62138号
[8] Fearnhead,P.,《多变点问题的精确有效推理》,统计学与计算,16203-213(2006)
[9] Frick,K。;Munk,A。;Sieling,H.,多尺度变点推断,(2014)·Zbl 1411.62065号
[10] Fryzlewicz,P.,《用于多变化点检测的野生二进制分割》,《统计年鉴》,42,2243-2281(2014)·Zbl 1302.62075号
[11] Futschik,A。;Hotz,T。;Munk,A。;Sieling,H.,《多尺度DNA分区:片段的统计证据》,生物信息学,30,2255-2262(2014)
[12] Haynes,K。;艾克利,I.A。;Fearnhead,P.,《一系列惩罚的计算效率变化点检测》,《计算与图形统计杂志》,26,134-143(2017)
[13] Haynes,K。;费恩黑德,P。;Eckley,I.,《用于变化点检测、统计和计算的计算效率非参数方法》,27,1293-1305(2017)·Zbl 1505.62181号
[14] Hinkley,D.V.,《从累积和测试推断变化点》,《生物特征分析》,58509-523(1971)·兹比尔0254.62019
[15] Hotz,T。;舒特,O.M。;西林,H。;Polupanow,T。;Diederichsen,美国。;斯坦尼姆,C。;Munk,A.,用跳跃分段多分辨率滤波器理想化离子通道记录,IEEE纳米生物科学汇刊,12376-386(2013)
[16] 胡贝尔,P.J。;Lovric,M.,《稳健统计》。《国际统计科学百科全书》(2011年),柏林·Zbl 1241.62001号
[17] 胡什科娃,M。;Hackl,P。;Westlund,A.H.,《变点问题的递归M检验》,经济结构变化,13-33(1991),柏林:施普林格出版社,柏林
[18] ---《稳健变化点分析、稳健和复杂数据结构》,171-190(2013),Springer
[19] 胡什科娃,M。;Marušiaková,M.,《检测相关观测值变化的M程序》,《统计中的通信——模拟和计算》,第41期,第1032-1050页(2012年)·Zbl 1347.62071号
[20] 胡什科娃,M。;Picek,J.,《检测线性回归变化的引导法》,Sankhyá:印度统计杂志,67,200-226(2005)·Zbl 1193.62111号
[21] 胡什科娃,M。;Sen,P.K.,未知时间点回归的转移和变化的非参数检验,经济结构变化的统计分析和预测,71-85(1989),施普林格
[22] Johnson,N.A.,融合套索和(textit{l_0)的动态规划算法
[23] 基利克,R。;艾克利,I.A。;Ewans,K。;Jonathan,P.,《使用变化点分析检测海洋学时间序列方差变化》,海洋工程,371120-1126(2010)
[24] 基利克,R。;费恩黑德,P。;Eckley,I.A.,具有线性计算成本的变化点的最佳检测,美国统计协会杂志,1071590-1598(2012)·Zbl 1258.62091号
[25] Kim,C.-J。;莫利,J.C。;Nelson,C.R.,《股权溢价的结构性突破》,《商业与经济统计杂志》,第23期,第181-191页(2005年)
[26] 拉维耶,M。;Moulines,E.,时间序列中未知移位数的最小二乘估计,时间序列分析杂志,21,33-59(2000)·Zbl 0974.62070号
[27] 马,T.F。;Yau,C.Y.,基于成对似然hood的多变量时间序列模型变化点检测方法,生物统计学,103,409-421(2016)·Zbl 1499.62314号
[28] 梅德斯通,R。;霍金,T。;Rigaill,G。;Fearnhead,P.,《关于大数据、统计和计算的最佳多变化点算法》,27,519-533(2017)·Zbl 1505.62269号
[29] 国家研究委员会(2013),海量数据分析的前沿,华盛顿特区:国家学院出版社。
[30] Olshen,A.B。;文卡特拉曼,E.S。;卢西托,R。;Wigler,M.,用于分析基于阵列的DNA拷贝数数据的循环二进制分割,生物统计学,557-72(2004)·兹比尔1155.62478
[31] 奥斯·鲁安奈德,J.J.K。;Fitzgerald,W.J.,应用于信号处理的数值贝叶斯方法(1996)·Zbl 0871.62025号
[32] Page,E.,《连续检查方案》,《生物特征》,41,100-115(1954)·Zbl 0056.38002号
[33] Pierre-Jean,M。;Rigaill,G。;Neuvial,P.,DNA拷贝数分割方法的性能评估,生物信息学简报,16,600-615(2015)
[34] Reeves,J。;陈,J。;Wang,X.L。;伦德,R。;陆庆秋,《气候数据变化点检测技术的回顾与比较》,《应用气象学与气候学杂志》,46900-915(2007)
[35] Rigaill,G.,用1到\(K_{max\)恢复最佳分段的修剪动态规划算法·Zbl 1381.90094号
[36] Rigaill,G。;霍金,T.D。;巴赫,F。;Vert,J.-P.,《使用最大裕度区间回归学习变点检测的稀疏惩罚》,第30届机器学习国际会议论文集,JMLR W&CP,28,172-180(2013)
[37] Ruggieri,E。;Antonellis,M.,贝叶斯顺序变化点检测的精确方法,计算统计与数据分析,97,71-86(2016)·Zbl 1468.62168号
[38] Vostrikova,L.,多维随机过程中疾病的检测,Doklady Akademii Nauk SSSR,259270-274(1981)
[39] Worsley,K.,《关于正常人群位置变化的似然比检验》,《美国统计协会杂志》,74365-367(1979)·Zbl 0413.62016号
[40] Wyse,J。;Friel,N.,段内依赖的多变化点模型的近似无模拟贝叶斯推断,贝叶斯分析,6501-528(2011)·Zbl 1330.62160号
[41] 姚永川,噪声离散时间步长函数的估计:贝叶斯和经验贝叶斯方法,《统计年鉴》,第12期,第1434-1447页(1984)·Zbl 0551.62069号
[42] 姚,Y.C。;Au,S.,阶跃函数的最小二乘估计,Sankhyá:印度统计杂志,51,370-381(1989)·Zbl 0711.62031号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。