×

使用数学规划进行异常检测和稳健协方差估计。 (英语) Zbl 1284.62057号

摘要:离群点检测问题和鲁棒协方差估计问题通常是可以互换的。在没有离群值的情况下,经典的最大似然估计(MLE)方法可以用于从观测数据中估计已知分布的参数。当存在离群值时,它们支配着对数似然函数,导致MLE估计量被拉向它们。已经开发了许多鲁棒的统计方法来检测异常值,并产生对模型假设的偏差具有鲁棒性的估计量。然而,当问题规模增加时,现有方法要么会受到计算复杂性的影响,要么会放弃理想的属性,例如仿射等方差。另一种方法是设计一个特殊的数学规划模型,以找到所有观测值的最佳权重,从而在最佳解决方案中,为离群值赋予较小的权重,并且可以检测到离群值。该方法产生的协方差估计量具有以下性质:首先,它是仿射等变的。其次,即使对于较大的问题规模,它也具有计算效率。第三,通过使用半定规划,很容易将先验信念合并到估计量中。针对不同的污染模型,包括最近提出的模型,测试了该方法的准确性。对于高维数据,该方法不仅比Fast-MCD方法更快,而且对于测试案例也具有合理的准确性。

MSC公司:

62-07 数据分析(统计)(MSC2010)
90-08年 运筹学和数学规划相关问题的计算方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Alqallaf F,Van Aelst S,Yohai VJ,Zamar RH(2009)多元数据中异常值的传播。Ann Stat 37(1):311–331·Zbl 1155.62043号 ·doi:10.1214/07-AOS588
[2] Bertsekas DP(1999)非线性规划,第2版。雅典娜科技公司,贝尔蒙特·Zbl 1015.90077号
[3] Chakraborty B,Chaudhuri P(2008)关于稳健统计中的优化问题。J计算图统计17(3):683–702·doi:10.1198/106186008X340751
[4] Chandola V、Banerjee A、Kumar V(2007)《离群点检测:综述》。明尼苏达大学技术报告
[5] Critchley F、Schyns M、Haesbroeck G、Fauconnier C、Lu G、Atkinson RA、Wang DQ(2010)稳健性和诊断中组合问题的宽松方法。统计计算20(1):99–115·doi:10.1007/s11222-009-9119-x
[6] Critchley F,Schyns M,Haesbroeck G,Kinns D,Atkinson RA,Lu G(2004)诊断和稳健计算的案例敏感性函数方法:松弛策略。收录于:COMPSTAT:2004《计算统计学报》,第36卷,第113-125页·Zbl 1170.62321号
[7] Huber PJ(2004)稳健统计。纽约威利
[8] Khan J,Van Aelst S,Zamar R(2007)基于最小角度回归的稳健线性模型选择。美国统计协会期刊102:1289–1299·Zbl 1332.62240号 ·doi:10.1198/0162145000000050
[9] Kuhn HW,Tucker AW(1951)非线性规划。摘自:第二届伯克利研讨会论文集。加州大学伯克利分校出版社,第481-492页
[10] Ledoit O,Wolf M(2004)大维协方差矩阵的良好估计。多变量分析杂志88(2):365–411·兹比尔1032.62050
[11] Maronna RA、Martin RD、Yohai VJ(2004)《稳健统计:理论和方法》。威利,纽约(2006)
[12] Nguyen TD,Welsch R(2009),使用半定规划的离群检测和最小修剪平方逼近。计算统计数据分析(待显示)·Zbl 1284.62430号
[13] Rousseeuw PJ(1984)最小二乘回归。美国统计协会J Am Stat Assoc 79:871–880·Zbl 0547.62046号 ·doi:10.1080/01621459.1984.10477105
[14] Rousseeuw PJ,van Driessen K(1999)最小协方差行列式估计的快速算法。技术计量学41:212–223·doi:10.1080/00401706.1999.10485670
[15] Schyns M,Haesbroeck G,Critchley F(2010)RelaxMCD:最小协方差行列式估计的平滑优化。计算统计数据分析54(4):843–857·Zbl 1464.62156号 ·doi:10.1016/j.csda.2009.11.005
[16] Toh KC、Todd MJ、Tutucu RH(2006)Sdpt3 4.0版(测试版)——用于半定二次线性编程的matlab软件
[17] Vandenberghe L,Boyd S(1996)半定规划。SIAM版本38(1):49–95·Zbl 0845.65023号 ·数字对象标识代码:10.1137/1038003
[18] Vandenberghe L,Boyd S(1999)半定规划的应用。应用数字数学转换IMACS 29(3):283–299·Zbl 0956.90031号 ·doi:10.1016/S0168-9274(98)00098-1
[19] Verboven S,Hubert M(2005)Libra:稳健分析的MATLAB库。化学智能实验室系统75(2):127–136·doi:10.1016/j.chemolab.2004.06.003
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。