×

混合线性建模的多路谱聚类框架的基础。 (英语) Zbl 1176.68155号

摘要:混合线性建模(HLM)的问题是使用仿射子空间的混合来建模和分割数据。已经提出了不同的策略来解决这个问题,但是,缺少证明其性能的严格分析。本文提出了理论谱曲率聚类(TSCC)算法来解决HLM问题,并对其进行了仔细的分析。TSCC算法实际上是Govindu的多路谱聚类框架和A.Ng,M.乔丹Y.维斯的谱聚类算法[(*)Adv.Neural Inf.Proc.Syst.14,849–856(2001)]。本文的主要结果表明,如果给定数据是从围绕仿射子空间的混合分布中采样的,那么TSCC算法将以较高的采样概率很好地分割不同的底层簇。聚类的优劣取决于簇内误差、簇间相互作用以及TSCC应用的调整参数。该证据还为Ng等人(*)的分析提供了新的见解。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62小时30分 分类和区分;聚类分析(统计方面)
62J12型 广义线性模型(逻辑模型)
62M15型 随机过程的推断与谱分析
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] S.Agarwal,K.Branson,S.Belongie,《图形的高阶学习》,载《第23届国际机器学习会议论文集》,第148卷(2006年),第17-24页。
[2] S.Agarwal,J.Lim,L.Zelnik-Manor,P.Perona,D.Kriegman,S.Belongie,Beyond pairwise clustering,摘自《2005 IEEE计算机视觉和模式识别会议论文集》(CVPR'05),第2卷(2005),第838-845页。
[3] E.Arias-Castro,D.Donoho,X.Huo,用快速多尺度方法对几何物体进行近最优检测,IEEE Trans。《信息论》51(7)(2005)·Zbl 1282.94014号
[4] B.Bader,T.Kolda,《862算法:快速算法原型的MATLAB张量类》。ACM事务处理。数学。柔和。32(4), 635–653 (2006). http://www.citeulike.org/user/bamberg/article/2875626 ·Zbl 1230.65054号 ·doi:10.1145/1186785.1186794
[5] P.Bradley,O.Mangasarian,k平面聚类,J.Glob。最佳方案。16(1), 23–32 (2000). ·兹比尔0990.90135 ·doi:10.1023/A:1008324625522
[6] M.Brand,K.Huang,谱嵌入和聚类的统一定理,第九届人工智能和统计国际研讨会论文集,2003年1月。
[7] G.Chen,G.Lerman,谱曲率聚类(SCC),国际计算杂志。视觉。81(3), 317–330 (2009). ·doi:10.1007/s11263-008-0178-9
[8] J.Costeira,T.Kanade,《独立运动物体的多体分解方法》,国际计算机杂志。视觉。29(3), 159–179 (1998). ·doi:10.1023/A:1008000628999
[9] M.Fischler,R.Bolles,《随机样本共识:模型拟合范式与图像分析和自动制图应用》,Commun。ACM 24(6),381-395(1981)。 ·数字对象标识代码:10.1145/358669.358692
[10] G.Golub,C.Van Loan,《矩阵计算》(约翰·霍普金斯大学出版社,巴尔的摩,1996年)·兹比尔0865.65009
[11] V.Govindu,几何分组和分割的张量分解,载于CVPR,第1卷,2005年6月,第1150–1157页。
[12] P.Gruber,F.Theis,Grassmann聚类,在Proc。EUSIPCO 2006年,意大利佛罗伦萨,2006年。
[13] G.Haro,G.Randall,G.Sapiro,《分层学习的转换泊松混合模型》,国际计算机杂志。视觉。80(3), 358–374 (2008). ·Zbl 1477.68265号 ·文件编号:10.1007/s11263-008-0144-6
[14] J.Ho,M.Yang,J.Lim,K.Lee,D.Kriegman,《不同照明条件下物体的聚类外观》,《计算机视觉和模式识别国际会议论文集》,第1卷(2003年),第11-18页。
[15] A.Hyvärinen,E.Oja,《独立成分分析:算法和应用》,神经网络。13(4–5), 411–430 (2000). ·doi:10.1016/S0893-6080(00)00026-5
[16] A.Kambhatla,T.Leen,《快速非线性降维》,摘自《神经信息处理系统进展》第6期(1994年),第152-159页。
[17] K.Kanatani,通过子空间分离和模型选择进行运动分割,Proc。第八届ICCV,第3卷,加拿大温哥华(2001),第586–591页。
[18] K.Kanatani,运动分割模型的评估和选择,第七届ECCV,第3卷,2002年5月,第335-349页·Zbl 1039.68662号
[19] D.Kushnir,M.Galun,A.Brandt,快速多尺度聚类和流形识别,模式识别。39(10), 1876–1891 (2006). ·Zbl 1096.68720号 ·doi:10.1016/j.patcog.2006.04.007
[20] L.De Lathauwer,B.De Moor,J.Vandewalle,《多重线性奇异值分解》,SIAM J.Matrix Ana。A 21(4),1253-1278(2000)·Zbl 0962.15005号 ·doi:10.1137/S0895479896305696
[21] G.Lerman,J.T.Whitehouse,关于高维正弦函数的d-维d-半度量和单纯形型不等式。《J近似理论》56(1),52–81(2009)。http://portal.acm.org/citation.scfm?id=1498013·Zbl 1170.46025号 ·doi:10.1016/j.jat.2008.03.005
[22] G.Lerman,J.T.Whitehouse,《高维Menger型曲率——第一部分:几何多极和多尺度不等式》(2008年提交)。可从以下位置获得http://arxiv.org/abs/0805.1425v1 . ·Zbl 1232.28007号
[23] G.Lerman,J.T.Whitehouse,《高维Menger型曲率——第二部分:d-分离和曲率系列》。施工。大约(2009年,接受)。可从以下位置获得http://arxiv.org/abs/0809.0137v1 . ·Zbl 1222.28007号
[24] G.Lerman,J.T.Whitehouse,《通过多向曲率进行概率测量的最小二乘法》(2009年,编制中)·兹比尔1222.28007
[25] Y.Ma,H.Derksen,W.Hong,J.Wright,通过有损编码和压缩对多变量混合数据进行分割,IEEE Trans。模式分析。机器。智力。29(9), 1546–1562 (2007). ·doi:10.1109/TPAMI.2007.1085
[26] Y.Ma,A.Y.Yang,H.Derksen,R.Fossum,子空间排列估计及其在混合数据建模和分段中的应用,SIAM Rev.50(3),413-458(2008)·Zbl 1147.52010年 ·doi:10.1137/060655523
[27] J.MacQueen,《多元观测分类和分析的一些方法》,载于《第五届伯克利数理统计与概率研讨会论文集》,第1卷(加州大学出版社,伯克利,1967年),第281-297页·Zbl 0214.46201号
[28] J.Mairal,F.Bach,J.Ponce,G.Sapiro,A.Zisserman,《用于局部图像分析的判别性学习词典》,收录于Proc。CVPR,阿拉斯加,2008年6月。
[29] C.McDiarmid,《关于有界差异的方法》,载于《组合数学调查》(剑桥大学出版社,剑桥,1989),第148-188页·Zbl 0712.05012号
[30] G.Medioni、M.-S.Lee、C.-K.Tang,《分割和分组的计算框架》(Elsevier,阿姆斯特丹,2000年)·Zbl 0952.68154号
[31] A.Ng、M.Jordan、Y.Weiss,《关于谱聚类:分析和算法》,载于《神经信息处理系统进展》第14期(2001年),第849-856页。
[32] A.Shashua,R.Zass,T.Hazan,使用超对称非负张量因式分解的多向聚类,载于ECCV06,第四卷(2006),第595-608页。
[33] J.Shi,J.Malik,标准化切割和图像分割,IEEE Trans。模式分析。机器。智力。22(8), 888–905 (2000). ·数字对象标识代码:10.1109/34.868688
[34] R.Souvenir,R.Pless,《流形聚类》,第十届计算机视觉国际会议(ICCV 2005),2005年。
[35] A.Szlam,《监督学习的k q-flats修改》(2008年)。
[36] M.Tipping,C.Bishop,概率主成分分析仪的混合,神经计算。11(2), 443–482 (1999). ·doi:10.1162/0899766999300016728
[37] P.H.S.Torr,几何运动分割和模型选择,Philos。事务处理。R.Soc.伦敦。A 3561321–1340(1998年)·Zbl 0902.68201号 ·doi:10.1098/rsta.1998.0224
[38] P.Tseng,最近q-flat到m点,J.Optim。理论应用。105(1), 249–252 (2000). ·Zbl 0971.90055号 ·doi:10.1023/A:1004678431677
[39] R.Vidal,Y.Ma,S.Sastry,广义主成分分析(GPCA),IEEE Trans。模式分析。机器。智力。27(12) (2005).
[40] U.von Luxburg,M.Belkin,O.Bousquet,《光谱聚类的一致性》,《Ann.Stat.36(2)》,555–586(2008)·Zbl 1133.62045号 ·doi:10.1214/009053607000000640
[41] J.Yan,M.Pollefeys,运动分割的一般框架:独立、铰接、刚性、非刚性、退化和非退化,收录于ECCV,第4卷(2006),第94-106页。
[42] A.Y.Yang,S.R.Rao,Y.Ma,多个子空间的鲁棒统计估计和分割,计算机视觉和模式识别研讨会,2006年6月。
[43] L.Zwald,G.Blanchard,《关于核主成分分析中本征空间的收敛性》,《神经信息处理系统进展》第18期(2005年),第1649–1656页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。