×

半监督分类的稀疏正则化。 (英语) Zbl 1218.68120号

摘要:流形正则化(MR)是一种很有前途的半监督学习正则化框架,它引入了一个额外的惩罚项来正则化数据流形上函数的光滑性,并且在挖掘数据的基本几何结构进行分类方面表现出了非常有效的效果。结果表明,MR算法的性能在很大程度上取决于流形上附加惩罚项的设计。本文提出了一种用稀疏表示代替数据的邻接图来定义流形上惩罚项的新方法。构建这一新型刑罚的过程有两个步骤。首先,通过\(l^{1}\)范数最小化来计算每个数据点的最佳稀疏线性重建系数。其次,学习者服从一个旨在保持稀疏系数的代价函数。代价函数被用作正则化算法的新惩罚项。与以往的半监督学习算法相比,新的惩罚项需要较少的输入参数,对分类具有较强的判别能力。本文提出了一种使用我们新的惩罚项的最小二乘分类器,称为稀疏正则最小二乘分类(S-RLSC)算法。在真实数据集上的实验表明,我们的算法是非常有效的。

MSC公司:

68T05型 人工智能中的学习和自适应系统
68吨10 模式识别、语音识别

软件:

L1-磁性
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿马尔迪,E。;Kann,V.,关于线性系统中最小化非零变量或未满足关系的逼近性,Theor。计算。科学。,209, 237-260 (1998) ·Zbl 0915.68072号
[2] Barron,A。;Rissanen,J。;Yu,B.,编码和建模中的最小描述长度原则,IEEE Trans。《情报理论》,44,2743-2760(1998)·Zbl 0933.94013号
[3] 贝尔金,M。;Niyogi,P.,黎曼流形上的半监督学习,马赫。学习。,56, 1-3, 209-239 (2004) ·Zbl 1089.68086号
[4] 贝尔金,M。;信德瓦尼,V。;Niyogi,P.,流形正则化:从标记和未标记示例学习的几何框架,J.Mach。学习。第7239-2434号决议(2006年)·Zbl 1222.68144号
[5] 博伊德,S。;Vandenberghe,L.,《凸优化》(2004),剑桥大学出版社:剑桥大学出版社,英国剑桥·Zbl 1058.90049号
[6] 坎迪斯,E。;J.隆伯格。;Tao,T.,从不完整和不准确的测量中恢复稳定信号,Comm.Pure Appl。数学。,59, 8, 1207-1223 (2006) ·邮编1098.94009
[7] 坎迪斯,E。;Tao,T.,从随机投影中恢复近最优信号:通用编码策略?,IEEE传输。Inf.理论,52,12,5406-5425(2006)·Zbl 1309.94033号
[8] E.Candes,J.Romberg,(语言)http://www.acm.caltech.edu/l1magic/downloads/l1magic.pdf\(\范围\);E.Candes,J.Romberg,(语言)http://www.acm.caltech.edu/l1magic/downloads/l1magic.pdf\(\等级\)
[9] 曹,X。;乔·H。;Keane,J.,一种低成本的带有单个光学相机的行人检测系统,IEEE Trans。智能交通。系统。,9, 1, 58-67 (2008)
[10] 陈,Z。;Haykin,S.,关于正则化理论的不同方面,神经计算。,14, 12, 2791-2846 (2002) ·Zbl 1079.68585号
[11] 麻省理工学院生物与计算学习中心CBCL人脸数据库1http://www.ai.mit.edu/projects/cbcl\(\范围\);麻省理工学院生物与计算学习中心CBCL人脸数据库1http://www.ai.mit.edu/projects/cbcl\(\等级\)
[12] Donoho,D.,对于大多数大型欠定线性方程组,最小l1-范数解也是最稀疏解,Comm.Pure Appl。数学。,59, 6, 797-829 (2006) ·Zbl 1113.15004号
[13] Georghiades,A.S。;Belhumeur,P.N。;Kriegman,D.J.,《从少到多:可变光照和姿势下人脸识别的照明锥模型》,IEEE Trans。模式分析。机器。智力。,23, 6, 643-660 (2001)
[14] 吉罗西,F。;琼斯,M。;Poggio,T.,正则化理论和神经网络架构,神经计算。,71219-269(1995年)
[15] Hull,J.J.,《手写文本识别研究数据库》,IEEE Trans。模式分析。机器。智力。,16, 5, 550-554 (1998)
[16] Lee,K.C。;Ho,J。;Kriegman,D.,获取可变光照下人脸识别的线性子空间,IEEE Trans。模式分析。机器。智力。,27, 5, 684-698 (2005)
[17] Poggio,T。;Smale,S.,《学习的数学:处理数据,不是。美国数学。《社会学杂志》,50,5,537-544(2003)·Zbl 1083.68100号
[18] Tikhonov,A.N.,《不正确问题的正则化》,Sov。数学。道克。,4, 1624-1627 (1963) ·Zbl 0183.11601号
[19] Vapnik,V.N.,《统计学习理论》(1998),威利出版社:威利纽约·Zbl 0935.62007号
[20] Wang,F。;Zhang,C.,鲁棒自校正半监督学习,神经计算,70,16-18,2931-2939(2007)
[21] Wright,J。;杨,A。;Ganesh,A。;Sastry,S.S。;Ma,Y.,基于稀疏表示的鲁棒人脸识别,IEEE Trans。模式分析。机器。智力。,31, 210-227 (2009)
[22] 赖特,J。;马云(Ma,Y.)。;Mairal,J。;Spairo,G。;黄,T。;Yan,S.,计算机视觉和模式识别的稀疏表示,IEEE学报,98,6,1031-1044(2010)
[23] 薛,H。;陈,S。;杨琼,判别正则最小二乘分类,模式识别,42,1,93-104(2009)·Zbl 1159.68547号
[24] 朱,X。;加赫拉马尼,Z。;Lafferty,J.,使用高斯场和调和函数的半监督学习,(第20届国际机器学习会议(ICML)(2003)),912-919
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。