×
韩久奇;孙正亚;郝宏伟

\用于特征选择的基于（l_{0}\）范数的结构稀疏最小二乘回归。 （英语） Zbl 1394.68288号

模式识别 48，第12号，3927-3940（2015）.
摘要：针对结构稀疏最小二乘回归（SSLSR）问题，提出了一种新的特征选择方法。我们不使用（l{1}）范数正则化来控制稀疏性，而是通过（l{0}）模正则化直接处理稀疏解。特别地，我们开发了一种有效的贪婪算法，其中向前和向后的步骤被自适应地组合，以解决具有难处理的（l_{r，0}）范数的SSLSR问题。一方面，在前进步骤中选择与类相关性最强的特征。另一方面，在反向步骤中删除了对目标函数改进贡献不大的冗余特征。此外，我们提供了坚实的理论分析，以证明该方法的有效性。在不同领域的合成数据集和真实数据集上的实验结果也证明了该方法相对于现有方法的优越性。

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分；聚类分析（统计方面）

关键词：

结构稀疏学习;\（l{0}\）-范数;最小二乘回归;特征选择;自适应贪婪算法

软件：

伦敦银行支持向量机;foba公司;线圈-20;t-SNE公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Han}等，模式识别48，No.12，3927-3940（2015；Zbl 1394.68288）
全文： 内政部

参考文献：

[1] 赵，Z。；Wang，L。；刘，H。；Ye，J.，《关于保持相似性的特征选择》，IEEE Trans。知识。数据工程，25，619-632，（2013）
[2] X.Cai，F.Nie，H.Huang，C.Ding，多类l2，1-范数支持向量机，收录于：2011年IEEE第11届国际数据挖掘会议，2011年，第91-100页。
[3] X.He，D.Cai，P.Niyogi，特征选择的拉普拉斯分数，见：NIPS，第1-8页。
[4] T.Strutz，《数据拟合与不确定性：加权最小二乘及其后的实用介绍》，2010年。
[5] 沃尔德，S。；Ruhe，A。；Wold，H。；Dunn，W.J.，线性回归中的共线性问题，广义逆的偏最小二乘（PLS）方法，SIAM J.统计计算。，5, 735-743, (1984) ·Zbl 0545.62044号
[6] 项，S。；聂，F。；Meng，G。；潘，C。；Zhang，C.，多类分类和特征选择的判别最小二乘回归，IEEE Trans。神经网络。学习。系统。，23, 1738-1754, (2012)
[7] Li，Z。；刘杰。；Yang，Y。；周，X。；Lu，H.，无监督特征选择的聚类引导稀疏结构学习，IEEE Trans。知识。数据工程，26，2138-2150，（2013）
[8] 坎迪斯，E.J。；Tao，T.，线性规划解码，IEEE Trans。《信息论》，51，4203-4215，（2005）·Zbl 1264.94121号
[9] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 183-202, (2009) ·Zbl 1175.94009号
[10] 袁，M。；袁，M。；Lin，Y。；Lin，Y.，《分组变量回归中的模型选择和估计》，J.R.Stat.Soc.，Ser。B、 68，49-67，（2006年）·兹比尔1141.62030
[11] X.Cai，F.Nie，H.Huang，通过l2，0-范数约束的精确top-k特征选择，载于：第23届国际人工智能联合会议论文集，国际人工智能联合会，2013。
[12] D.Luo，C.H.Q.Ding，H.Huang，《走向结构稀疏性：一种明确的l2/l0方法》，载于：第十届IEEE数据挖掘国际会议，2010年，第344-353页。
[13] C.Hou，F.Nie，D.Yi，Y.Wu，通过联合嵌入学习和稀疏回归进行特征选择，收录于：国际人工智能联合会议论文集，IJCAI，2011年。
[14] Z.Li，Y.Yang，J.Liu，X.Zhou，H.Lu，使用非负谱分析进行无监督特征选择，in:AAAI，2012
[15] M.Qian，C.Zhai，鲁棒无监督特征选择，载《第二十届国际人工智能联合会议论文集》，2013年，第1621-1627页。
[16] Mohimani，H。；Babaie-Zadeh，M。；Jutten，C.，基于平滑的过完备稀疏分解的快速方法我_{0}规范，IEEE Trans。信号处理。，57, 289-301, (2009) ·Zbl 1391.94325号
[17] Mallat，S.G。；Zhang，《用时频字典匹配追踪》，IEEE Trans。信号处理。，41, 3397-3415, (1993) ·Zbl 0842.94004号
[18] Y.C.Pati，R.Rezaiifar，P.Krishnaprasad，《正交匹配追踪：递归函数逼近及其在小波分解中的应用》，载于：《第二十七届信号、系统和计算机会议记录》，1993年，第40-44页。
[19] T.Zhang，线性模型稀疏学习的自适应前向-后向贪婪算法，收录于：《神经信息处理系统的进展》，2008年，第1921-1928页。
[20] Zhang，T.，学习稀疏表示的自适应前向后退贪婪算法，IEEE Trans。《信息论》，57，4689-4708，（2011）·Zbl 1365.62288号
[21] 范德马滕，L。；Hinton，G.，《使用t-sne可视化数据》，J.Mach。学习。决议，92579-2605，（2008）·Zbl 1225.68219号
[22] 乔治亚德斯，A。；Belhumeur，P。；Kriegman，D.，《在可变光照和姿势下用于人脸识别的从少到多的照明锥模型》，IEEE Trans。模式分析。机器。智力。，23, 643-660, (2001)
[23] D.Cai，X.He，Y.Hu，J.Han，T.Huang，学习用于人脸识别的空间光滑子空间，收录于：IEEE计算机视觉和模式识别机器学习会议论文集，2007年。
[24] S.A.Nene、S.K.Nayar、H.Murase等人，哥伦比亚对象图像库（COIL-20），技术报告，技术报告CUCS-005-961996。
[25] T.G.Dietterich，G.Bakiri，《纠错输出码：改进多类归纳学习程序的通用方法》，载：AAAI，1991年·Zbl 0900.68358号
[26] Buscema，M.，Metanet^{}《独立法官理论》，《使用不当》，第33期，第439-461页，（1998年）
[27] Hull，J.，《手写文本识别研究数据库》，IEEE Trans。模式分析。机器。智力。，16, 550-554, (1994)
[28] 辛格，D。；费博，P.G。；Ross，K。；Jackson，D.G。；马诺拉，J。；拉德，C。；Tamayo，P。；Renshaw，A.A。；阿米科公司。；Richie，J.P.，前列腺癌临床行为的基因表达相关性，癌细胞，1203-209，（2002）
[29] R.O.Duda，P.E.Hart，D.G.Stork，模式分类，2012年。
[30] H.Liu，H.Motoda，特征选择的计算方法，2007年·Zbl 1130.62118号
[31] 彭，H。；长，F。；Ding，C.，基于MAX相关性、MAX相关性和MIN冗余的互信息标准的特征选择，IEEE Trans。模式分析。机器。智力。，2012年12月27日至1238日，（2005年）
[32] Yan，H。；Yang，J.，联合拉普拉斯特征权重学习，模式识别。，47, 1425-1432, (2014) ·Zbl 1326.68238号
[33] D.D.Lewis，文本分类的特征选择和特征提取，收录于：语音和自然语言研讨会论文集，1992年，第212-217页。
[34] 聂，F。；黄，H。；蔡，X。；Ding，C.，通过联合l2进行高效稳健的特征选择，我_{0}-规范最小化，高级神经信息处理。系统。，23, 1813-1821, (2010)
[35] Chang，C.-C。；Lin，C.-J.，支持向量机的Libsvma库，ACM Trans。智力。系统。技术。，2, 27, (2011)
[36] Zhang，T.，带l1正则化的最小二乘回归的一些尖锐性能界限，《美国统计年鉴》，37，2109-2144，（2009）·Zbl 1173.62029号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。