×
山田真本;本杰明·波亚德;Hiroaki山田;托拜厄斯·弗雷德林

基于Hilbert-Schmidt独立准则Lasso的高维非线性特征选择。 （日语。英文摘要） Zbl 07750671号

J.Jpn.杂志。统计Soc.，Jpn。问题 53，编号1，49-67（2023）。
摘要：变量选择是统计学、机器学习和数据挖掘领域的一个重要研究课题。在统计学中，基于稀疏建模和确定独立筛选（SIS）的统计方法是特征选择问题的主要研究课题。然而，大多数在机器学习社区开发的特征选择方法缺乏理论保障。因此，尽管这些特征选择方法通常在实际/模拟实验中获得了良好的预测精度，但它们却被统计界忽视了。在本文中，我们介绍了所谓的Hilbert-Schmidt独立准则Lasso（HSIC Lasso），这是一种在机器学习和数据挖掘社区中广泛使用的特征选择方法。首先，我们引入HSIC Lasso作为特征选择方法，并推导出相关的凸优化问题。然后，我们描述了Block HSIC Lasso过程以及相关的选择推理框架。此外，我们还表明HSIC Lasse与非负Lasso和基于HSIC的SIS密切相关。最后，我们提供了HSIC Lasso的一些大样本特性。

MSC公司：

62至XX 统计
PDF格式BibTeX公司 XML格式引用
\textit{M.Yamada}等人，J.Jpn。统计Soc.，Jpn。第53期，第1号，49--67（2023；Zbl 07750671）
全文： 内政部

参考文献：

[1] Balasubramanian，K.、Sriperumbudur，B.和Lebanon，G.（2013）。通过RKHS嵌入的超高维特征筛选，国际人工智能与统计会议（AISTATS），PMLR，第126-134页。
[2] Beck，A.和Teboulle，M.（2009年）。线性逆问题的快速迭代收缩阈值算法，SIAM成像科学杂志，2（1），183-202·Zbl 1175.94009号
[3] Boyd，S.、Parikh，N.和Chu，E.（2011年）。通过乘数交替方向方法进行分布式优化和统计学习，Now Publishers Inc·Zbl 1229.90122号
[4] Climente-González，H.、Azencott，C.-A.、Kaski，S.和Yamada，M.（2019年）。Block HSIC Lasso：超高维数据的无模型生物标记检测，生物信息学，35（14），i427-i435。
[5] Cortes，C.、Mohri，M.和Rostamizadeh，A.（2012年）。基于中心对齐的学习内核算法，机器学习研究杂志，13795-828·Zbl 1283.68286号
[6] Cover，T.和Thomas，J.（2012）。《信息理论基础》，John Wiley&Sons出版社·Zbl 0762.94001号
[7] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）。最小角回归，《统计年鉴》，32（2），407-499·Zbl 1091.62054号
[8] Fan，J.和Li，R.（2001）。通过非一致惩罚似然及其预言属性进行变量选择，《美国统计协会杂志》，96（456），1348-1360·Zbl 1073.62547号
[9] Fan，J.和Lv，J.（2008）。超高维特征空间的确定独立筛选，《皇家统计学会杂志：B辑（统计方法）》，70（5），849-911·Zbl 1411.62187号
[10] Frank，L.E.和Friedman，J.H.（1993年）。一些化学计量学回归工具的统计视图，Technometrics，35（2），109-135·Zbl 0775.62288号
[11] Freidling，T.、Poignard，B.、Climente-González，H.和Yamada，M.（2021）。与HSIC-Lasso的选择后推理，摘自国际机器学习会议（ICML），PMLR，第3439-3448页。
[12] Gretton，A.、Borgwardt，K.M.、Rasch，M.J.、Schölkopf，B.和Smola，A.（2012）。内核双样本测试，机器学习研究杂志，13（1），723-773·Zbl 1283.62095号
[13] Gretton，A.、Bousquet，O.、Smola，A.和Schölkopf，B.（2005年）。使用Hilbert-Schmidt规范测量统计相关性，算法学习理论国际会议，Springer，第63-77页·Zbl 1168.62354号
[14] Guyon，I.和Elisseeff，A.（2003）。变量和特征选择简介，机器学习研究杂志，31157-1182·Zbl 1102.68556号
[15] Hastie，T.、Tibshirani，R.和Wainwright，M.（2019年）。稀疏性统计学习：套索和泛化，查普曼和霍尔/CRC·Zbl 1319.68003号
[16] Haws，D.C.、Rish，I.、Teyssedre，S.、He，D.、Lozano，A.C.、Kambadur，P.、Karaman，Z.和Parida，L.（2015）。变量选择在全基因组复合图预测方法的实证比较中名列前茅，PloS-one，10（10），e0138903。
[17] Huang，Q.，Yamada，M.，Tian，Y.，Singh，D.，Yin，D.和Chang，Y.（2020年）。图形时间：图形神经网络的局部可解释模型解释，arXiv预印本arXiv:2001.06216。
[18] Kawakubo，H.、Matsui，Y.、Kushima，I.、Ozaki，N.和Shimura，T.（2019）。一种用于建模互连脑组织特异性网络的网络网络方法，生物信息学，35（17），3092-3101。
[19] Lee，J.D.、Sun，D.L.、Sun，Y.和Taylor，J.E.（2016）。精确的选后推理，应用于套索，《统计年鉴》，44（3），907-927·Zbl 1341.62061号
[20] Li，R.，Zhong，W.和Zhu，L.（2012）。通过距离相关学习进行特征筛选，《美国统计协会杂志》，107（499），1129-1139·Zbl 1443.62184号
[21] Liu，W.，Ke，Y.，Liu，J.和Li，R.（2020年）。无模型特征筛选和FDR控制与Knockoff特征，《美国统计协会杂志》，第1-16页·Zbl 1506.62303号
[22] 彭浩、龙凤和丁丙（2005）。基于互信息的特征选择：最大依赖、最大相关和最小冗余标准，IEEE模式分析和机器智能汇刊，27（8），1226-1237。
[23] Poignard，B.和Yamada，M.（2020年）。Sparse Hilbert-Schmidt独立标准回归，国际人工智能与统计会议（AISTATS），PMLR，第538-548页。
[24] Radovic，M.、Ghalwash，M.，Filipovic，N.和Obradovic，Z.（2017年）。时间基因表达数据的最小冗余最大相关特征选择方法，BMC生物信息学，18（1），1-14。
[25] Rodriguez-Lujan，I.、Huerta，R.、Elkan，C.和Cruz，C.S.（2010年）。二次编程特征选择，机器学习研究杂志，11491-1516·Zbl 1242.68245号
[26] Song，L.、Smola，A.、Gretton，A.、Bedo，J.和Borgwardt，K.（2012年）。通过依赖最大化进行特征选择，《机器学习研究杂志》，第13期，1393-1434页·Zbl 1303.68110号
[27] Székely，G.J.和Rizzo，M.L.（2009）。布朗距离协方差，应用统计学年鉴，3（4），1236-1265·Zbl 1196.62077号
[28] Takahashi，Y.、Ueki，M.、Yamada，M.，Tamiya，G.、Motoike，I.N.、Saigusa，D.、Sakurai，M..、Nagami，F.、Ogishima，S.、Koshiba，S.等人（2020年）。使用带特征选择的非线性机器学习改进的基于代谢组数据的抑郁症状预测，转化精神病学，10（1），1-12。
[29] Tian，X.和Taylor，J.（2017）。选择性推断的渐近性，《斯堪的纳维亚统计杂志》，44（2），480-499·Zbl 1422.62252号
[30] Tibshirani，R.（1996）。通过套索进行回归收缩和选择，《皇家统计学会杂志》，B辑，58（1），267-288·Zbl 0850.62538号
[31] Tibshirani，R.、Saunders，M.、Rosset，S.、Zhu，J.和K.奈特（2005）。《通过融合套索的稀疏与平滑》，《皇家统计学会杂志：B辑（统计方法）》，67（1），91-108·兹比尔1060.62049
[32] Tomioka，R.和Sugiyama，M.（2009年）。高效稀疏重建的双增广拉格朗日方法，IEEE信号处理快报，16（12），1067-1070。
[33] Yamada，M.、Jitkrittum，W.、Sigal，L.、Xing，E.P.和Sugiyama，M.（2014）。基于特征-线性核化拉索的高维特征选择，神经计算，26（1），185-207·Zbl 1410.68328号
[34] Yamada，M.、Tang，J.、Lugo-Martinez，J.，Hodzic，E.、Shrestha，R.、Saha，A.、Ouyang，H.、Yin，D.、Mamitsuka，H.和Sahinalp，C.等人（2018年）。用于大生物数据的超高维非线性特征选择，IEEE知识与数据工程汇刊，30（7），1352-1365。
[35] Yuan，M.和Lin，Y.（2006）。分组变量回归中的模型选择和估计，《皇家统计学会杂志：B辑（统计方法）》，68（1），49-67·兹比尔1141.62030
[36] Zaremba，W.、Gretton，A.和Blaschko，M.（2013）。B检验：一种非参数、低方差的核双样本检验，《神经信息处理系统的进展》，26755-763。
[37] Zhang，C.-H.等人（2010年）。极小极大凹惩罚下的几乎无偏变量选择，《统计年鉴》，38（2），894-942·Zbl 1183.62120号
[38] Zhang，Q.、Filippi，S.、Gretton，A.和Sejdinovic，D.（2018年）。独立性测试、统计与计算的大规模内核方法，28（1），113-130·Zbl 1384.62154号
[39] Zou，H.和Hastie，T.（2005）。通过弹性网进行正则化和变量选择，《皇家统计学会杂志：B辑（统计方法）》，67（2），301-320·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。