×
埃沙·萨哈;海登·谢弗;Tran，Giang（江特朗）

HARFE：硬边随机特征扩展。 （英语） Zbl 1520.65012号

样品。理论信号处理。数据分析。 21，第2号，第27号论文，24页（2023年）.
摘要：我们提出了一种用于逼近高维稀疏加性函数的随机特征模型，称为硬脊随机特征展开方法（HARFE）。该方法使用基于硬阈值追踪的算法来解决稀疏岭回归（SRR）问题，以近似随机特征矩阵的系数。SRR公式在获得在表示中使用较少术语的稀疏模型和对噪声和离群值具有鲁棒性的基于脊线的平滑之间进行了平衡。此外，我们在随机特征矩阵中使用随机稀疏连接模式来匹配加性函数假设。我们证明了HARFE方法能够在给定的误差范围内收敛，该误差范围取决于噪声和稀疏岭回归模型的参数。此外，我们还提供了学习模型的风险边界。基于合成数据和实际数据集的数值结果，HARFE方法比其他最先进的算法获得更低（或可比）的误差。

MSC公司：

65日第15天 函数逼近算法
41A63型 多维问题
62J07型 岭回归；收缩估计器（拉索）
65D40型 高维函数的数值逼近；稀疏网格
65K10码 数值优化和变分技术

关键词：

稀疏加性建模;随机特征扩展;岭回归

软件：

UCI-毫升;L0学习
PDF格式BibTeX公司 XML格式引用
\textit{E.Saha}等人，Sampl。理论信号处理。数据分析。21，第2号，第27号论文，24页（2023；Zbl 1520.65012）
全文： DOI程序 arXiv公司

参考文献：

[1] Bach，F.，《关于核求积规则和随机特征展开之间的等价性》，J.Mach。学习。第18、1、714-751号决议（2017年）·Zbl 1435.65045号
[2] Bach，FR，组套索和多核学习的一致性，J.Mach。学习。第9、6、20号决议（2008年）·Zbl 1225.68147号
[3] 巴特利特，PL；长，PM；卢戈西，G。；齐格勒，A.，线性回归中的良性过拟合，Proc。国家。阿卡德。科学。，117, 48, 30063-30070 (2020) ·Zbl 1485.62085号 ·doi:10.1073/pnas.1907378117
[4] 贝尔金，M。；徐，D。；马，S。；Mandal，S.，《协调现代机器学习实践和经典偏差-方差权衡》，Proc。国家。阿卡德。科学。，116、32、15849-15854（2019）·Zbl 1433.68325号 ·doi:10.1073/pnas.1903070116
[5] Belkin，M.，Rakhlin，A.，Tsybakov，A.B.：数据插值是否与统计优化相矛盾？摘自：第22届国际人工智能与统计会议，第1611-1619页。PMLR（2019年）
[6] Bertsimas，D。；Van Parys，B.，《稀疏高维回归：精确可缩放算法和相变》，《Ann.Stat.》，48，1，300-323（2020）·Zbl 1444.62094号 ·doi:10.1214/18-AOS1804
[7] Beylkin，G。；Garcke，J。；莫伦坎普，MJ，《多元回归与可分离函数和的机器学习》，SIAM J.Sci。计算。，31, 3, 1840-1857 (2009) ·Zbl 1190.62135号 ·doi:10.1137/070710524
[8] Binev，P。；Dahmen，W。；Lamby，P.，《稀疏占用树的快速高维近似》，J.Compute。申请。数学。，235, 8, 2063-2076 (2011) ·Zbl 1209.65018号 ·doi:10.1016/j.cam.2010.10.005
[9] Blumensath，T。；Davies，ME，压缩感知的迭代硬阈值，应用。计算。哈蒙。分析。，27, 3, 265-274 (2009) ·Zbl 1174.94008号 ·doi:10.1016/j.acha.2009.04.002
[10] Bouchot，J-L；福卡特，S。；Hitchzenko，P.，《硬阈值追踪算法：迭代次数》，应用。计算。哈蒙。分析。，4121-435（2016年）·兹比尔1346.65012 ·doi:10.1016/j.acha.2016.03.002
[11] 坎贝尔，C.，《内核方法：当前技术的调查》，神经计算，48，1-4，63-84（2002）·Zbl 1006.68770号 ·doi:10.1016/S0925-2312（01）00643-9
[12] Chen，Z.，Schaeffer，H.：随机特征矩阵的条件：双重下降和泛化误差。arXiv：2110.11477（arXiv预印本）（2021）
[13] 克里斯特曼，A。；周，D-X，加性模型中基于核的分位数回归估计的风险学习率，Ana。申请。，14, 3, 449-477 (2016) ·Zbl 1338.62077号 ·doi:10.1142/S021953051500050
[14] Dua，D.，Graff，C.：UCI机器学习库（2017）
[15] W.E，C.Ma，Wojtowytsch，S.，Wu，L.：对基于神经网络的机器学习的数学理解：我们知道什么和不知道什么。arXiv:2009.10713（arXiv-print）（2020）
[16] Foucart，S.，《硬阈值追踪：压缩感知算法》，SIAM J.Numer。分析。，49, 6, 2543-2563 (2011) ·Zbl 1242.65060号 ·数字对象标识代码：10.1137/100806278
[17] 福卡特，S。；Rauhut，H.，《压缩传感数学导论》（2013），巴塞尔：Birkhäuser，巴塞尔·Zbl 1315.94002号 ·doi:10.1007/978-0-8176-4948-7
[18] Frankle，J.，Carbin，M.：彩票假说：发现稀疏、可训练的神经网络。arXiv:1803.03635（arXiv预印本）（2018）
[19] Gönen，M。；Alpaydñn，E.，《多核学习算法》，J.Mach。学习。第12号决议，2211-2268（2011年）·Zbl 1280.68167号
[20] K.D.哈里斯：大脑中的加法函数近似。arXiv:1909.02603（arXiv预印本）（2019年）
[21] 哈希米，A。；谢弗，H。；Shi，R。；托普库，美国。；Tran，G。；Ward，R.，稀疏随机特征展开的广义界，应用。计算。谐波分析。，62310-330（2023年）·Zbl 1505.65039号 ·doi:10.1016/j.acha.2022.08.003
[22] 哈斯蒂，T。；Montanari，A。；Rosset，S。；Tibshirani，RJ，《高维无脊最小二乘插值的惊喜》，《Ann.Stat.》，50,2949（2022）·兹比尔1486.62202 ·doi:10.1214/21-AOS2133
[23] 哈齐梅，H。；Mazumder，R.，《快速最佳子集选择：坐标下降和局部组合优化算法》，Oper。第68号、第5号、第1517-1537号决议（2020年）·Zbl 1457.90153号 ·doi:10.1287/opre.2019.1919
[24] 马萨诸塞州赫斯特；杜梅斯，ST；Osuna，E。；普拉特，J。；Scholkopf，B.，支持向量机，IEEE Intell。系统。申请。，13, 4, 18-28 (1998) ·doi:10.1109/5254.708428
[25] Kandasamy，K.，Yu，Y.：通过salsa的高维非参数回归中的加性近似。摘自：机器学习国际会议，第69-78页。PMLR（2016）
[26] Li，Z.，Ton，J.-F.，Oglic，D.，Sejdinovic，D.：走向随机傅里叶特征的统一分析。摘自：机器学习国际会议，第3905-3914页。PMLR（2019年）·Zbl 07370625号
[27] Liang，T。；Rakhlin，A.，《插值：核“无脊”回归可以推广》，《Ann.Stat.》，48，3，1329-1347（2020）·Zbl 1453.68155号 ·doi:10.1214/19-AOS1849
[28] Lin，Y。；Zhang，HH，多元非参数回归中的成分选择与平滑，Ann.Stat.，34，5，2272-2297（2006）·Zbl 1106.62041号 ·doi:10.1214/0090536000000722
[29] Liu，G.，Chen，H.，Huang，H.：稀疏收缩可加模型。摘自：机器学习国际会议，第6194-6204页。PMLR（2020年）
[30] Luedtke，J.，用于求解具有有限支持的机会约束数学程序的分支和割分解算法，数学。程序。，1461219-244（2014年）·Zbl 1297.90092号 ·doi:10.1007/s10107-013-0684-6
[31] Maleki，A.：迭代阈值算法的一致性分析。摘自：2009年第47届Allerton通信、控制和计算年会（Allerton），第236-243页。IEEE（2009）
[32] Mazumder，R。；拉德琴科，P。；Dedieu，A.，《带收缩的子集选择：低信噪比时的稀疏线性建模》，Oper。第71号、第1号、第129-147号决议（2023年）·Zbl 07809599号 ·doi:10.1287/opre.2022.2276
[33] 梅，S。；Misiakiewicz，T。；Montanari，A.，随机特征和核方法的泛化误差：超压缩性和核矩阵集中，应用。计算。谐波分析。，59, 3-84 (2022) ·Zbl 07522503号 ·doi:10.1016/j.acha.2021.12.003
[34] 梅，S。；Montanari，A.，《随机特征回归的泛化误差：精确渐近和双下降曲线》，Commun。纯应用程序。数学。，20, 20 (2019)
[35] 梅耶，D。；Leisch，F。；Hornik，K.，《测试中的支持向量机》，神经计算，55，1-2，169-186（2003）·doi:10.1016/S0925-2312（03）00431-4
[36] 波茨，D。；Schmischke，M.，用傅立叶方法逼近高维周期函数，SIAM J.Numer。分析。，59, 5, 2393-2429 (2021) ·Zbl 1476.65022号 ·doi:10.1137/20M1354921
[37] 波茨，D。；Schmischke，M.，高维数据的可解释近似，SIAM J.Math。数据科学。，3, 4, 1301-1323 (2021) ·Zbl 1476.65023号 ·数字对象标识代码：10.1137/21M1407707
[38] Rahimi，A.，Recht，B.：大规模内核机器的随机特性。在：NIPS，第3卷，第5页。Citeser（2007）
[39] Rahimi，A.，Recht，B.：具有随机基的函数的一致逼近。摘自：2008年第46届Allerton通信、控制和计算年会，第555-561页。IEEE（2008）
[40] Rahimi，A.，Recht，B.：随机厨房水槽的加权和：用学习中的随机性代替最小化。收录于：NIPS，第1313-1320页。Citeseer（2008）
[41] Ravikumar，P.，Liu，H.，Lafferty，J.D.，Wasserman，L.A.：垃圾邮件：稀疏加性模型。收录于：NIPS，第1201-1208页（2007年）
[42] Rudi，A.，Rosasco，L.：具有随机特征的学习的泛化性质。收录于：NIPS，第3215-3225页（2017年）
[43] Smola，A.J.，Schölkopf，B.：用内核学习，第4卷。Citeser（1998）·Zbl 1019.68094号
[44] 齐格勒，A。；Bartlett，PL，岭回归中的Benign过拟合，Proc。美国国家科学院。科学。，117, 48, 30063-30070 (2020) ·Zbl 1485.62085号 ·doi:10.1073/pnas.1907378117
[45] Tyagi，H.，Kyrillidis，A.Gärtner，B.，Krause，A.：学习高维交互作用的稀疏可加模型。摘自：《人工智能与统计》，第111-120页。PMLR（2016）·Zbl 1470.94058号
[46] 谢伟。；Deng，X.，稀疏岭回归的可缩放算法，SIAM J.Optim。，30, 4, 3359-3386 (2020) ·Zbl 1458.90489号 ·doi:10.1137/19M1245414
[47] 谢毅。；Shi，B。；谢弗，H。；Ward，R.，Shrimp：通过迭代幅度修剪的稀疏随机特征模型，数学。科学。机器。学习。PMLR，190，303-318（2022）
[48] Xu，Z.，Jin，R.，Yang，H.，King，I.，Lyu，M.R.：利用群套索进行简单有效的多核学习。In:ICML（2010）
[49] Yen，I.E.-H.，Lin，T.-W.，Lin.，S.-D.，Ravikumar，P.K.，Dhillon，I.S.：稀疏随机特征算法作为希尔伯特空间中的坐标下降。摘自：《神经信息处理系统进展》，第2456-2464页（2014年）
[50] Zhang，T.，使用有效数据维度的核回归学习界，神经计算。，17, 9, 2077-2098 (2005) ·兹比尔1080.68044 ·doi:10.11162/089976054323008
[51] 周，H.，兰，J.，刘，R.，约辛斯基，J.：解构彩票：零、标志和超人。进展：神经信息处理系统进展，第32卷（2019年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。