×
张天宇;诺亚·西蒙

再生核Hilbert空间中非参数回归的在线投影估计。 （英语） Zbl 07688204号

统计正弦。 33，编号1，127-148（2023）.
摘要：非参数回归的目标是在假设回归函数属于预先指定的无限维函数空间的情况下，从噪声观测中恢复潜在的回归函数。在在线设置中，观察结果是连续的，通常在计算上不可能重复重新调整整个模型。到目前为止，还没有一种方法既具有计算效率，又具有统计最优率。在本文中，我们提出了一种在线非参数回归的估计量。值得注意的是，我们的估计器是确定性线性空间中的经验风险最小化器，这与使用随机特征和函数随机梯度的现有方法截然不同。我们的理论分析表明，当回归函数已知位于再生核Hilbert空间时，该估计量获得了一个速率最优泛化误差。我们还从理论和经验上表明，我们的估计器的计算成本远低于针对这种在线设置提出的其他速率最优估计器。

引用于三文件

MSC公司：

62至XX 统计

关键词：

美世扩张;非参数回归;在线学习;再生核希尔伯特空间

软件：

高斯QR;ElemStatLearn（电子状态学习）
PDF格式BibTeX公司 XML格式引用
\textit{T.Zhang}和\textit{N.Simon}，Stat.Sin。33，编号1，127--148（2023；Zbl 07688204）
全文： DOI程序 arXiv公司

参考文献：

[1] Alexandridis，A.K.和Zapranis，A.D.（2013）。小波神经网络：实用指南。神经网络42，1-27·Zbl 1293.68213号
[2] Babichev，D.和Bach，F.（2018年）。用于概率建模的恒定步长随机梯度下降。第34届人工智能不确定性会议论文集，219-228。AUAI出版社。
[3] 巴赫·F·R和穆林·E（2013）。收敛速度为o（1/n）的非严格凸光滑随机逼近。神经信息处理系统进展26，773-781。
[4] Belloni，A.、Chernozhukov，V.和Wang，L.（2014）。在非参数回归中通过平方根拉索进行枢轴估计。《统计年鉴》42，757-788·Zbl 1321.62030号
[5] Christmann，A.和Steinwart，I.（2008）。支持向量机。纽约州施普林格·兹比尔1203.68171
[6] Cucker，F.和Smale，S.（2002年）。关于学习的数学基础。美国数学学会公报39，1-49·Zbl 0983.68162号
[7] Dai，B.，Xie，B.，He，N.，Liang，Y.，Raj，A.，Balcan，M.-F.等人（2014）。通过双重随机梯度的可伸缩核方法。神经信息处理系统进展4，3041-3049。
[8] Dieuleveut，A.和Bach，F.（2016）。大步长非参数随机逼近。《统计年鉴》44，1363-1399·Zbl 1346.60041号
[9] Fasshauer，G.E.和McCourt，M.（2015）。使用Matlab的基于核的近似方法。世界科学出版公司。
[10] Frostig，R.、Ge，R.，Kakade，S.M.和Sidford，A.（2015）。与经验风险最小化者单程竞争。第28届学习理论会议论文集40，728-763。
[11] Gittens，A.和Mahoney，M.W.（2016年）。重新审视用于改进大规模机器学习的nyström方法。机器学习研究杂志17，3977-4041·Zbl 1367.68223号
[12] Han，Q.和Wellner，J.A.（2019年）。具有重尾误差的最小二乘回归估计量的收敛速度。《统计年鉴》47，2286-2319·Zbl 1466.60033号
[13] Härdle，W.、Kerkyacharian，G.、Picard，D.和Tsybakov，A.（2012年）。小波、近似和统计应用。纽约州施普林格。
[14] Hastie，T.、Tibshirani，R.和Friedman，J.（2009）。统计学习的要素：数据挖掘、推理和预测。纽约州施普林格·Zbl 1273.62005年
[15] Koppel，A.、Warnell，G.、Stump，E.和Ribeiro，A.（2019年）。通过函数空间中的稀疏投影使用内核进行节约的在线学习。《机器学习杂志》检索20，83-126·Zbl 1483.68304号
[16] Kushner，H.J.和Yin，G.G.（2003）。随机逼近和递归算法及其应用。纽约州施普林格·Zbl 1026.62084号
[17] Ledoux，M.和Talagrand，M.（2013）。巴拿赫空间中的概率：等高线和Pro-ces。斯普林格·弗拉格，柏林，海德堡。
[18] Leoni，G.（2017）。索波列夫空间第一课程。美国数学学会·Zbl 1382.46001号
[19] Liu，F.、Huang，X.、Chen，Y.和Suykens，J.A.K.（2021）。内核ap-proximation的随机特性：算法、理论和其他方面的综述。IEEE模式分析和机器智能汇刊。内政部：10.1109/TPAMI.2021.3097011·doi:10.1109/TPAMI.2021.3097011
[20] Lu，J.，Hoi，S.C.H.，Wang，J.、Zhao，P.和Liu，Z.-Y.（2016）。大规模在线内核学习。《机器学习研究杂志》171613-1655·Zbl 1360.68690号
[21] Michel，V.（2012）。构造逼近讲座：实线、球面和球上的傅里叶、样条和小波方法。纽约州施普林格。
[22] 彼得森·K·B和彼得森·M·S（2008）。矩阵食谱。丹麦技术大学，林比。
[23] Raskutti，G.、Yu，B.和Wainwright，M.J.（2009年）。具有加性稀疏性和光滑性的非参数回归的极小极大速率的下限。《神经信息处理系统进展》221563-1570。
[24] Rudi，A.和Rosasco，L.（2017）。具有随机特征的学习的泛化性质。神经信息处理系统进展30，3215-3225。
[25] Santin，G.和Schaback，R.（2016）。基于核的空间中特征函数的近似。计算数学进展42，973-993·Zbl 1353.65139号
[26] Schölkopf，B.、Herbrich，R.和Smola，A.J.（2001）。广义表示定理。在计算学习理论国际会议上，416-426。施普林格，柏林，海德堡·Zbl 0992.68088号
[27] Sherman，J.和Morrison，W.J.（1950）。与给定矩阵中一个元素的变化相对应的逆矩阵的调整。《数理统计年鉴》21，124-127·Zbl 0037.00901号
[28] Si，S.、Kumar，S.和Li，Y.（2018）。基于自适应nyström逼近的非线性在线学习。arXiv:1802.07887。
[29] Simon，N.和Shojaie，A.（2021）。指定错误光滑度下非参数惩罚回归的收敛速度。中国统计局31，473-489·Zbl 1475.62149号
[30] Tarres，P.和Yao，Y.（2014）。在线学习作为正则化路径的随机近似：最优性和近似收敛。IEEE信息技术汇刊60，5716-5735·Zbl 1360.62192号
[31] Tsybakov，A.（2008）。非参数估计导论。纽约州施普林格。
[32] Wahba，G.（1990年）。观测数据的样条模型。费城SIAM·Zbl 0813.62001号
[33] Wainwright，M.J.（2019年）。高维统计：一个非症状的观点。坎布里奇大学出版社·Zbl 1457.62011年
[34] Xiu，D.（2010）。随机计算的数值方法：谱方法。普林斯顿大学出版社，普林斯顿和牛津·Zbl 1210.65002号
[35] Yuan，M.和Zhou，D.-X.（2016）。高维加性模型中的最小-最大最优估计率。《统计年鉴》44，2564-2593·Zbl 1360.62200号
[36] 诺亚·西蒙（Noah Simon）美国华盛顿大学生物统计系，西雅图，WA 98195，邮编：nrsimon@uw.edu（2020年6月收到；2021年5月接受）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。