×
林俊宏;亚历山德罗·鲁迪;洛伦佐·罗萨斯科;沃尔坎·塞弗尔

希尔伯特空间上具有最小二乘回归的谱算法的最优速率。 （英语） Zbl 1436.62146号

申请。计算。哈蒙。分析。 48，第3期，868-890（2020）.
小结：本文研究具有平方损失的可分Hilbert空间上的回归问题，覆盖再生核Hilbert时空上的非参数回归。我们研究了一类谱/正则化算法，包括岭回归、主成分回归和梯度方法。考虑到假设空间的容量假设和目标函数的一般源条件，我们证明了所研究算法在范数变量方面的最优高概率收敛结果。因此，我们获得了几乎确定的收敛结果和最优速率。我们的结果改进并推广了先前的结果，填补了无法实现的情况下的理论空白。

引用于21文件

MSC公司：

62G08号 非参数回归和分位数回归
46 E22型 具有再生核的希尔伯特空间（=（适当的）泛函希尔伯特空间，包括de Branges-Rovnyak和其他结构空间）
62H25个 因子分析和主成分；对应分析
2007年6月62日 岭回归；收缩估计器（拉索）
62M15型 随机过程和谱分析的推断
68T05型 人工智能中的学习和自适应系统

关键词：

学习理论;再生核希尔伯特空间;取样操作员;正则化方案;回归，回归;岭回归;主成分回归
PDF格式BibTeX公司 XML格式引用
\textit{J.Lin}等人，应用。计算。哈蒙。分析。48，第3号，868--890（2020；Zbl 1436.62146）
全文： 内政部 arXiv公司

参考文献：

[1] Bauer，F。；Pereverzev，S。；Rosasco，L.，《学习理论中的正则化算法》，J.Complexity，23，1，52-72（2007）·Zbl 1109.68088号
[2] 伯曼，M.S。；Solomyak，M.，希尔伯特空间中的双算子积分，积分方程算子理论，47，2，131-168（2003）·Zbl 1054.47030号
[3] 布兰查德，G。；Mucke，N.，统计逆学习问题正则化的最佳速率（2016），arXiv预印本
[4] Caponetto，A.，学习理论中正则化算子的最佳学习率（2006），技术报告
[5] Caponetto，A。；De Vito，E.，正则化最小二乘算法的最佳速率，Found。计算。数学。，7, 3, 331-368 (2007) ·Zbl 1129.68058号
[6] Cucker，F。；周德兴，《学习理论：近似理论观点》，第24卷（2007），剑桥大学出版社·Zbl 1274.41001号
[7] Dicker，L.H.（Dicker，L.H.）。；福斯特，D.P。；Hsu，D.，《核岭与主成分回归：极小极大界和正则化算子的限定》，Electron。J.Stat.，11，1，1022-1047（2017）·Zbl 1362.62087号
[8] 英国，H.W。；汉克，M。；Neubauer，A.，《逆问题的正则化》，第375卷（1996年），施普林格科学商业媒体·Zbl 0859.65054号
[9] 富井，J。；Fujii，M。；Furuta，T。；Nakamoto，R.，与Heinz不等式等价的范数不等式，Proc。阿默尔。数学。Soc.，118，3827-830（1993）·Zbl 0783.47008号
[10] Gerfo，L.L。；Rosasco，L。；奥多内，F。；De Vito，E。；Verri，A.，监督学习的谱算法，神经计算。，20, 7, 1873-1897 (2008) ·Zbl 1147.68643号
[11] 郭振中。；林，S.-B。；周大新，分布式谱算法学习理论，逆问题。(2017) ·Zbl 1372.65162号
[12] 徐，D。；卡卡德，S.M。；Zhang，T.，岭回归的随机设计分析，Found。计算。数学。，14, 3, 569-600 (2014) ·Zbl 1298.62120号
[13] J.Lin，V.Cevher，《使用随机梯度方法和谱算法进行分布式学习的最佳收敛性》，Arxiv，2018年·Zbl 1525.68118号
[14] 林，J。；Rosasco，L.，多次随机梯度方法的最优速率，J.马赫。学习。第18、97、1-47号决议（2017年）·Zbl 1435.68272号
[15] 林，S.-B。；郭，X。；周，D.-X.，正则化最小二乘分布式学习，J.Mach。学习。第18、92、1-31号决议（2017年）·Zbl 1435.68273号
[16] 数学，P。；Pereverzev，S.，用离散随机噪声数据正则化一些线性不适定问题，数学。公司。，75, 256, 1913-1929 (2006) ·Zbl 1103.62031号
[17] P.Mathé，S.V.Pereverzev，算子值函数的连续模，2002年·Zbl 1027.47006号
[18] G.Myleiko，S.Pereverzyev Jr，S.Solodky，回归和一般平滑假设下排序问题的正则化Nyström子抽样，2017年·Zbl 1416.68145号
[19] 松果，I。；Sakhanenko，A.，关于大偏差概率不等式的评论，理论问题。申请。，30, 1, 143-148 (1986) ·Zbl 0583.60023号
[20] Ramsay，J.O.，《功能数据分析》（2006），威利在线图书馆
[21] 拉斯托吉，A。；Sampath，S.，一般源条件下正则化学习算法的最优速率，前沿应用。数学。统计，3，3（2017年）
[22] Rosasco，L。；Villa，S.，增量迭代正则化学习，（神经信息处理系统进展（2015）），1630-1638
[23] Rudi，A。；卡莫里亚诺，R。；Rosasco，L.，《少即是多：Nyström计算正则化》（Advances in Neural Information Processing Systems，2015），1657-1665
[24] Rudi，A。；卡纳斯，G.D。；Rosasco，L.，关于子空间学习的样本复杂性，（神经信息处理系统进展（2013）），2067-2075
[25] 鲁迪，A。；Rosasco，L.，随机特征学习的泛化特性，（神经信息处理系统进展（2017）），3215-3225
[26] 斯梅尔，S。；周，D.-X.，通过积分算子及其近似值进行学习理论估计，Constr。约262153-172（2007年）·Zbl 1127.68088号
[27] 斯坦瓦特，I。；Christmann，A.，支持向量机（2008），Springer Science Business Media·Zbl 1203.68171号
[28] 斯坦瓦特，I。；Hush，D.R。；Scovel，C.，正则化最小二乘回归的最佳速率，（学习理论会议（2009））
[29] 萨博，Z。；格雷顿，A。；Póczos，B。；Sriperumbudur，B.，分布的两阶段抽样学习理论，（人工智能与统计（2015）），948-957
[30] 吴琼。；Ying，Y。；周大新，最小二乘正则回归学习率，发现。计算。数学。，6, 2, 171-192 (2006) ·Zbl 1100.68100号
[31] 姚，Y。；Rosasco，L。；Caponetto，A.，关于梯度下降学习中的早期停止，Constr。大约，26289-315（2007年）·Zbl 1125.62035号
[32] Zhang，T.，使用有效数据维度的核回归学习界，神经计算。，17, 9, 2077-2098 (2005) ·Zbl 1080.68044号
[33] 张，T。；Yu，B.，《提前停止促进：收敛性和一致性》，Ann.Statist。，33, 4, 1538-1579 (2005) ·Zbl 1078.62038号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。