×
林俊宏;沃尔坎·塞弗尔

具有随机投影的核共轭梯度方法。 （英语） Zbl 07390684号

申请。计算。哈蒙。分析。 55, 223-269 (2021).
摘要：我们提出并研究了可分希尔伯特空间上最小二乘回归的带随机投影的核共轭梯度法（KCGM）。考虑由随机草图和Nyström子抽样生成的两类随机投影，我们证明了在适当的停止规则下，算法相对于范数变量的最优统计结果。特别地，我们的结果表明，如果投影维数与问题的有效维数成正比，则带有随机草图的KCGM可以最优地泛化，同时获得计算优势。作为推论，在目标函数可能不在假设空间的情况下，我们导出了经典KCGM在良好条件下的最优速率。

MSC公司：

68T05型 人工智能中的学习和自适应系统
94A20型 信息与传播理论中的抽样理论
41A35型 算子逼近（特别是积分算子）

关键词：

学习理论;共轭梯度法;随机草图;积分算子;学习率

软件：

全球供应链
PDF格式BibTeX公司 XML格式引用
\textit{J.Lin}和\textit{V.Cevher}，应用。计算。哈蒙。分析。55、223--269（2021；Zbl 07390684）
全文： DOI程序 arXiv公司

参考文献：

[1] 阿劳伊，A。；Mahoney，M.W.，具有统计保证的快速随机核岭回归，（神经信息处理系统进展（2015）），775-783
[2] Avron，H。；克拉克森，K.L。；伍德拉夫，D.P.，使用草图和预处理的快速核岭回归，SIAM J.矩阵分析。申请。，38, 4, 1116-1138 (2017) ·Zbl 1379.65008号
[3] Bach，F.，低阶核矩阵近似的夏普分析，（学习理论会议（2013）），185-209
[4] Baraniuk，R。；达文波特，M。；DeVore，R。；Wakin，M.，随机矩阵限制等距性的简单证明，Constr。约28,3253-263（2008年）·Zbl 1177.15015号
[5] 布兰查德，G。；Krämer，N.，随机设计回归核共轭梯度的收敛速度，分析。申请。，14, 06, 763-794 (2016) ·兹比尔1349.62125
[6] 布兰查德，G。；Mücke，N.，统计逆学习问题正则化的最佳速率，发现。计算。数学。，18, 4, 971-1013 (2018) ·兹比尔1412.62042
[7] 坎迪斯，E.J。；Tao，T.，线性规划解码，IEEE Trans。《信息论》，51，12，4203-4215（2005）·Zbl 1264.94121号
[8] Caponetto，A。；De Vito，E.，正则化最小二乘算法的最佳速率，Found。计算。数学。，7, 3, 331-368 (2007) ·Zbl 1129.68058号
[9] Caponetto，A。；Yao，Y.，学习理论中基于交叉验证的正则化算子自适应，Ana。申请。，8, 02, 161-183 (2010) ·Zbl 1209.68405号
[10] Cucker，F。；周德兴，《学习理论：近似理论观点》，第24卷（2007），剑桥大学出版社·Zbl 1274.41001号
[11] Dicker，L.H。；福斯特，D.P。；Hsu，D.，《核岭与主成分回归：极小极大界和正则化算子的限定》，Electron。J.Stat.，11，1，1022-1047（2017）·兹比尔1362.62087
[12] 德里尼亚斯，P。；Magdon-Ismail，M。；马奥尼，M.W。；伍德拉夫，D.P.，矩阵相干和统计杠杆的快速近似，J.Mach。学习。决议，13，3475-3506（2012年12月）·Zbl 1437.65030号
[13] 英国，H.W。；汉克，M。；Neubauer，A.，《反问题的正则化》，第375卷（1996），Springer Science&Business Media·Zbl 0859.65054号
[14] 富井，J。；Fujii，M。；Furuta，T。；Nakamoto，R.，与Heinz不等式等价的范数不等式，Proc。美国数学。Soc.，118，3827-830（1993）·Zbl 0783.47008号
[15] Gittens，A。；Mahoney，M.W.，《重新审视改进大规模机器学习的NyströM方法》（《第30届国际机器学习会议论文集》，第28卷（2013）），第III-567页·Zbl 1367.68223号
[16] Gu，C.，《平滑样条方差分析模型》，第297卷（2013），Springer Science&Business Media·Zbl 1269.62040号
[17] Hanke，M.，《病态问题的共轭梯度类型方法》（2017），Routledge
[18] Hansen，F.，《算子不等式》，《数学》。Ann.，246，3249-250（1980年）·Zbl 0407.47012号
[19] Hestenes，M.R。；Stiefel，E.，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49,6409-436（1952年）·Zbl 0048.09901号
[20] Krahmer，F。；Ward，R.，《通过受限等距特性的新的和改进的Johnson-lindenstrauss嵌入》，SIAM J.Math。分析。，43, 3, 1269-1281 (2011) ·Zbl 1247.15019号
[21] Kriukova，G。；Pereverzyev，S。；Tkachenko，P.，Nyström型子抽样分析为正则投影，逆概率。，第33、7条，第074001页（2017年）·Zbl 1409.68237号
[22] 林，J。；Cevher，V.，《使用随机梯度方法和谱算法进行分布式学习的最佳收敛性》（2018），arXiv预印本
[23] 林，J。；Cevher，V.，希尔伯特空间上最小二乘回归的草图调整算法的最佳速率（2018），arXiv预印本
[24] 林，J。；Cevher，V.，带随机投影的正则化算法和随机梯度方法的收敛性，J.Mach。学习。决议，21，1-44（2020年）·Zbl 1499.62138号
[25] 林，J。；Rosasco，L.，《多程随机梯度法的最优速率》，J.Mach。学习。第18、97、1-47号决议（2017年）·兹比尔1435.68272
[26] 林，J。；Rudi，A。；Rosasco，L。；Cevher，V.，希尔伯特空间上带最小二乘回归的谱算法的最佳速率，应用。计算。哈蒙。分析。，48, 11, 868-890 (2020) ·Zbl 1436.62146号
[27] 林，S.-B。；周，D.-X.，核偏最小二乘的最优学习率，J.Fourier Ana。申请。，24, 3, 908-933 (2018) ·Zbl 1395.68235号
[28] 卢，S。；数学，P。；Pereverzyev，S.，低光滑回归函数的正则化Nyström子抽样分析，Ana。申请。，17, 06, 931-946 (2019) ·Zbl 1440.68250号
[29] 门德尔森，S。；Pajor，A。；Tomczak-Jaegermann，N.，《伯努利和亚高斯系综的统一测不准原理》，Constr。约28,3277-289（2008年）·Zbl 1230.46011号
[30] Minsker，S.，关于自伴算子的Bernstein不等式的一些扩展（2011），arXiv预印本
[31] Myleiko，G。；Pereverzyev，S。；Solodky，S.，《一般平滑假设下回归和排序问题中的正则化Nyström子抽样》，Anal。申请。，453-475年3月17日（2019）·Zbl 1416.68145号
[32] 松果，I。；Sakhanenko，A.，关于大偏差概率不等式的评论，理论问题。申请。，30, 1, 143-148 (1986) ·Zbl 0583.60023号
[33] 罗斯帕尔，R。；Trejo，L.J.，再生核Hilbert空间中的核偏最小二乘回归，J.Mach。学习。第297-123号决议（2001年12月）·Zbl 1021.68075号
[34] Rudi，A。；卡莫里亚诺，R。；Rosasco，L.，《少即是多：Nyström计算正则化》（Advances in Neural Information Processing Systems，2015），1657-1665
[35] Rudi，A。；卡拉蒂诺，L。；Falkon，L.Rosasco，《最优大规模核方法》，（神经信息处理系统进展（2017）），3888-3898
[36] 肖-泰勒，J。；Cristianini，N.，《模式分析的核心方法》（2004），剑桥大学出版社
[37] 辛格，M。；克里沃博科娃，T。；Munk，A.，平稳数据的核偏最小二乘法，J.Mach。学习。决议，18，1，4447-4487（2017）·Zbl 1442.62088号
[38] 斯梅尔，S。；周，D.-X.，通过积分算子及其近似值进行学习理论估计，Constr。约262153-172（2007年）·Zbl 1127.68088号
[39] Smola，A。；Schölkopf，B。；Langley，P.，机器学习的稀疏贪婪矩阵近似，（机器学习国际会议（2000）），911
[40] 斯坦瓦特，I。；Christmann，A.，支持向量机（2008），Springer Science&Business Media·兹比尔1203.68171
[41] 斯坦瓦特，I。；Hush，D.R。；Scovel，C.，正则化最小二乘回归的最佳速率，（学习理论会议（2009））
[42] Tropp，J.A.，《矩阵集中不等式导论》，Found。趋势马赫数。学习。，8, 1-2, 1-230 (2015) ·Zbl 1391.15071号
[43] 威廉姆斯，C.K。；Seeger，M.，《使用NyströM方法加速内核机器》（《神经信息处理系统进展》（2000），麻省理工学院出版社），661-667
[44] Yang，Y。；Pilanci，M。；Wainwright，M.J.，《内核随机草图：快速最佳非参数回归》，《Ann.Stat.》，45，3，991-1023（2017）·Zbl 1371.62039号
[45] Zhang，T.，使用有效数据维度的核回归的学习边界，神经计算。，17, 9, 2077-2098 (2005) ·Zbl 1080.68044号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。