×
Raymond Cheng先生;王瑞;徐月生

Banach空间中正则化学习问题的对偶方法。 （英语） Zbl 07805473号

J.复杂性 81，文章ID 101818，第22页（2024）.
摘要：Banach空间中的正则化学习问题，通常使一个Banach范数中的数据保真度项和另一个Banache范数的正则化项之和最小化，是一个很难解决的问题。我们基于Banach空间为保真度项和正则化项构造了一个直和空间，并将目标函数重新构造为直和空间的商空间的范数。然后，我们将原正则化问题表示为直接和空间对偶空间中的优化问题。它是求凸多面体上线性函数的最大值，可以用线性规划求解。然后利用对偶问题解的赋范泛函的相关极值性质，得到原问题的解。数值实验表明，所提出的对偶方法对于解决正则化学习问题是有效的。

MSC公司：

68问题32 计算学习理论
41A05型 近似理论中的插值
46 B45 巴拿赫序列空间

关键词：

二元性;正则化问题;线性规划;稀疏性
PDF格式BibTeX公司 XML格式引用
\textit{R.Cheng}等人，J.Complexity 81，文章ID 101818，22 p.（2024；Zbl 07805473）
全文： 内政部 arXiv公司

参考文献：

[1] Argyriou，A。；米切利，C.A。；Pontil，M.，什么时候有代表性定理？向量正则化子与矩阵正则化子。J.马赫。学习。研究，2507-2529（2009）·Zbl 1235.68128号
[2] 阿齐兹内贾德，S。；Unser，M.，稀疏约束多核回归。SIAM J.数学。数据科学。，201-224 (2021) ·Zbl 1479.46026号
[3] 巴布，V。；Precupanu，T.，Banach空间中的凸性和优化（2012），施普林格：施普林格-多德雷赫特·Zbl 1244.49001号
[4] Bi，J。；Bennett，K.P。；Embrachts，M。；布伦曼，C.M。；Song，M.，通过稀疏支持向量机降低维数。J.马赫。学习。1229-1243（2003）号决议·Zbl 1102.68531号
[5] Boche，H。；Pohl，V.，Wiener代数中谱分解的稳定性和连续性行为及其在Wiener滤波中的应用。IEEE Trans。电路系统。一、 雷古尔。爸爸。，3063-3076 (2008)
[6] 坎迪斯，E.J。；J.隆伯格。；Tao，T.，鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号。IEEE传输。信息理论，489-509（2006）·Zbl 1231.94017号
[7] 陈S.S。；Donoho，D.L。；桑德斯，M.A.，《基追踪的原子分解》。SIAM版本，129-159（2001）·Zbl 0979.94010号
[8] Cheng，R.，关于平稳过程的预测。期间。数学。洪。，481-505（2022）·Zbl 1524.60079号
[9] Cheng，R。；Ross，W.T.，Banach空间上的弱平行四边形定律及其在预测中的应用。期间。数学。洪。，45-58 (2015) ·Zbl 1363.46013号
[10] Cheng，R。；Ross，W.T.，《（ell^p）中的内外因式分解及其在ARMA过程中的应用》。数学杂志。分析。申请。，396-418 (2016) ·Zbl 1336.47072号
[11] Cheng，R。；Xu，Y.，（\ell_1（\mathbb{N}）空间中的最小范数插值。分析。申请。，21-42 (2021) ·Zbl 1462.41001号
[12] Conway，J.，《函数分析课程》（1985），Springer-Verlag:Springer-Verlag纽约·Zbl 0558.46001号
[13] Cucker，F。；Smale，S.，《学习的数学基础》。牛。美国数学。Soc.，1-49（2002）·Zbl 0983.68162号
[14] Donoho，D.L.，压缩传感。IEEE传输。《信息论》，1289-1306（2006）·Zbl 1288.94016号
[15] Evgeniou，T。；庞蒂尔，M。；Poggio，T.，正则化网络和支持向量机。高级计算。数学。，1-50 (2000) ·Zbl 0939.68098号
[16] 黄，L。；刘，C。；Tan，L。；Ye，Q.，Banach空间中的广义表示定理。分析。申请。，1, 125-146 (2021) ·兹比尔1462.68156
[17] Kuruog̋lu，E.E.，非线性自回归（α）稳定过程的非线性最小范数滤波器。数字。信号处理。，119-142 (2002)
[18] 李强。；沈，L。；Xu，Y。；Zhang，N.，多步定点逼近算法，用于解决图像处理中出现的一类优化问题。高级计算。数学。，387-422 (2015) ·Zbl 1326.65069号
[19] 李，Z。；Song，G。；Xu，Y.，机器学习中一类不可微优化模型的两步定点逼近算法。科学杂志。计算。，923-940 (2019) ·Zbl 1423.68382号
[20] 林·R。；Song，G。；Zhang，H.，范数为（\ell_1）的向量值再生核Banach空间中的多任务学习。J.复杂。(2021) ·Zbl 1471.68221号
[21] 刘，Q。；王，R。；Xu，Y。；Yan，M.，范数稀疏正则化的参数选择。反向探测。(2023)
[22] 卢，S。；Pereverzev，S.V.，病态问题的正则化理论。《精选主题》（2013），德格鲁伊特：德格鲁伊特柏林，波士顿·兹比尔1282.47001
[23] Megginson，R.E.，《巴拿赫空间理论导论》。数学研究生课本（1998），Springer-Verlag:Springer-Verlag New York·Zbl 0910.46008号
[24] 米切利，C.A。；沈，L。；Xu，Y.，图像模型的邻近算法：去噪。反向探测。（2011年）
[25] 米切利，C.A。；Xu，Y。；Ye，P.，Besov空间中的Cucker-Smale学习理论，47-68
[26] 帕希，R。；Nowak，R.D.，Banach空间表示神经网络和脊样条的定理。J.马赫。学习。决议，43（2021）·Zbl 1507.68250号
[27] 鲁丁，L.I。；Osher，S。；Fatemi，E.，基于非线性总变差的噪声去除算法。物理学。D、 非线性现象。，259-268（1992年）·Zbl 0780.49028号
[28] Schölkopf，B。；Smola，A.J.，《使用内核学习：支持向量机、正则化、优化和超越》（2002年），麻省理工学院出版社：麻省理学学院出版社剑桥
[29] Schölkopf，B。；Herbrich，R。；Smola，A.J.，广义表示定理，416-426·Zbl 0992.68088号
[30] 舒斯特，T。；Kaltenbacher，B。；霍夫曼，B。；Kazimierski，K.S.，《巴拿赫空间中的正则化方法》（2012），施普林格出版社：柏林施普林格·兹比尔1259.65087
[31] Song，G。；Zhang，H.，用（ell^1）范数再现核Banach空间II：正则化最小二乘回归的误差分析。神经计算。，2713-2729 (2011) ·Zbl 1231.68219号
[32] Song，G。；张，H。；Hickernell，F.J.，用\（ell^1）范数再现内核Banach空间。申请。计算。哈蒙。分析。，96-116 (2013) ·Zbl 1269.46020号
[33] Sriperumbudur，B.K。；Fukumizu，K。；Lanckriet，G.R.G.，《希尔伯特与巴拿赫空间中的学习：一个嵌入测度的观点》·Zbl 1280.68198号
[34] Tibshirani，R.，通过套索回归收缩和选择。J.R.Stat.Soc.，塞尔维亚。B、 Methodol.方法。，267-288 (1996) ·Zbl 0850.62538号
[35] 蒂布希拉尼，R.J。；Taylor，J.，广义套索的解路径。Ann.Stat.，1335-1371（2011）·Zbl 1234.62107号
[36] Unser，M.，反问题和机器学习的统一表示定理。找到。计算。数学。，941-960 (2021) ·Zbl 1479.46088号
[37] Unser，M。；Fageot，J。；Gupta，H.，稀疏提升正则化的表示定理。IEEE传输。《信息理论》，5167-5180（2016）·Zbl 1359.94185号
[38] 乌巴亚，V.A。；Weinstein，S.E。；Xu，Y.，最佳分段单调一致逼近。《近似理论杂志》，375-383（1990）·Zbl 0732.41028号
[39] 维奥拉，C。；Z̆ivnȾ，S.，无限域上承诺VCSP的组合基本（L^p）和仿射（ell^p）松弛。ACM事务处理。算法（2021），23页·Zbl 07475101号
[40] 王，R。；Xu，Y.，非点赋值函数数据的函数再生核Hilbert空间。申请。计算。哈蒙。分析。，569-623 (2019) ·Zbl 1423.46046号
[41] 王，R。；Xu，Y.，Banach空间中的表示定理：最小范数插值，正则化学习和半离散逆问题。J.马赫。学习。第225号决议（2021年）·Zbl 1507.68261号
[42] 王，R。；Xu，Y.，函数再现核Hilbert空间中的正则化。J.复杂。(2021) ·Zbl 07390177号
[43] Weinstein，S.E。；Xu，Y.，最佳拟凸一致逼近。数学杂志。分析。申请。，240-251 (1990) ·Zbl 0729.41026号
[44] Weinstein，S.E。；Xu，Y.，最佳一致凸逼近的对偶方法。数学杂志。分析。申请。，314-322 (1991) ·Zbl 0764.41035号
[45] Xu，Y.，Banach空间中的稀疏机器学习。申请。数字。数学。，138-157 (2023) ·Zbl 07705768号
[46] Xu，Y。；Ye，Q.，广义Mercer核和再生核Banach空间。备忘录。美国数学。索契，1243（2019）·Zbl 1455.68009号
[47] 曾伟杰。；所以，H.C。；Zoubir，A.M.，脉冲噪声中时延估计的An（ell_p）范数最小化方法。数字。信号处理。，1247-1254 (2013)
[48] 张，H。；Xu，Y。；Zhang，J.，为机器学习复制内核Banach空间。J.马赫。学习。2741-2775号决议（2009年）·Zbl 1235.68217号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。