×
雷云文；周定轩

随机稀疏Kaczmarz方法的学习理论。 （英语） Zbl 1437.94020号

SIAM J.成像科学。 11，第1期，547-574（2018）.
摘要：本文提出了一种在线学习算法，即广义随机稀疏Kaczmarz方法，用于生成线性系统的稀疏近似解，并对其收敛性进行了学习理论分析。在覆盖采样过程或非线性回归函数中噪声随机测量的温和假设下，我们证明了算法在期望收敛的当且仅当步长序列（{eta_t}{t在mathbb{N}}中）满足（lim{t到infty}）和（sum{t=1}^{infty{eta _t=infty）。在采样过程正方差的假设下，得到了收敛速度，并证明了线性收敛是不可能的。通过附加限制（sum_{t=1}^{infty}\eta_t^2<infty），得到了几乎必然收敛的一个充分条件。我们通过将随机稀疏Kaczmarz方法解释为一种特殊的在线镜像下降算法，并使用不可微的镜像贴图并使用Bregman距离。通过对所涉及的泛化误差建立强凸性的限制变量，并利用软阈值算子的特殊结构，导出了充要条件。

引用于三文件

MSC公司：

94A08型 信息与通信理论中的图像处理（压缩、重建等）
65层10 线性系统的迭代数值方法
68T05型 人工智能中的学习和自适应系统

关键词：

线性化Bregman迭代；随机稀疏Kaczmarz算法；在线学习；学习理论；布列格曼距离

软件：

AIR工具
PDF格式BibTeX公司 XML格式引用
\textit{Y.Lei}和\textit{D.-X.Zhou，SIAM J.成像科学。11，第1号，547--574（2018；Zbl 1437.94020）
全文： 内政部

参考文献：

[1] H.H.Bauschke和J.M.Borwein，凸可行性问题的投影算法SIAM Rev.，38（1996），第367–426页·Zbl 0865.47039号
[2] H.H.Bauschke、J.M.Borwein和P.L.Combettes，Bregman单调优化算法SIAM J.控制优化。，42（2003），第596–636页·Zbl 1049.90053号
[3] H.H.Bauschke、J.M.Borwein和W.Li，凸优化中的强锥壳相交性质、有界线性正则性、詹姆逊性质（g）和误差界，数学。程序。，86（1999），第135–160页·Zbl 0998.90088号
[4] D.P.Bertsekas，凸优化的增量梯度、子梯度和近似方法：综述，报告LIDS-P-2848，信息和决策系统实验室，麻省理工学院，马萨诸塞州剑桥市，2010年。
[5] L.Bottou等人，在线学习和随机逼近《神经网络在线学习》，D.Saad主编，剑桥大学出版社，纽约，1998年，第9-42页·Zbl 0968.68127号
[6] 蔡建富、S.Osher和Z.Shen，线性化Bregman迭代的收敛性\(ℓ_1）-范数最小化，数学。公司。，78（2009），第2127–2136页·Zbl 1198.65103号
[7] 蔡建富、S.Osher和Z.Shen，压缩传感的线性化Bregman迭代，数学。公司。，78（2009），第1515-1536页·Zbl 1198.65102号
[8] F.Cucker和D.-X.Zhou，学习理论：一种近似理论观点《剑桥大学学报》。申请。计算。数学。24，剑桥大学出版社，英国剑桥，2007年·Zbl 1274.41001号
[9] J.L.Doob，测量理论，梯度。数学课文。143，施普林格，纽约，1994年·Zbl 0791.28001号
[10] J.Duchi和Y.Singer，使用正向-反向分裂的高效在线和批量学习，J.马赫。学习。Res.，10（2009），第2899–2934页·Zbl 1235.62151号
[11] J.Fan、T.Hu、Q.Wu和D.-X.Zhou，一种经验最小误差熵算法的一致性分析，申请。计算。哈蒙。分析。，41（2016），第164-189页·Zbl 1382.94034号
[12] T.Goldstein和S.Osher，l1-正则化问题的分裂Bregman方法，SIAM J.成像科学。，2（2009年），第323–343页·Zbl 1177.65088号
[13] Z.C.Guo、D.-H.Xiang、X.Guo和D.-X.Zhou，稀疏近似的阈值谱算法，分析。申请。，15（2017年），第433-455页·Zbl 1409.68232号
[14] P.C.Hansen和M.Saxeld Hansen，AIR工具：代数迭代重建方法的MATLAB包，J.计算。申请。数学。，236（2012），第2167–2178页·Zbl 1241.65042号
[15] 胡涛（T.Hu）、范俊杰（J.Fan）、吴强（Q.Wu）和周德兴（D.-X.Zhou），最小误差熵原理的正则化方案，分析。申请。，13（2015），第437–455页·Zbl 1329.68216号
[16] S.Kaczmarz，线性化系统，公牛。国际学术界。科学。波洛涅A，35（1937），第355-357页·JFM 63.0524.02号
[17] Y.Lei和D.-X.Zhou，在线合成镜下降算法分析，神经计算。，29（2017年），第825–860页·Zbl 1474.68314号
[18] Y.Lei和D.-X.Zhou，在线镜像下降算法的收敛性，已提交。
[19] J.Lin和D.-X.Zhou，随机Kaczmarz算法的学习理论，J.马赫。学习。第16号决议（2015年），第3341–3365页·Zbl 1351.62133号
[20] D.A.Lorenz、F.Schoépfer和S.Wenger，基于分裂可行性问题的线性化Bregman方法：分析与推广，SIAM J.成像科学。，7（2014），第1237–1262页·Zbl 1298.68287号
[21] D.A.Lorenz、S.Wenger、F.Scho­pfer和M.Magnor，在线压缩传感的稀疏Kaczmarz解算器和线性化Bregman方法，《IEEE图像处理国际会议论文集》，2014年，第1347–1351页。
[22] A.-S.涅米罗夫斯基和D.-B.尤丁，优化中的问题复杂性和方法效率约翰·威利父子公司，纽约，1983年·Zbl 0501.90062号
[23] F.Schoépfer和D.A.Lorenz，随机稀疏Kaczmarz方法的线性收敛性，数学。程序。，(2018), .
[24] 石磊（L.Shi）、冯永乐（Y.-L.Feng）和周德兴（D.-X.Zhou），学习的集中度估计\(ℓ_1-正则化子和数据相关假设空间，申请。计算。哈蒙。分析。，31（2011），第286–302页·Zbl 1221.68201号
[25] S.Smale和D.X.Zhou，马尔可夫抽样在线学习，分析。申请。，7（2009年），第87–113页·Zbl 1170.68022号
[26] T.Strohmer和R.Vershynin，指数收敛的随机Kaczmarz算法，J.傅里叶分析。申请。，15（2009），第262–278页·Zbl 1169.68052号
[27] P.Tarres和Y.Yao，在线学习作为正则化路径的随机逼近：最优性和近似收敛，IEEE传输。通知。《理论》，60（2014），第5716–5735页·Zbl 1360.62192号
[28] W.尹，线性化Bregman方法的分析与推广，SIAM J.成像科学。，3（2010年），第856-877页·Zbl 1211.68491号
[29] W.Yin、S.Osher、D.Goldfarb和J.Darbon，Bregman迭代算法\(ℓ_1）-最小化，应用于压缩传感，SIAM J.成像科学。，1（2008），第143-168页·Zbl 1203.90153号
[30] Y.Ying和D.-X.Zhou，在线正则化分类算法，IEEE传输。通知。《理论》，52（2006），第4775–4788页·Zbl 1323.68450号
[31] X.Zhang、M.Burger和S.Osher，基于Bregman迭代的统一原对偶算法框架，《科学杂志》。计算。，46（2011年），第20-46页·Zbl 1227.65052号
[32] A.Zouzias和N.M.Freris，求解最小二乘的随机扩展Kaczmarz，SIAM J.矩阵分析。申请。，34（2013），第773–793页·Zbl 1273.65053号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。