×

广义Mercer核和再生核Banach空间。 (英语) Zbl 1455.68009号

美国数学学会回忆录1243.普罗维登斯,RI:美国数学学会(AMS)(ISBN 978-1-4704-350-9/pbk;978-1-4740-5077-9/电子书)。六、122页。(2019)。
多变量近似理论为处理数据和创建函数近似提供了很好的方法选择,但其中有一类特殊的方法特别突出。这是一种使用(i)核(如径向基函数)和(ii)再生核Hilbert(或Banach,我们将在下文中看到)空间的方法。这是本回忆录的主题。
这个类是进行近似计算的一个最强大的选项,因为它提供了各种特定的、有用的、实际上经常应用的方法,这些方法可以用于任何维度,通常也适用于分散的数据。样条或有限元方法通常不提供这些选项。
这些算法不仅适用于许多困难的情况,而且还提供了很好的收敛性和稳定性,这些特性很难匹配,对于偏微分方程的数值解(例如配置,即插值)、求积/体积、,平滑(在这里,准插值特别有价值)。理论性质(在某些意义上的最优性,例如能量最小化;近似的渐近快速收敛;插值矩阵的有趣性质[正定性])与其实际应用之间的直接联系尤其引人注目。从某种意义上说,它们甚至克服了所谓的“维数诅咒”,因为某些收敛特性随着维数的提高而改善。
使用核函数和再生核希尔伯特空间(RKHS)的插值、准插值、平滑、求积和神经网络的每一种都已被研究(目前正在进行详细研究),并立即受到应用科学研究人员的青睐。这本回忆录的作者很好地汇集了一组引人注目的结果,涵盖了所有核近似、RKHS、密度(收敛)问题、近似和表示、正定性和学习。
它们不仅涵盖了已知和使用的核的一般类别(条件正定核[多二次曲面,幂函数],正定函数[反多二次曲线,高斯核,泊松核,逆幂]),而且还涵盖了新的选择,如Mercer核。详细描述了核的特征值和其他性质的问题。
尤其是它们对支持向量机(SVM)的贡献非常重要。它们提供了RKHS和RK-Banach空间中的基础知识,尤其是相关的,考虑了“(L^1”而不是“(L*2)范数”。这个新的主题是用(L^1)近似(而不是众所周知的(L^2)情况),这是用核学习的一个特别困难的方面,例如,只要使用岭函数,这就是一个复杂的主题,而且还没有在类似的调查中进行过处理。这是一项非常有用的工作,涵盖了当前数值分析中最有趣的研究领域之一。

MSC公司:

2002年8月 与计算机科学有关的研究展览会(专著、调查文章)
46-02 与功能分析相关的研究综述(专著、调查文章)
65-02 与数值分析相关的研究展览(专著、调查文章)
46 E22型 具有再生核的希尔伯特空间(=(适当的)函数希尔伯特空间,包括de Branges-Rovnyak和其他结构空间)
65Dxx日 数值近似和计算几何(主要是算法)
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 安德烈亚斯·阿吉里奥(Andreas Argyriou);查尔斯·米切利。;庞蒂尔,马西米利亚诺,什么时候有一个代表性定理?向量与矩阵正则化器,J.Mach。学习。研究,102507-2529(2009)·Zbl 1235.68128号
[2] 安德烈亚斯·阿吉里欧;查尔斯·米切利。;马西米利亚诺·蓬蒂尔,《关于光谱学习》,J.Mach。学习。第11935-953号决议(2010年)·Zbl 1242.68201号
[3] Aronszajn,N.,《再生核理论》,译。阿默尔。数学。Soc.,68,337-404(1950)·Zbl 0037.20701号
[4] 阿尔弗雷德·M·布鲁克斯坦。;大卫·L·多诺霍。;Elad,Michael,《从方程组的稀疏解到信号和图像的稀疏建模》,SIAM Rev.,51,1,34-81(2009)·Zbl 1178.68619号
[5] Bioucas-Dias,Jos’e M。;Figueiredo,M \'ario A.T.,《新的TwIST:图像恢复的两步迭代收缩/阈值算法》,IEEE Trans。图像处理。,16, 12, 2992-3004 (2007)
[6] B.E.Boser、I.Guyon和V.Vapnik,最佳边缘分类器的训练算法,第五届ACM计算学习理论年度研讨会(宾夕法尼亚州匹兹堡)(D.Haussler编辑),ACM出版社,1992年,第144-152页。
[7] Bruck,Ronald E.,Jr.,关于Hilbert空间单调算子变分不等式解的遍历迭代的弱收敛性,J.Math。分析。申请。,61, 1, 159-164 (1977) ·Zbl 0423.47023号
[8] 埃米尔·贝克;Teboulle,Marc,线性反问题的快速迭代收缩阈值算法,SIAM J.成像科学。,2, 1, 183-202 (2009) ·Zbl 1175.94009号
[9] 柏林,阿兰;托马斯·阿格南(Thomas-Agnan),克里斯汀(Christine),《概率统计中的再生核希尔伯特空间》(Reproducting kernel Hilbert spaces in probability and statistics),xxii+355 pp.(2004),Kluwer Academic Publishers,马萨诸塞州波士顿·Zbl 1145.6202号
[10] Buhmann,M.D.,《径向基函数:理论与实现》,剑桥应用与计算数学专著12,x+259页(2003),剑桥大学出版社,剑桥·Zbl 1038.41001号
[11] Antonin Chambolle;罗纳德·德沃尔(Ronald A.DeVore)。;Lee,Nam-yong;Lucier,Bradley J.,《非线性小波图像处理:变分问题、压缩和通过小波收缩去除噪声》,IEEE Trans。图像处理。,7, 3, 319-335 (1998) ·Zbl 0993.94507号
[12] 陈忠英;查尔斯·米切利。;Xu,Yuesheng,Fredholm积分方程的多尺度方法,剑桥应用与计算数学专著28,xiii+536 pp.(2015),剑桥大学出版社,剑桥·Zbl 1332.65188号
[13] 坎迪斯,Emmanuel J。;Justin K.Romberg。;Tao,Terence,从不完整和不准确的测量中恢复稳定信号,Comm.Pure Appl。数学。,59, 8, 1207-1223 (2006) ·邮编1098.94009
[14] Felipe Cucker;Steve Smale,《关于学习的数学基础》,布尔。阿默尔。数学。Soc.(N.S.),39,1,1-49(2002)·Zbl 0983.68162号
[15] C.Cortes和V.Vapnik,支持向量网络,马赫。学习。20 (1995), 273-297. ·Zbl 0831.68098号
[16] 英格丽德·达贝奇斯(Ingrid Daubechies);米歇尔·德弗里斯;De Mol,Christine,具有稀疏性约束的线性逆问题的迭代阈值算法,Comm.Pure Appl。数学。,57, 11, 1413-1457 (2004) ·Zbl 1077.65055号
[17] 大卫·多诺霍(David L.Donoho)。;Elad,Michael,通过\(l^1\)最小化的一般(非正交)字典中的最优稀疏表示,Proc。国家。阿卡德。科学。美国,100,52197-2202(2003)·兹比尔1064.94011
[18] 利文·德·拉萧沃;Bart De Moor;Vandewalle,Joos,《多重线性奇异值分解》,SIAM J.Matrix Ana。申请。,21, 4, 1253-1278 (2000) ·Zbl 0962.15005号
[19] Duchon,Jean,Sobolev空间中最小化旋转不变半范数的样条函数。多元函数构造理论。数学、数学。研究所,Oberwolfach,1976,85-100。数学课堂笔记。,第571卷(1977年),柏林施普林格·Zbl 0342.41012号
[20] Duffy,Dean G.,《格林函数与应用》,高等数学研究,xii+443页(2001),查普曼和霍尔/CRC,佛罗里达州博卡拉顿·Zbl 0983.35003号
[21] 约翰·埃里克森。;Fasshauer,Gregory E.,广义本征空间。近似理论十二:圣安东尼奥,2007,Mod。数学方法。,133-142(2008),田纳西州布伦特伍德Nashboro出版社·Zbl 1145.46016号
[22] 埃克兰,伊瓦尔;托马斯·特恩布尔(Thomas Turnbull),《无限维优化与凸性》,芝加哥数学讲座,viii+166页(1983),芝加哥大学出版社,伊利诺伊州芝加哥·Zbl 0565.49003号
[23] Fasshauer,Gregory E.,《使用MATLAB的无网格近似方法》,《跨学科数学科学》第6期,第xviii+500页(2007年),新泽西州哈肯萨克市世界科学出版有限公司·Zbl 1123.65001号
[24] 法绍尔,G.E。;希克内尔,F.J。;Wo’zniakowski,H.,平均情况近似:高斯核的收敛性和可处理性。蒙特卡罗和准蒙特卡罗方法2010,Springer Proc。数学。Stat.23,329-344(2012),海德堡斯普林格·Zbl 1271.65028号
[25] 格雷戈里·法绍尔(Gregory E.Fasshauer)。;弗雷德·希克内尔(Fred J.Hickernell)。;Wo’zniakowski,Henryk,关于高斯核函数逼近的维数相关收敛速度,SIAM J.Numer。分析。,50, 1, 247-271 (2012) ·Zbl 1243.65025号
[26] 格雷戈里·法绍尔(Gregory E.Fasshauer)。;弗雷德·希克内尔(Fred J.Hickernell)。;Ye,Qi,求解具有正定函数的再生核Banach空间中的支持向量机,应用。计算。哈蒙。分析。,38, 1, 115-139 (2015) ·Zbl 1366.68236号
[27] 本特,弗恩伯格;伊丽莎白·拉尔森;Flyer,Natasha,高斯径向基函数的稳定计算,SIAM科学杂志。计算。,33, 2, 869-892 (2011) ·Zbl 1227.65018号
[28] 格雷戈里·法绍尔(Gregory E.Fasshauer)。;McCourt,Michael J.,高斯径向基函数插值的稳定性评估,SIAM J.Sci。计算。,34、2、A737-A762(2012)·Zbl 1252.65028号
[29] Figueiredo,M\'ario A.T。;Nowak,Robert D.,基于小波的图像恢复的EM算法,IEEE Trans。图像处理。,12, 8, 906-916 (2003) ·Zbl 1279.94015号
[30] 格雷戈里·法绍尔(Gregory E.Fasshauer)。;Ye,Qi,通过带分配算子的格林函数方法再现广义Sobolev空间的核,Numer。数学。,119, 3, 585-611 (2011) ·Zbl 1242.46039号
[31] 格雷戈里·法绍尔(Gregory E.Fasshauer)。;Ye,Qi,通过带微分算子和边界算子的绿核方法再现Sobolev空间的核,高级计算。数学。,38, 4, 891-921 (2013) ·Zbl 1267.41018号
[32] K.F.Gauss,《天体在圆锥截面上绕太阳运动的理论:理论母题的翻译》,汉堡:弗里德里希·珀斯和I.H.贝塞尔,1809年·Zbl 0114.24306号
[33] Giles,J.R.,《半内生产空间的分类》,Trans。阿默尔。数学。Soc.,129,436-446(1967)·Zbl 0157.20103号
[34] 加尔各·安东尼奥·G。;Portal,Alberto,《再生内核巴纳赫空间中的采样》,Mediter。数学杂志。,10, 3, 1401-1417 (2013) ·Zbl 1279.42035号
[35] 特雷弗·哈斯蒂;Robert Tibshirani;杰罗姆·弗里德曼(Jerome Friedman),《统计学习的要素》(The elements of statistical learning),《统计学中的斯普林格系列》(Springer Series in Statistics),xxii+745 pp.(2009),纽约斯普林格出版社·Zbl 1273.62005年
[36] James,Robert C.,赋范线性空间中的正交性和线性泛函,Trans。阿默尔。数学。《社会学杂志》,61,265-292(1947)·Zbl 0037.08001号
[37] Karlovitz,L.A.,《(L^p,p\)偶数和(L^{infty})范数中最近点的构造》。一、 J.近似理论,3123-127(1970)·兹比尔0222.41016
[38] 塔马拉·科尔达(Tamara G.Kolda)。;Bader,Brett W.,张量分解与应用,SIAM Rev.,51,3,455-500(2009)·Zbl 1173.65029号
[39] Kress,Rainer,线性积分方程,应用数学科学82,xii+299 pp.(1989),Springer-Verlag,柏林·兹比尔0671.45001
[40] 乔治·S·基梅尔多夫。;Wahba,Grace,《随机过程贝叶斯估计与样条曲线平滑之间的对应关系》,《数学年鉴》。统计人员。,41, 495-502 (1970) ·Zbl 0193.45201号
[41] Li,Qia;查尔斯·米切利。;沈立新;Xu,Yuesheng,用Gauss-Seidel迭代加速L1/TV去噪模型的近似算法,逆问题,28,9,095003,20 pp.(2012)·Zbl 1273.65085号
[42] Li,Qia;沈立新;徐月生;Zhang,Na,用于解决图像处理中产生的一类优化问题的多步定点邻近算法,Adv.Comput。数学。,41, 2, 387-422 (2015) ·Zbl 1326.65069号
[43] Lumer,G.,《半内生空间》,Trans。阿默尔。数学。《社会学杂志》,100,29-43(1961)·Zbl 0102.32701号
[44] Robert E.Megginson,《巴拿赫空间理论导论》,数学研究生教材183,xx+596页(1998年),Springer-Verlag,纽约·Zbl 0910.46008号
[45] Meschkowski,Herbert,Hilbertsche R“aume mit Kernfunktion,Die Grundlehren der mathematischen Wissenschaften,Bd.113,viii+256 pp.(1962),Springer-Verlag,Berlin-G”ottingen-Heidelberg·Zbl 0103.08802号
[46] 查尔斯·米切利。;Pontil,Massimiliano,《巴拿赫空间中学习的函数表示法》。学习理论,计算机课堂讲稿。科学。3120,255-269(2004),柏林斯普林格·Zbl 1078.68129号
[47] 查尔斯·米切利。;沈立新;Xu,Yuesheng,图像模型的邻近算法:去噪,逆问题,27,4,045009,30 pp.(2011)·Zbl 1216.94015号
[48] 查尔斯·米切利。;沈立新;徐月生;曾雪英,L1/TV图像去噪模型的邻近算法,高级计算。数学。,38, 2, 401-426 (2013) ·Zbl 1275.65014号
[49] 查尔斯·米切利。;徐月生;张海章,通用内核,J.Mach。学习。第7号决议,2651-2667(2006)·Zbl 1222.68266号
[50] Passty,Gregory B.,Hilbert空间单调算子和的遍历收敛到零,J.Math。分析。申请。,72, 2, 383-390 (1979) ·Zbl 0428.47039号
[51] N.Parikh和S.Boyd,发现近似算法。趋势优化。1(2014),第3期,127-239。
[52] B.D.Rao、K.Engan、S.F.Cotter、J.Palmer和K.Kreutz Delgado,《基于多样性测度最小化的噪声子集选择》,IEEE Trans。信号处理。51 (2003), 760-770.
[53] F.Riesz,《函数系统的几何分析》,C.R.学院。科学。巴黎144(1907),1409-1411。
[54] F.Riesz,《线性操作规范》,C.R.Acad。科学。巴黎149(1909),974-977。
[55] Rao,Bhaskar D。;Kreutz-Delgado,Kenneth,最佳基选择的仿射缩放方法,IEEE Trans。信号处理。,47, 1, 187-200 (1999) ·Zbl 0984.94010号
[56] 鲁丁(Rudin)、沃尔特(Walter),《真实与复杂分析》(Real and complex analysis),第xiv+416页(1987),麦格劳-希尔图书公司(McGraw-Hill Book Co.),纽约·Zbl 0925.00005
[57] 英戈·斯坦沃特;Andreas Christmann,《支持向量机》,《信息科学与统计》,xvi+601 pp.(2008),纽约斯普林格出版社·Zbl 1203.68171号
[58] B.K.Sriperumbudur、K.Fukumizu和G.R.G.Lanckriet,《希尔伯特与巴拿赫空间中的学习:一种嵌入视角的度量》。,《神经信息处理系统进展》(剑桥)(J.Shawe-Taylor、R.S.Zemel、P.L.Bartlett、F.Pereira和K.Q.Weinberger编辑),麻省理工出版社,2011年,第1773-1781页。
[59] Sch“olkopf,Bernhard;Herbrich,Ralf;Smola,Alex J.,《广义代表定理》。计算学习理论,阿姆斯特丹,2001年,《计算科学讲义》,2111,416-426(2001),柏林斯普林格·Zbl 0992.68088号
[60] B.Scholkopf和A.J.Smola,《用内核学习》,麻省理工学院出版社,马萨诸塞州剑桥,2002年·Zbl 1019.68094号
[61] Steinwart,Ingo,《支持向量机的稀疏性》,J.Mach。学习。第4、6、1071-1105号决议(2004年)·Zbl 1094.68082号
[62] 罗伯特·沙巴克(Robert Schaback);Wendland,Holger,《内核技术:从机器学习到无网格方法》,《数值学报》。,15, 543-639 (2006) ·Zbl 1111.65108号
[63] 宋国辉;徐跃生,用多层循环矩阵逼近高维核矩阵,《复杂性杂志》,26,4,375-405(2010)·Zbl 1197.65045号
[64] 史蒂夫·斯梅尔(Steve Smale);Zhou,Ding Xuan,Shannon采样和基于点值的函数重建,Bull。阿默尔。数学。Soc.(N.S.),41,3,279-305(2004)·Zbl 1107.94007号
[65] 宋国辉;张海章,用(ell^1)范数再生核Banach空间II:正则最小二乘回归的误差分析,神经计算。,23, 10, 2713-2729 (2011) ·Zbl 1231.68219号
[66] 宋国辉;张海章;Hickernell,Fred J.,用\(ell^1)范数复制内核Banach空间,应用。计算。哈蒙。分析。,34, 1, 96-116 (2013) ·Zbl 1269.46020号
[67] T.Villmann、S.Haase和M.Kastner,使用可微核的矢量量化中的基于梯度的学习,自组织映射的进展(智利圣地亚哥)(P.A.Estevez、J.C.Principe和P.Zegers编辑),Springer Verlag,2013,第193-204页。
[68] V.N.Vapnik和A.Lerner,使用广义肖像法的模式识别,自动。Rmote Control 24(1963),774-780。
[69] Wahba,Grace,观测数据的样条线模型,CBMS-NSF应用数学区域会议系列59,xii+169页(1990年),工业和应用数学学会(SIAM),宾夕法尼亚州费城·Zbl 0813.62001号
[70] Wendland,Holger,分散数据近似,剑桥应用与计算数学专著17,x+336页(2005),剑桥大学出版社,剑桥·Zbl 1075.65021号
[71] Q.Ye,通过格林函数方法分析再生核近似方法,博士论文,伊利诺伊理工学院,芝加哥,2012年。
[72] Ye,Qi,再生核Hilbert空间与Banach空间中的支持向量机。近似理论十四:圣安东尼奥,2013,Springer Proc。数学。Stat.83,377-395(2014),查姆斯普林格·Zbl 1331.46018号
[73] 周定轩,学习理论中再生核空间的能力,IEEE Trans。通知。理论,49,7,1743-1752(2003)·Zbl 1290.62033号
[74] Zwicknagl、Barbara、Power系列内核、Constr。约29,161-84(2009年)·Zbl 1184.41004号
[75] 张海章;徐月生;Zhang,Jun,《为机器学习复制内核Banach空间》,J.Mach。学习。决议,102741-2775(2009)·Zbl 1235.68217号
[76] 张海章;张军,作为优化问题的Banach空间正则化学习:表示定理,J.全局优化。,54, 2, 235-250 (2012) ·Zbl 1281.90088号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。