×
赫曼特·泰吉;维比拉尔，简

从高维点查询中学习通用稀疏可加模型。 （英语） Zbl 1429.41031号

施工。大约。 50，第3号，403-455（2019）.
在学习方法中，多变量中的未知函数（f）将通过从紧集（G）中提取的少量样本来恢复，例如，在紧集中定义函数。本文提出了紧集（G）是多元单位cube时未知函数（f）的概率恢复。设置是为了使未知函数相对于其交互作用是可加的（所谓的SPAM，稀疏可加模型）。为此，变量之间的（变量）交互作用的（r）方向集被用来形成产生未知函数（f）的和。
然后，目标是恢复未知交互集，形成（f），其中恢复是在概率意义上理解的。此方法的基础函数是不需要连续可微（仅Hölder连续），这是其他方法所要求的。
在算法中，允许在\（G\）中的任意点和函数值内采样，由用户自行决定。对于\（r\），允许使用\（r）-方面的交互任意的与已知文献相比，这在本文中也是新的。
本文的组织方式是，首先描述单变量和双变量情况（d=1）和（d=2），然后将新方法推广到任意维（d）。文章最后对新算法的成功进行了广泛的讨论。
审核人：马丁·D·布曼（基恩）

引用于1文件

MSC公司：

41A63型 多维问题
第41页第25页 收敛速度，近似度
65日第15天 函数逼近算法

关键词：

稀疏可加模型;取样;散列函数;稀疏恢复

软件：

高级网络;车辆08
PDF格式BibTeX公司 XML格式引用
\textit{H.Tyagi}和\textit{J.Vybiral}，Constr。约50，编号3，403--455（2019年；Zbl 1429.41031）
全文： DOI程序 arXiv公司 哈尔

参考文献：

[1] Alizadeh，F。；Goldfarb，DD，二阶锥编程，数学。程序。序列号。B、 95、3-51（2003）·Zbl 1153.90522号
[2] Baraniuk，R。；达文波特，M。；DeVore，R。；Wakin，M.，随机矩阵限制等距性的简单证明，Constr。约28253-263（2008年）·Zbl 1177.15015号
[3] Bien，J。；泰勒，J。；Tibshirani，R.，《层级互动的拉索》，《Ann.Stat.》，第41期，第1111-1141页（2013年）·Zbl 1292.62109号
[4] Blöchl，PE，电子结构计算的广义可分离势，物理学。B版，41，5414-5416（1990）
[5] Blumensath，T。；Davies，ME，压缩感知的迭代硬阈值，应用。计算。危害。分析。，27, 265-274 (2009) ·Zbl 1174.94008号
[6] Blumensath，T。；Davies，ME，《标准化迭代硬阈值：保证稳定性和性能》，IEEE J.Select。顶部。信号处理。，4, 298-309 (2010)
[7] Candès，EJ，《受限等距特性及其对压缩传感的影响》，Comptes Rendus Mathematique，346589-592（2008）·Zbl 1153.94002号
[8] 坎迪斯，E.J.，隆伯格，J.:\[\ell_1\]ℓ1-magic:通过凸规划恢复稀疏信号（2005）。可在http://www.acm.caltech.edu/l1magic/
[9] 陈，Y。；Chi，Y。；Goldsmith，AJ，通过凸规划从二次抽样中进行精确和稳定的协方差估计，IEEE Trans。Inf.理论，6104034-4059（2015）·Zbl 1359.62181号
[10] Choi，新罕布什尔州；李伟（Li，W.）。；朱杰，强遗传约束变量选择及其预言性，美国统计学会，105，354-364（2010）·Zbl 1320.62171号
[11] 科恩，A。；DeVore，R。；Schwab，C.，一类椭圆spdes的最佳n项Galerkin逼近的收敛速度，发现。计算。数学。，10, 615-646 (2010) ·Zbl 1206.60064号
[12] 康明斯，L。；Dallayan，AS，《高维背景下变量选择一致性的严格条件》，《Ann.Stat.》，40，2667-2696（2012）·Zbl 1373.62154号
[13] 康明斯，L。；Dallayan，AS，高维非参数回归中一致变量选择的紧条件，J.Mach。学习。第19号决议，187-206（2012）
[14] Dalalyan，A。；英格斯特，Y。；Tsybakov，AB，复合函数模型中的统计推断，Probab。理论关联。菲尔德，158，513-532（2014）·Zbl 1285.62041号
[15] DeVore，R。；彼得罗娃，G。；Wojtaszczyk，P.，高维少变量函数的近似，Constr。约33125-143（2011年）·Zbl 1210.41009号
[16] Dibangoye，S.J.，Amato，C.，Buffet，O.，Charpillet，F.：利用连续状态MDP在多智能体规划中的可分性。收录于：2014年自主代理和多代理系统国际会议记录，AAMAS’14，第1281-1288页。国际自治代理和多代理系统基金会（2014年）
[17] Foucart，S.、Rauhut，H.：压缩传感的数学导论。Birkhäuser/Springer，纽约（2013）·Zbl 1315.94002号
[18] 吉尔林赫利，LM；维比拉尔，J。；列夫琴科，SV；Draxl，C。；Schefler，M.，《材料科学大数据：描述符的关键作用》，Phys。修订稿。，114, 105503 (2015)
[19] Goel，G。；周一川；Voit，EO，代谢时间序列数据的系统估计，生物信息学，242505-2511（2008）
[20] Griewank，A.，Toint，P.L.：关于部分可分离函数的无约束优化。《非线性优化》1981年，第301-312页。学术出版社（1982）·Zbl 0563.90085号
[21] DL汉森；Wright，FT，独立随机变量中二次型尾部概率的界，《数学年鉴》。Stat.，42，1079-1083（1971）·Zbl 0216.22203号
[22] Holtz，M.：《高维稀疏网格求积及其在金融和保险中的应用》，第77卷。施普林格，纽约（2010）
[23] 黄，J。；霍洛维茨，JL；Wei，F.，非参数加性模型中的变量选择，《Ann.Stat.》，38，2282-2313（2010）·Zbl 1202.62051号
[24] 凯卡托斯，V。；Giannakis，GB，《稀疏volterra和多项式回归模型：可恢复性和估计》，Trans。信号。程序。，59, 5907-5920 (2011) ·Zbl 1393.94687号
[25] Koltchinskii，V.，Yuan，M.：大型内核机器集合中的稀疏恢复。摘自：第21届学习理论年会（COLT），第229-238页（2008）
[26] 科尔钦斯基，V。；袁，M.，《多核学习中的稀疏性》，《统计年鉴》，38，3660-3695（2010）·Zbl 1204.62086号
[27] Lin，Y。；Zhang，HH，多元非参数回归中的成分选择与平滑，Ann.Stat.，342272-2297（2006）·Zbl 1106.62041号
[28] Meier，L。；Geer，S。；Bühlmann，P.，《高维加性建模》，《Ann.Stat.》，37，3779-3821（2009）·Zbl 1360.62186号
[29] Mossel，E.，O'Donnell，R.，Servedio，R.：学习军政府。摘自：第35届ACM计算机理论年会（STOC），第206-212页（2003）·Zbl 1192.68393号
[30] Nazer，B.，Nowak，R.D.：稀疏相互作用：通过压缩传感识别高维多线性系统。摘自：第48届Allerton通信、控制和计算年会（Allerton），第1589-1596页（2010）
[31] Nesterov，Y.，Nemirovskii，A.：凸规划中的内点多项式算法。工业和应用数学学会（1994）·Zbl 0824.90112号
[32] 诺瓦克，E。；Triebel，H.，lipschitz域中的函数空间和采样的最佳收敛速度，Constr。约23325-350（2006）·Zbl 1106.41014号
[33] 诺瓦克，E。；Woźniakowski，H.，无限可微多元函数的逼近很难，J.Compl。，25398-404（2009年）·Zbl 1180.41031号
[34] 拉德琴科，P。；James，GM，《高维自适应非线性交互结构变量选择》，美国统计协会，105，1541-1553（2010）·Zbl 1388.62212号
[35] Raskutti，G。；温赖特，MJ；Yu，B.，通过凸规划求解核类上稀疏可加模型的极小极大最优速率，J.Mach。学习。研究，13，389-427（2012）·兹比尔1283.62071
[36] Rauhut，H.，压缩传感和结构化随机矩阵，Theor。已找到。数字。方法稀疏恢复，9，1-92（2010）·Zbl 1208.15027号
[37] 拉维库马尔，P。；Lafferty，J。；刘，H。；Wasserman，L.，《稀疏加性模型》，J.R.Stat.Soc.：Ser。B（Stat.Methodol.），711009-1030（2009）·Zbl 1411.62107号
[38] Schnass，K.，Vybíral，J.：高维稀疏函数的压缩学习。摘自：IEEE声学、语音和信号处理国际会议（ICASSP），第3924-3927页（2011年）
[39] Shan，S。；Wang，GG，用计算昂贵的黑盒函数解决高维设计问题的建模和优化策略调查，Struct。多磁盘。最佳。，41, 219-241 (2010) ·Zbl 1274.74291号
[40] Storlie，哥伦比亚广播公司；邦德尔，HD；雷奇，BJ；Zhang，HH，“曲面估计、变量选择和非参数预言属性”，中国统计，21679-705（2011）·Zbl 1214.62044号
[41] Tyagi，H。；克劳斯，A。；Gärtner，B.，《学习高维稀疏可加模型的有效采样》，《高级神经信息处理》。系统。（NIPS），27514-522（2014）
[42] Tyagi，H.，Kyrillidis，A.，Gärtner，B.，Krause，A.：学习高维交互作用的稀疏可加模型。摘自：第19届国际人工智能与统计会议（AISTATS），第111-120页（2016）·Zbl 1470.94058号
[43] Tyagi，H.，Kyrillidis，A.，Gärtner，B.，Krause，A.：学习高维相互作用稀疏加性模型的算法。信息推断：J.IMA，iax008（2017）·兹比尔1470.94058
[44] Vershynin，R.：介绍随机矩阵的非渐近分析。收录于：《压缩传感：理论与应用》，第210-268页。剑桥大学出版社（2012）
[45] Vybíral，J.，《采样数与函数空间》，J.Compl。，23, 773-792 (2007) ·Zbl 1143.41005号
[46] Vybíral，J.，函数空间中嵌入的宽度，J.Compl。，24, 545-570 (2008) ·兹比尔1143.41301
[47] Wahl，M.：基于预测规范的高维可加模型变量选择（2015）。ArXiv电子打印，ArXiv:1406.0052
[48] Winkelbauer，A.：正态分布的力矩和绝对力矩（2014）。ArXiv电子打印，ArXiv:1209.4340v2
[49] Yang，Y。；Tokdar，ST，《高维Minimax-optimal非参数回归》，《Ann.Stat.》，43，652-674（2015）·Zbl 1312.62052号
[50] Zhu，P.，Morelli，J.，Ferrari，S.：多尺度动力系统控制的值函数近似。2016年IEEE第55届决策与控制会议（CDC），第5471-5477页（2016）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。