费利克斯·巴特尔;丹尼尔·波茨;迈克尔·施密施克 高维可解释方差分析近似中的分组变换和正则化。 （英语） Zbl 1515.62018号 SIAM J.科学。计算。 44，编号3，A1606-A1631（2022）. 摘要：在本文中，我们提出了一种基于三角多项式的高维逼近工具，其中只允许变量的低维交互作用。在一般的高维设置中，已经可以处理特殊的采样集，例如稀疏网格或秩1网格。这需要黑盒访问功能，即能够在任何时候对其进行评估。在这里，我们重点关注分散的数据点和沿维度分组的频率索引集。在此基础上，我们提出了一种用于高维分组索引集的快速矩阵-向量乘法，即分组傅里叶变换。这些变换可用于应用之前介绍的基于方差分析（ANOVA）分解的低叠加维数函数逼近方法，其中方差项与我们提出的组一一对应。该方法能够动态检测近似中的重要方差项集。在本文中，我们考虑了所涉及的最小二乘问题，并添加了不同形式的正则化：经典的Tikhonov正则化，即正则化最小二乘，以及提高群稀疏性的群套索技术。对于后者，没有明确的求解公式，因此我们使用快速迭代收缩阈值算法来获得极小值。此外，我们还讨论了将平滑信息合并到最小二乘问题中的可能性。在欠定、超定和噪声环境中的数值实验表明了我们算法的适用性。当我们考虑周期函数时，这个想法也可以直接推广到非周期函数。 引用于1文件 理学硕士： 62-08 统计问题的计算方法 62J10型 方差和协方差分析（ANOVA） 关键词：方差分析;可解释近似;快速迭代收缩阈值算法（FISTA）;拉索组;高维近似;多元三角多项式;非等间距快速傅里叶变换（NFFT）;LSQR（LSQR） 软件：LSQR（LSQR）;全球供应链;UCI-毫升;ANOV近似值;CRAIG公司;NFFT3型;非金融期货交易 PDF格式BibTeX公司 XML格式引用 \textit{F.Bartel}等人，SIAM J.Sci。计算。44，编号3，A1606--A1631（2022；Zbl 1515.62018） 全文： 内政部 arXiv公司 参考文献： [1] J.Baldeaux和M.Gnewuch，函数空间上用ANOVA型分解进行无限维积分的最优随机多级算法，SIAM J.Numer。分析。，52（2014），第1128-1155页，https://doi.org/10.1137/120896001。 ·Zbl 1318.65002号 [2] F.Bartel、R.Hielscher和D.Potts，谐波近似中的快速交叉验证，应用。计算。哈蒙。分析。，49（2020年），第415-437页，https://doi.org/10.1016/j.acha.2020.05.002。 ·Zbl 07216378号 [3] A.Beck和M.Teboulle，线性逆问题的快速迭代收缩阈值算法，SIAM J.Imaging Sci。，2（2009），第183-202页，https://doi.org/10.1137/080716542。 ·Zbl 1175.94009号 [4] H.-J.Bungartz和M.Griebel，《稀疏网格》，《数值学报》。，13（2004），第147-269页，https://doi.org/10.1017/S0962492904000182。 ·Zbl 1118.65388号 [5] R.Caflisch、W.Morokoff和A.Owen，《使用布朗桥降低有效维度对抵押支持证券进行估值》，J.Compute。《金融》，第1期（1997年），第27-46页，https://doi.org/10.21314/jcf.1997.005。 [6] R.DeVore、G.Petrova和P.Wojtaszczyk，高维少变量函数的近似，Constr。约，33（2010），第125-143页，https://doi.org/10.1007/s00365-010-9105-8。 ·Zbl 1210.41009号 [7] D.Dua和C.Graff，加州大学欧文分校信息与计算机科学学院UCI机器学习知识库，2017年，http://archive.ics.uci.edu/ml。 [8] A.D.Gilbert、F.Y.Kuo、D.Nuyens和G.W.Wasilkowski，《多元分解方法的有效实现》，SIAM J.Sci。计算。，40（2018），第A3240-A3266页，https://doi.org/10.1137/17M1161890。 ·Zbl 1401.65028号 [9] M.Griebel和J.Hamaekers，广义稀疏网格上的快速离散傅立叶变换，《稀疏网格与应用》慕尼黑2012，J.Garcke和D.Pfluõger编辑，Lect。注释计算。科学。Eng.97，Springer International，2014年，第75-107页，https://doi.org/10.1007/978-3-319-04537-5_4。 ·Zbl 1316.65119号 [10] M.Griebel和M.Holtz，《高维函数与金融应用的维度集成》，《复杂性杂志》，26（2010），第455-489页，https://doi.org/10.1016/j.jco.2010.06.001。 ·Zbl 1203.65056号 [11] M.Griebel、F.Y.Kuo和I.H.Sloan，无限多变量非光滑函数的ANOVA分解可以使每个项都平滑，数学。公司。，86（2017），第1855-1876页，https://doi.org/10.1090/mcom/3171。 ·Zbl 1365.41021号 [12] C.Gu，平滑样条方差分析模型，Springer，纽约，2013，https://doi.org/10.1007/978-1-4614-5369-7。 ·Zbl 1269.62040号 [13] A.Hashemi、H.Schaeffer、R.Shi、U.Topcu、G.Tran和R.Ward，稀疏随机特征扩展的广义界，预印本，https://arxiv.org/abs/2103.03191, 2021. [14] M.Hegland，《自适应稀疏网格》，ANZIAM J.，44（2002），第C335-C353页，https://doi.org/10.21914/anziamj.v44i0.685。 ·Zbl 1078.65520号 [15] M.Holtz，《高维稀疏网格求积及其在金融和保险中的应用》，Lect。注释计算。科学。Eng.77，Springer-Verlag，柏林，2011年，https://doi.org/10.1007/978-3-642-16004-2。 ·Zbl 1221.65080号 [16] 姜瑜，徐瑜，高维函数稀疏傅里叶展开的快速离散算法，《复杂性杂志》，26（2010），第51-81页·Zbl 1184.65124号 [17] L.Kaömmer，通过沿秩-1格采样重建双曲交叉三角多项式，SIAM J.Numer。分析。，51（2013），第2773-2796页，https://doi.org/10.1137/120871183。 ·Zbl 1291.42011年 [18] L.Kaömmer、D.Potts和T.Volkmer，基于秩-1格抽样的三角多项式对多元周期函数的逼近，《复杂性杂志》，31（2015），第543-576页，https://doi.org/10.1016/j.jco.2015.02.004。 ·Zbl 1320.65204号 [19] L.Kaömmerer、T.Ullrich和T.Volkmer，最坏情况恢复保证使用随机样本进行最小二乘近似，Constr。约，54（2021），第295-352页，https://doi.org/10.1007/s00365-021-09555-0。 ·Zbl 1484.41004号 [20] J.Keiner、S.Kunis和D.Potts，NFFT 3.5，C子程序库，网址：http://www.tu-chemnitz.de/便盆/nfft；贡献者：F.Bartel、M.Fenn、T.Go¨rner、M.Kircheis、T.Knopp、M.Quellmalz、M.Schmischke、T.Volkmer和A.Vollrath。 [21] J.Keiner、S.Kunis和D.Potts，《使用NFFT 3-A软件库进行各种非等间距快速傅里叶变换》，ACM Trans。数学。软件，36（2009），19，https://doi.org/10.1145/1555386.1555388。 ·兹比尔1364.65303 [22] R.Kohavi，《提升朴素贝叶斯分类器的准确性：决策树混合》，《第二届知识发现和数据挖掘国际会议论文集》，1996年，第202-207页。 [23] T.Kuöhn，S.Mayer和T.Ullrich，通过熵计数：Sobolev嵌入近似数的新前症状学，SIAM J.Numer。分析。，54（2016），第3625-3647页，https://doi.org/10.1137/16m106580x。 ·Zbl 1404.42004号 [24] F.Y.Kuo、G.Migliorati、F.Nobile和D.Nuyens，使用秩-1格的函数积分、重建和近似，数学。公司。，90（2021），第1861-1897页，https://doi.org/10.1090/mcom/3595。 ·Zbl 1466.42002号 [25] F.Y.Kuo、D.Nuyens、L.Plaskota、I.H.Sloan和G.W.Wasilkowski，无限维积分和多元分解方法，J.Compute。申请。数学。，326（2017），第217-234页，https://doi.org/10.1016/j.cam.2017.05.031。 ·Zbl 1370.65013号 [26] F.Y.Kuo、I.H.Sloan、G.W.Wasilkowski和H.Wozíniakowski，《多元函数分解》，数学。公司。，79（2009），第953-966页，https://doi.org/10.1090/s0025-5718-09-02319-9。 ·兹比尔1196.41022 [27] R.Liu和A.B.Owen，估计方差分解分析的平均维数，J.Amer。统计师。协会，101（2006），第712-721页，https://doi.org/10.1198/0162145000001410。 ·Zbl 1119.62343号 [28] L.Meier、S.van de Geer和P.Buöhlmann，《逻辑回归的群套索》，J.R.Stat.Soc.Ser。B统计方法。，70（2008），第53-71页，https://doi.org/10.1111/j.1467-9868.2007.00627.x。 ·Zbl 1400.62276号 [29] H.Niederreiter，随机数生成和准蒙特卡罗方法，CBMS-NSF地区会议。在申请中。数学。63，SIAM，费城，1992年，https://doi.org/10.1137/1.9781611970081。 ·Zbl 0761.65002号 [30] J.E.Oakley和A.O'Hagan，《复杂模型的概率敏感性分析：贝叶斯方法》，J.Roy。统计社会服务。B统计方法。，66（2004），第751-769页，https://doi.org/10.1111/j.1467-9868.2004.05304.x。 ·Zbl 1046.62027号 [31] L.Oneto、S.Ridella和D.Anguita、Tikhonov、Ivanov和Morozov正则化用于支持向量机学习，Mach。学习。，103（2016），第103-136页，https://doi.org/10.1007/s10994-015-5540-x。 ·Zbl 1357.68179号 [32] A.Owen，具有主要混合偏导数的加权前Sobolev空间的有效维数，SIAM J.Numer。分析。，57（2019），第547-562页，https://doi.org/10.1137/17M1158975。 ·Zbl 1412.41027号 [33] C.C.Paige和M.A.Saunders，LSQR:稀疏线性方程组和稀疏最小二乘的算法，ACM Trans。数学。软件，8（1982），第43-71页，https://doi.org/10.1145/355984.355989。 ·Zbl 0478.65016号 [34] G.Plonka、D.Potts、G.Steidl和M.Tasche，《数值傅里叶分析》，应用。数字。哈蒙。分析。，Birkha¨user，2018年，https://doi.org/10.1007/978-3-030-04306-3。 ·Zbl 1412.65001号 [35] D.Potts和M.Schmischke，用基于傅立叶的方法逼近高维周期函数，SIAM J.Numer。分析。，59（2021），第2393-2429页，https://doi.org/10.1137/20M1354921。 ·Zbl 1476.65022号 [36] D.Potts和M.Schmischke，高维数据的可解释近似，SIAM J.Math。数据科学。，3（2021年），第1301-1323页，https://doi.org/10.1137/21M1407707。 ·Zbl 1476.65023号 [37] D.Potts和M.Schmischke，使用多项式基学习具有低维结构的多元函数，J.Comput。申请。数学。，403 (2022), 113821, https://doi.org/10.1016/j.cam.2021.113821。 ·Zbl 1476.65024号 [38] D.Potts和T.Volkmer，基于秩-1晶格采样的稀疏高维FFT，应用。计算。哈蒙。分析。，41（2016），第713-748页·Zbl 1388.94029号 [39] H.Rabitz和O.F.Alis，高维模型表示的一般基础，J.Math。化学。，25（1999），第197-233页，https://doi.org/10.1023/A:1019188517934。 ·Zbl 0957.93004号 [40] N.Simon、J.Friedman、T.Hastie和R.Tibshirani，《稀疏群套索》，J.Compute。图表。统计人员。，22（2013），第231-245页，https://doi.org/101080/10618600.2012.681250。 [41] I.M.Sobol，《关于非线性数学模型的灵敏度估计》，Matem。国防部。，2（1990年），第112-118页·Zbl 0974.00506号 [42] I.M.Sobol’，非线性数学模型的全局敏感性指数及其蒙特卡罗估计，数学。计算。模拟，55（2001），第271-280页，https://doi.org/10.1016/s0378-4754(00)00270-6. ·Zbl 1005.65004号 [43] G.Wasilkowski和H.Wozániakowski，解放函数近似的维数，《复杂性杂志》，27（2011），第86-110页，https://doi.org/10.1016/j.jco.2010.08.004。 ·Zbl 1208.65024号 [44] C.F.J.Wu和M.S.Hamada，《实验：规划、分析和优化》，第二版，John Wiley&Sons，新泽西州霍博肯，2009年·Zbl 1229.62100号 [45] H.Yang、Z.Xu、I.King和M.R.Lyu，集体套索的在线学习，载于《第27届国际机器学习大会论文集》，2010年，第1191-1198页，https://icml.cc/Conferences/2010/papers/473.pdf。 [46] 袁明源，林毅，分组变量回归中的模型选择与估计，J.R.Stat.Soc.Ser。B统计方法。，68（2006），第49-67页，https://doi.org/10.1111/j.1467-9868.2005302.x。 ·Zbl 1141.62030号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。