×

饱和样条线和特征选择。 (英语) Zbl 1473.62248号

小结:我们通过合并饱和度来扩展自适应回归样条模型,饱和度是函数扩展为某一范围外的常数的自然要求。我们通过测度空间上的凸优化问题将饱和样条拟合到数据上,并使用基于条件梯度法的高效算法进行求解。与许多现有方法不同,我们的算法在没有预先指定节点位置的情况下解决了原始的无限维(对于二阶以上的样条曲线)优化问题。然后,我们使用我们的算法以饱和样条作为坐标函数来拟合广义可加模型,并表明饱和要求允许我们的模型同时执行特征选择和非线性函数拟合。最后,我们简要描述了如何将该方法扩展到高阶样条以及数据范围外扩展的不同要求。

MSC公司:

62J07型 岭回归;收缩估计器(拉索)
46N10号 函数分析在优化、凸分析、数学规划、经济学中的应用
65D07年 使用样条曲线进行数值计算
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] F.巴赫。用凸神经网络打破维数的魔咒。《机器学习研究杂志》,18(19):1–532017年·Zbl 1433.68390号
[2] N.Boyd、G.Schiebinger和B.Recht。稀疏反问题的交替下降条件梯度法。SIAM优化杂志,27(2):616–6392017·Zbl 1365.90195号
[3] S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein。通过乘法器的交替方向方法进行分布式优化和统计学习。机器学习的基础和趋势,3(1):1–1222011·Zbl 1229.90122号
[4] P.Charbonnier、L.Blanc-Feraud、G.Aubert和M.Barlaud。计算机成像中确定性边缘保护规则化。事务处理。图。程序。,6(2):298–3111997年2月。ISSN 1057-7149。30
[5] A.Chouldechova和T.Hastie。广义加性模型选择。ArXiv电子版,2015年6月。
[6] C.德布尔。花键实用指南。应用数学科学。施普林格,柏林,2001年·Zbl 0987.65015号
[7] V.F.Demyanov和A.M.Rubinov。优化问题中的近似方法。应用数学与力学杂志,53(7):499–4991973。ISSN 1521-4001。
[8] E.Van den Berg和M.P Friedlander。具有最小二乘约束的稀疏优化。SIAM优化杂志,21(4):1201–12292011·Zbl 1242.49061号
[9] J.C.Dunn和S.Harshbarger。具有开环步长规则的条件梯度算法。数学分析与应用杂志,62(2):432-4441978。ISSN 0022-247X·Zbl 0374.49017号
[10] B.Efron和T.Hastie。计算机时代统计推断。数理统计研究所专著。剑桥大学出版社,2016。国际标准图书编号9781107149892·Zbl 1377.62004号
[11] J.Friedman、T.Hastie和R.Tibshirani。广义线性模型的坐标下降正则化路径。《统计软件杂志》,33(1):1–222010年。ISSN 1548-7660。
[12] J.Giesen、M.Jaggi和S.Laue。近似参数化凸优化问题。ACM事务处理。算法,9(1):2012年12月10:1–10:17。ISSN 1549-6325·Zbl 1301.90070号
[13] P.J.Green和B.W.Silverman。非参数回归和广义线性模型:粗糙度惩罚方法。统计学和应用概率专著。查普曼和霍尔,博卡拉顿,伦敦,纽约,1994年。国际标准图书编号0-412-30040-0·兹比尔0832.62032
[14] T.Hastie和R.Tibshirani。广义加法模型,第43卷。CRC出版社,1990年·Zbl 0747.62061号
[15] T.Hastie、R.Tibshirani和J.Friedman。统计学习的要素。统计学中的斯普林格系列。施普林格纽约公司,美国纽约州纽约市,2001年·Zbl 0973.62007号
[16] M.贾吉。重温Frank-Wolfe:无投影稀疏凸优化。ICML,2013年。
[17] S.Kim、K.Koh、S.Boyd和D.Gorinevsky。”趋势过滤。SIAM评论,51(2):339–3602009·Zbl 1171.37033号
[18] M.利奇曼。UCI机器学习库,2013年。统一资源定位地址网址:http://archive.ics.uci.edu/毫升。
[19] Y.Lin和H.Zhang。多元非参数回归中的成分选择与平滑。安.统计师。,34(5):2272–2297, 10 2006. ·Zbl 1106.62041号
[20] E.Mammen和S.van de Geer。局部自适应回归样条。安.统计师。,25(1):387–4131997年2月·Zbl 0871.62040号
[21] A.Petersen、D.Witten和N.Simon。融合套索加法模型。《计算与图形统计杂志》,第1-37页,2015年。31
[22] A.Ramdas和R.J.Tibshirani。趋势过滤的快速灵活admm算法。《计算与图形统计杂志》,2015年。
[23] S.Rosset、G.Swirszcz、N.Srebro和J.Zhu。”1无限维特征空间中的正则化。第544-558页,2007年·Zbl 1203.68167号
[24] R.J.Tibshirani。通过趋势滤波进行自适应分段多项式估计。《统计年鉴》,42(1):285–3232014·Zbl 1307.62118号
[25] 罗伯特·提比拉尼(Robert Tibshirani)。通过套索回归收缩和选择。英国皇家统计学会期刊,B辑,58:267-2881994·Zbl 0850.62538号
[26] G.瓦巴。观察数据的样条模型,CBMS-NSF应用数学区域会议系列第59卷。工业和应用数学学会(SIAM),宾夕法尼亚州费城,1990年·Zbl 0813.62001号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。