×

线性回归最佳子集选择的有效优化方法,应用于自回归时间序列的模型选择和拟合。 (英语) 兹伯利1435.90088

摘要:在本文中,我们考虑了两个相关的优化问题:最佳稀疏线性回归模型的选择问题和基于时间序列数据的自回归模型参数的最优识别问题。通常,这些虽然不同但确实相关的问题是通过一系列单独的步骤来解决的,在选择特征子集和找到最佳回归之间交替进行。本文建议将这两个问题建模为混合整数非线性优化问题,并提出基于最新优化工具的数值程序,以解决这两个难题。该方法的优点是将模型选择和参数估计都视为单个优化问题。在广泛可用的数据集和合成数据集上进行的数值实验证实了我们方法的高质量,无论是在结果模型的质量方面还是在CPU时间方面。

MSC公司:

90立方厘米 混合整数编程
62J05型 线性回归;混合模型
62M10个 统计学中的时间序列、自相关、回归等(GARCH)
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] Akaike,H.,统计模型识别的新视角,IEEE Trans。自动。控制,19716-723(1974)·兹伯利0314.62039 ·doi:10.1109/TAC.1974.1100705
[2] Akaike,H.:信息理论和最大似然原理的扩展。收录于:《秋叶裕久文选》,第199-213页。斯普林格(1998)
[3] 安德森,D.A.,伯纳姆,K.P.,安德森,D.,伯纳曼,K.P:模型选择和推断:实用信息理论方法。施普林格,纽约(1998)·Zbl 0920.62006号
[4] Bagirov,A。;克劳森,C。;Kohler,M.,用连续分段线性函数估计回归函数的算法,计算。最佳方案。申请。,45, 159-179 (2010) ·Zbl 1187.90267号 ·doi:10.1007/s10589-008-9174-9
[5] Bertsekas,D.P.:非线性规划。雅典娜科技,纳舒亚(2016)·Zbl 1360.90236号
[6] Bertsimas,D。;King,A.,Or for-线性回归的算法方法,Oper。研究,64,2-16(2015)·Zbl 1338.90272号 ·doi:10.1287/opre.2015.1436
[7] Bertsimas,D。;金,A。;马祖姆德,R。;等。,通过现代优化透镜选择最佳子集,Ann.Stat.,44,813-852(2016)·兹比尔1335.62115 ·doi:10.1214/15-AOS1388
[8] Bertsimas,D。;Shioda,R.,基数约束二次优化算法,计算。最佳方案。申请。,43,1-22(2009年)·Zbl 1178.90262号 ·doi:10.1007/s10589-007-9126-9
[9] Bertsimas,D.,Van Parys,B.:稀疏高维回归:精确可缩放算法和相变。arXiv预印arXiv:1709.10029,(2017)·Zbl 1444.62094号
[10] Box,G.E.,Jenkins,G.M.,Reinsel,G.C.,Ljung,G.M.:时间序列分析:预测与控制。霍博肯·威利(2015)·Zbl 1317.62001
[11] Bozdogan,H.,Akaike的信息标准和信息复杂性的最新发展,J.Math。心理医生。,44, 62-91 (2000) ·Zbl 1047.62501号 ·doi:10.1006/jmps.1999.1277
[12] 伯德,RH;卢,P。;Nocedal,J。;Zhu,C.,边界约束优化的有限内存算法,SIAM J.Sci。统计计算。,16, 1190-1208 (1995) ·Zbl 0836.65080号 ·doi:10.1137/0916069
[13] Cozad,A。;内华达州萨希尼迪斯;Miller,DC,《基于仿真的优化学习代理模型》,AIChE J.,602211-2227(2014)·doi:10.1002/aic.14418
[14] 利弗拉,AM;RJ Hyndman;Snyder,RD,《使用指数平滑预测复杂季节模式的时间序列》,美国统计协会,106,1513-1527(2011)·Zbl 1234.62123号 ·doi:10.198/jasa/2011.tm09771
[15] Dolan,ED;Moré,JJ,带性能配置文件的基准优化软件,数学。程序。,91, 201-213 (2002) ·邮编:1049.90004 ·doi:10.1007/s101070100263
[16] Dua,D.,Graff,C.:UCI机器学习库。2017年,加利福尼亚大学欧文分校信息与计算机科学学院。http://archive.ics.uci.edu/ml
[17] Efroymson,M.:多元回归分析。数字计算机的数学方法,第191-203页(1960)
[18] Garside,M.,最佳子集问题的一些计算程序,J.Roy。统计社会:序号。C(应用统计),20,8-15(1971)
[19] Gómez,A.,Prokopyev,O.:最佳子集选择的混合整数分式优化方法。《在线技术报告优化》,6795,匹兹堡大学斯旺森工程学院,(2018)·Zbl 07362333号
[20] Gurobi Optimization LLC.古罗比优化器参考手册,(2018)。网址:http://www.gurobi.com
[21] 汉密尔顿,J.D.:《时间序列分析》,第2卷。普林斯顿大学出版社,新泽西州普林斯顿(1994)·Zbl 0831.62061号
[22] 汉南,EJ;Quinn,BG,自回归阶数的确定,J.Roy。统计社会:序号。B(Methodol.),41190-195(1979)·Zbl 0408.62076号
[23] Hyndman,R.J.,Khandakar,Y.等人:用于预测的自动时间序列:R.Number 6/07的预测包。莫纳什大学计量经济和商业统计系(2007年)
[24] Kimura,K。;Waki,H.,通过混合整数非线性程序实现线性回归分析中Akaike信息准则的最小化,Optim。方法软件。,33, 633-649 (2018) ·兹比尔1398.90111 ·doi:10.1080/10556788.2017.1333611
[25] Konishi,S.,Kitagawa,G.:信息标准和统计建模。施普林格,纽约(2008)·Zbl 1172.62003年 ·数字对象标识代码:10.1007/978-0-387-71887-3
[26] Kwiatkowski,D。;菲利普斯,PC;施密特,P。;Shin,Y.,针对单位根的替代性检验平稳性的零假设:我们如何确定经济时间序列有单位根?,《经济学杂志》。,54, 159-178 (1992) ·Zbl 0871.62100号 ·doi:10.1016/0304-4076(92)90104-Y
[27] 梅德罗斯,MC;重发,MG;Veiga,A.,用GRASP进行分段线性时间序列估计,计算。最佳方案。申请。,19, 127-144 (2001) ·Zbl 1168.90590号 ·doi:10.1023/A:1011238718363
[28] Miller,A.:回归中的子集选择。查普曼和霍尔/CRC,伦敦(2002年)·Zbl 1051.62060号 ·doi:10.1201/9781420035933
[29] Miyashiro,R。;Takano,Y.,《线性回归变量选择的混合整数二阶锥规划公式》,欧洲期刊Oper。研究,247,721-731(2015)·Zbl 1346.90616号 ·doi:10.1016/j.ejor.2015.06.081
[30] Miyashiro,R。;Takano,Y.,Mallows的Cp子集选择:混合整数规划方法,专家系统。申请。,42, 325-331 (2015) ·doi:10.1016/j.eswa.2014.07.056
[31] Natarajan,BK,线性系统的稀疏近似解,SIAM J.Compute。,24, 227-234 (1995) ·兹伯利0827.68054 ·doi:10.1137/S0097539792240406
[32] 奥斯本,DR;Chui,美联社;JP史密斯;Birchenhall,CR,季节性和消费整合顺序,Oxf。牛市。经济。统计,50,361-377(1988)·doi:10.1111/j.1468-0084.198.mp50004002.x
[33] 佐藤,T。;Y.Takano。;Miyashiro,R。;Yoshise,A.,通过混合整数优化进行逻辑回归的特征子集选择,计算。最佳方案。申请。,64, 865-880 (2016) ·兹比尔1352.90068 ·doi:10.1007/s10589-016-9832-2
[34] Schwarz,G.,《估算模型的维数》,《Ann.Stat.》,第6期,第461-464页(1978年)·Zbl 0379.62005年 ·doi:10.1214/aos/1176344136
[35] 沈,X。;潘·W。;Zhu,Y。;Zhou,H.,关于约束和正则化高维回归,Ann.Inst.Stat.Math。,65, 807-832 (2013) ·Zbl 1329.62307号 ·doi:10.1007/s10463-012-0396-3
[36] Shibata,R.,通过Akaike信息准则选择自回归模型的阶数,Biometrika,63117-126(1976)·Zbl 0358.62048号 ·doi:10.1093/biomet/63.1.117
[37] 团队,R.C.等人:R:统计计算的语言和环境(2013)
[38] Tibshirani,R.,通过Lasso,J.R.Stat.Soc.Ser.回归收缩和选择。B Methodol公司。2, 58, 267-288 (1996) ·Zbl 0850.62538号
[39] 威尔逊,ZT;内华达州萨希尼迪斯,机器学习的ALAMO方法,计算。化学。工程,106,785-795(2017)·doi:10.1016/j.compchemeng.2017.02.010
[40] 郑,Z。;范,Y。;Lv,J.,高维阈值回归和收缩效应,J.R.Stat.Soc.Ser。B统计方法。,76, 627-649 (2014) ·Zbl 1411.62049号 ·doi:10.1111/rssb.12037
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。