×

将分段仿射模型拟合到数据点的离散优化方法。 (英语) Zbl 1349.68209号

摘要:在许多科学学科中,将分段仿射模型拟合到数据点是一项普遍的任务。在这项工作中,我们解决了\(k\)-具有分段线性可分性问题的分段仿射模型拟合(\(k\)-PAMF-PLS)其中,给定一组\(m\)点\({\mathbf{a} _1个,\ldot,\mathbf{a} _米子集mathbb{R}^n)和相应的观测值(b_1,ldots,b_m\}\subset\mathbb{R}),我们必须将域划分为(k)分段线性(或仿射)可分子域,并确定仿射子模型(即仿射函数)为了使总线性拟合误差w.r.t.的观测值(b{i})最小。为了求解(k)-PAMF-PLS的最优性,我们提出了一种混合整数线性规划(MILP)公式,其中对称性通过分离移位列不等式而被打破。对于中大型实例,我们开发了一个四步启发式算法,在每次迭代时,包括基于关键点识别的点重新分配步骤和基于多类别线性分类的域划分步骤。与文献中针对类似拟合问题提出的传统方法不同,在我们的精确方法和启发式方法中,同时考虑了域划分和子模型拟合方面。在真实世界和结构化随机生成实例上的计算实验表明,使用我们的具有对称破缺约束的MILP公式,我们可以求解许多小型实例的已证明的最优性。我们的四步启发式算法最终为小型实例提供了接近最优的解决方案,同时允许处理更大的实例。实验还表明,与不包括启发式的标准变体相比,我们的启发式的主要特征的综合影响相当大。最后,我们将本文应用于动态分段仿射系统的识别,对于该系统,我们在基准数据集上获得了与文献中最先进的方法(链接超平面模型和形式和正则化)具有可比性的有希望的结果。

MSC公司:

68T20型 人工智能背景下的问题解决(启发式、搜索策略等)
68T05型 人工智能中的学习和自适应系统
90立方厘米 混合整数编程
90 C59 数学规划中的逼近方法和启发式方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] 阿马尔迪,E。;Coniglio,S.,基于距离的点重分配启发式算法用于(k)-超平面聚类问题,Eur J Oper Res,227,1,22-29(2013)·Zbl 1292.90323号
[4] 阿马尔迪,E。;Dhyani,K。;Ceselli,A.,最小超平面聚类问题的列生成,INFORMS J Compute,25,3,446-460(2013)
[5] 阿马尔迪,E。;马塔维利,M最小PFS问题和分段线性模型估计,离散应用数学,118,1-2115-143(2002)·Zbl 0995.90076号
[6] Bemporad,A。;加鲁利,A。;Paoletti,S。;Vicino,A.,分段仿射系统辨识的有界误差方法,IEEE Trans-Autom Control,50,10,1567-1580(2005)·Zbl 1365.93100号
[7] Bennet,K。;Mangasarian,O.,通过线性规划的多类别判别,Optim Methods Softw,3,27-39(1994)
[8] 布雷德利,P。;Mangasarian,O.,(k)-平面聚类,《全球优化杂志》,16,23-32(2000)·Zbl 0990.90135号
[9] Bertsimas,D。;Mazumder,R.,《通过现代优化实现最小分位数回归》,《Ann Stat》,42,6,2494-2525(2014)·Zbl 1302.62154号
[10] Breiman,L.,回归、分类和函数逼近的铰链超平面,IEEE Trans-Inf理论,39,3,999-1013(1993)·Zbl 0793.62031号
[11] Bertsimas,D。;Shioda,R.,通过整数优化进行分类和回归,Oper Res,55,252-271(2007)·Zbl 1167.90593号
[12] Chang,A。;Bertsimas,D。;Rudin,C.,关联分类的整数优化方法,(Pereira,F.;Burges,C.;Bottou,L.,《神经信息处理系统的进展》,第25卷(2012)),269-277
[15] 沙佩尔,O。;信德瓦尼,V。;Keerthi,S.,《半监督支持向量机的分支与界限》,(Schölkopf,B.;Platt,J.;Hoffman,T.,《神经信息处理系统的进展》,第19卷(2006)),217-224
[16] 杜达,R。;Fossum,H.,通过迭代确定的线性和分段线性判别函数进行模式分类,IEEE Trans-Electron Compute,15220-232(1966)·Zbl 0141.14207号
[18] 费拉里·特雷卡特,G。;穆塞利,M。;Liberati,D。;Morari,M.,用于识别分段仿射系统的聚类技术,Automatica,39,2,205-217(2003)·Zbl 1011.93508号
[22] 凯贝尔,V。;Pfetsch,M.E.,《包装和分割轨道》,《数学进展》第A辑,114期,第1-36页(2008年)·Zbl 1171.90004号
[24] Margot,F.,《整数线性规划中的对称性》,(Jünger,M.;Liebling,T.;Naddef,D.;Nemhauser,G.;Pulleyblank,W.;Reinelt,G.,Rinaldi,G..;Wolsey,L.,1958-2008年(2010年),《施普林格:施普林格柏林,海德堡》,647-686·Zbl 1187.90200号
[25] Magnani,A。;Boyd,S.,《凸分段线性拟合》,Optim Eng,10,1-17(2009)·Zbl 1273.65086号
[26] 梅恩德斯·迪亚斯,I。;Zabala,P.,《图形着色的多面体方法》,《电子笔记离散数学》,7178-181(2001)
[27] 梅恩德斯·迪亚斯,I。;Zabala,P.,《图着色的分支与切割算法》,《离散应用数学》,154,5826-847(2006)·Zbl 1120.90034号
[29] Mangasarian,O。;罗森,J。;汤普森,M.,通过分段线性低估实现全局最小化,J Glob Optim,32,1,1-9(2005)·Zbl 1098.90072号
[30] 宫城郎,R。;Takano,Y.,线性回归中变量选择的混合整数二阶锥规划公式,Eur J Oper Res,247,3721-731(2015)·Zbl 1346.90616号
[31] Ohlsson,H。;Ljung,L.,使用形式和正则化识别切换线性回归模型,Automatica,49,4,1045-1050(2013)·Zbl 1285.93100号
[32] Ozay,N。;Sznaier,M。;拉各亚,C。;Camps,O.,切换仿射系统集成员身份识别的稀疏化方法,IEEE Trans-Autom-Control,57,3,634-648(2012)·Zbl 1369.93163号
[33] Paoletti,S。;朱洛斯基,A。;费拉里·特雷卡特,G。;Vidal,R.,《混合系统识别教程》,《欧洲控制杂志》,13,2,242-260(2007)·Zbl 1293.93219号
[34] 罗尔,J。;Bemporad,A。;Ljung,L.,通过混合整数编程识别分段仿射系统,Automatica,40,37-50(2004)·Zbl 1037.93023号
[36] 托里埃洛,A。;Vielma,J.P.,《拟合分段线性连续函数》,《欧洲运筹学杂志》,219,1,86-95(2012)·Zbl 1244.90166号
[37] Vapnik,V.,《统计学习理论的本质》(1996),Springer-Verlag:Springer-Verlag纽约·Zbl 0934.62009号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。