×
傅彦欣;赵文晓

支持具有外部输入的多元ARMA系统的恢复和参数识别。 （英语） Zbl 07704046号

SIAM J.控制优化。 61，第3期，1835-1860（2023）。
摘要：研究了具有外部输入的多元ARMA系统（ARMAX）的辨识、支持恢复和参数估计。假设稀疏性不仅出现在系统输入和输出的未知参数矩阵中，也出现在系统噪声系数中，并且对于外部输入，系统允许反馈控制，因此ARMAX系统的观测可能是非平稳的。介绍了一种两阶段稀疏辨识算法。首先，应用扩展最小二乘（ELS）算法获得ARMAX系统未知参数矩阵的初始估计。其次，引入了基于L_2范数和L_1正则化的凸优化准则，其中在L_1项的优化变量中采用ELS算法生成的自适应权重。第三，证明了通过优化准则，参数矩阵的零项集和非零项集，即ARMAX系统的支持集，可以用有限个观测值正确识别，非零参数的估计以概率1收敛到真值。第四，ELS算法所需的严格正实性（SPR）条件通过超参数化技术得到了放宽。通过仿真实例验证了算法的性能。

MSC公司：

65年第68季度 算法和问题复杂性分析
68升10 计算机科学中的图论（包括图形绘制）
68单位05 计算机图形；计算几何（数字和算法方面）

关键词：

ARMAX系统;稀疏识别;支持恢复;参数估计;强一致性

软件：

PDCO公司;LassoNet公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Fu}和\textit{W.Zhao}，SIAM J.控制优化。61，编号3，1835--1860（2023；Zbl 07704046）
全文： 内政部

参考文献：

[1] Ahsen，M.E.和Vidyasagar，M.，《压缩传感的两种新方法同时显示了稳健的稀疏恢复和分组效应》，载于《2017年印度控制会议论文集》，2017年，第246-250页。
[2] Au ström，K.和Wittenmark，B.，《关于自调整调节器》，Automatica，9（1973），第185-199页·Zbl 0249.93049号
[3] Axiotis，K.和Sviridenko，M.，《通过自适应正则硬阈值实现稀疏凸优化》，2020年，https://arxiv.org/abs/2006.14571。 ·Zbl 07370639号
[4] Axiotis，K.和Svirienko，M.，秩约束凸优化的局部搜索算法，https://arxiv.org/abs/2101.06262, 2021. ·兹比尔07370639
[5] Ba，D.，Babadi，B.，Purdon，P.L.，and Brown，E.N.，迭代加权最小二乘算法的收敛性和稳定性，IEEE Trans。信号处理。，62（2014），第183-195页·Zbl 1394.94055号
[6] Bai，E.，Li，K.，Zhao，W.和Xu，W.，基于核的局部非线性非参数变量选择方法，Automatica，50（2014），第100-113页·Zbl 1298.93335号
[7] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.和Eckstein，J.，通过乘法器的交替方向方法进行分布式优化和统计学习，Found。趋势马赫数。学习。，3（2011年），第1-122页·Zbl 1229.90122号
[8] Brunton，S.L.、Proctor，J.L.和Kutz，J.N.，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。美国，113（2016），第3932-3937页·Zbl 1355.94013号
[9] 蔡J.、罗J.、王S.和杨S.，《机器学习中的特征选择：一个新的视角》，神经计算，300（2018），第70-79页。
[10] Candés，E.J.和Tao，T.，《线性编程解码》，IEEE Trans。通知。《理论》，51（2005），第4203-4215页·Zbl 1264.94121号
[11] Candés，E.J.和Tao，T.，随机投影的近最优信号恢复：通用编码策略？，IEEE传输。通知。《理论》，52（2006），第5406-5425页·Zbl 1309.94033号
[12] Candés，E.J.、Wakin，M.B.和Boyd，s.P.，通过重加权最小化增强稀疏性，J.Fourier Anal。应用。，14（2008），第1531-5851页·Zbl 1176.94014号
[13] Chartrand，R.和Yin，W.，压缩传感的迭代加权算法，2008年IEEE声学、语音和信号处理国际会议，2008年，第3869-3872页。
[14] Chen，H.和Guo，L.，《辨识与随机自适应控制》，第1版，Birkhäuser，马萨诸塞州波士顿，1991年·Zbl 0747.93002号
[15] Chen，J.、Stern，M.、Wainwright，M.J.和Jordan，M.I.，通过条件协方差最小化进行核特征选择，https://arxiv.org/abs/1707.01164, 2018
[16] Chen，S.S.、Donoho，D.L.和Saunders，M.A.，通过基追踪进行原子分解，SIAM J.Sci。计算。，20（1998），第33-61页，doi:10.1137/S1064827596304010·Zbl 0919.94002号
[17] Cheng，C.和Bai，E.，基于平方导数平均值的变量选择，Automatica，127（2021），109491·Zbl 1461.93097号
[18] Chiuso，A.和Pillonetto，G.，系统识别和模型选择的贝叶斯和非参数方法，《2014年欧洲控制会议论文集》，2014年，第2376-2381页。
[19] Dan，X.，Li，C.和Jingxin，Z.，使用正交有理函数识别稀疏系统，《第十一届世界智能控制与自动化大会论文集》，2014年，第2340-2345页。
[20] Daubechies，I.、DeVore，R.、Fornasier，M.和Gunturk，S.，《迭代加权最小二乘最小化：稀疏恢复速度快于线性速度的证明》，载于2008年第42届信息科学与系统年会，第26-29页。
[21] Debruyne，M.、Hubert，M.和Suykens，J.A.，使用影响函数进行基于核的回归中的模型选择，J.Mach。学习。Res.，9（2008），第2377-2400页·Zbl 1225.62051号
[22] Donoho，D.，压缩传感，IEEE Trans。《信息理论》，52（2006），第1289-1306页·Zbl 1288.94016号
[23] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.，最小角度回归，《统计年鉴》。，32（2004年），第407-499页·Zbl 1091.62054号
[24] Fan，J.和Li，R.，通过非洞穴惩罚似然的变量选择及其预言性质，J.Amer。统计师。协会，96（2001），第1348-1360页·Zbl 1073.62547号
[25] Feng，J.和Simon，N.，用于高维非参数回归和分类的稀疏输入神经网络，https://arxiv.org/abs/1711.07592, 2019.
[26] Frank，E.和Friedman，J.H.，《一些化学计量学回归工具的统计观点》，《技术计量学》，35（1993），第109-135页·Zbl 0775.62288号
[27] Fu，W.和K.K.奈特，套索型估计量的渐近性，《统计年鉴》。，28（2000），第1356-1378页·兹比尔1105.62357
[28] Koltchinskii，V.，《惩罚经验风险最小化中的稀疏性》，Ann.Inst.H.PoincaréProbab。统计人员。，45（2009），第7-57页·Zbl 1168.62044号
[29] Lei，Q.、Yen，I.E.、Wu，C.、Dhillon，I.S.和Ravikumar，P.，《稀疏经验风险最小化的双贪婪原始-对偶坐标下降》，《第34届国际机器学习会议论文集》，2017年，第2034-2042页。
[30] Lemhadri，I.、Ruan，F.、Abraham，L.和Tibshirani，R.，《LassoNet:具有特征稀疏性的神经网络》，https://arxiv.org/abs/1907.12207, 2021 ·Zbl 07370644号
[31] Ljung，L.，《系统识别：用户理论》，第1版，普伦蒂斯·霍尔，新泽西州上鞍河，1999年。
[32] Marjanovic，G.和Solo，V.，关于（l_q）优化和矩阵完成，IEEE Trans。信号处理。，60（2012），第5714-5724页·Zbl 1393.94353号
[33] 袁玉立，明，分组变量回归中的模型选择与估计，J.R.Stat.Soc.Ser。B统计方法。，68（2006），第46-67页·Zbl 1141.62030号
[34] Natarajan，B.K.，线性系统的稀疏近似解，SIAM J.Compute。，24（1995），第227-234页，doi:10.1137/S0097539792240406·Zbl 0827.68054号
[35] Peng，H.、Long，F.和Ding，C.，基于最大相关性、最大相关性和最小冗余的互信息准则的特征选择，IEEE Trans。模式分析。机器。智力。，27（2005），第1226-1238页。
[36] Perepu，S.K.和Tangirala，A.K.，使用压缩传感技术从小样本中识别方程误差模型，IFAC-PapersOnLine，48（2015），第795-800页。
[37] Pillonetto，G.、Chen，T.和Ljung，L.，基于核的线性动力学系统辨识和预测模型阶数选择，《第52届IEEE决策与控制会议论文集》，2013年，第5174-5179页。
[38] Shalev Shwartz，S.，Gonen，A.和Shamir，O.，具有低秩约束的大规模凸极小化，https://arxiv.org/abs/1106.1622, 2011.
[39] Simon，N.、Friedman，J.、Hastie，T.和Tibshirani，R.，《稀疏群套索》，J.Compute。图表。统计人员。，22（2013），第231-245页。
[40] Song，L.、Smola，A.、Gretton，A.、Bedo，J.和Borgwardt，K.，通过依赖最大化进行特征选择，J.Mach。学习。Res.，13（2012），第1393-1434页·Zbl 1303.68110号
[41] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B方法。，73（1996年），第273-282页·Zbl 1411.62212号
[42] Tóth，R.、Sanandaji，B.M.、Poolla，K.和Vincent，T.L.，线性时不变框架中的压缩系统识别，《第50届IEEE决策与控制会议和欧洲控制会议论文集》，2011年，第783-790页。
[43] Tsiligkaridis，T.、Hero，A.O.III和Zhou，S.，《关于克罗内克图形套索算法的收敛性》，IEEE Trans。信号处理。，61（2013），第1743-1755页·兹比尔1394.62095
[44] Tuv，E.、Borisov，A.、Runger，G.和Torkkola，K.，《具有集合、人工变量和冗余消除的特征选择》，J.Mach。学习。Res.，10（2009），第1341-1366页·Zbl 1235.62003号
[45] Wipf，D.和Nagarajan，S.，寻找稀疏解的迭代重加权（ell_1）和（ell_2）方法，IEEE J.Sel。顶部。信号处理。，4（2010年），第317-329页。
[46] Wu，T.T.和Lange，K.，套索惩罚回归的坐标下降算法，Ann.Appl。统计人员。，2（2008年），第224-244页·Zbl 1137.62045号
[47] Yamada，M.、Jitkrittum，W.、Sigal，L.、Xing，E.P.和Sugiyama，M.，通过特征-wise核套索进行高维特征选择，神经计算。，26（2014），第185-207页·Zbl 1410.68328号
[48] Yang，Z.，Wang，Z..，Liu，H.，Eldar，Y.，and Zhang，T.，《稀疏非线性回归：非凸性下的参数估计》，第33届国际机器学习会议论文集，2016年，第2472-2481页。
[49] Zhao，W.、Yin，G.和Bai，E.，具有一般观测序列的随机系统的稀疏系统识别，Automatica，121（2020），第109-162页·Zbl 1448.93338号
[50] Zorzi，M.，ar图形模型中的经验贝叶斯学习，Automatica，109（2019），108516·Zbl 1496.62160号
[51] Zorzi，M.，Kronecker图形模型的自回归识别，Automatica，119（2020），第109053页·Zbl 1451.93406号
[52] Zorzi，M.和Chiuso，A.，《稀疏加低阶网络识别：非参数方法》，Automatica，76（2017），第355-366页·Zbl 1352.93097号
[53] Zorzi，M.和Sepulchre，R.，潜在变量图形模型的AR识别，IEEE Trans。自动垫。控制，61（2016），第2327-2340页·兹比尔1359.93508
[54] Zou，H.，《自适应套索及其预言属性》，J.Amer。统计师。协会，101（2006），第1418-1429页·Zbl 1171.62326号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。