博内蒂尼，S。;A.Chiuso。;M.普拉托。 一种用于动态系统中贝叶斯学习的比例梯度投影方法。 （英语） Zbl 1461.65133号 SIAM J.科学。计算。 37，第3号，A1297-A1318（2015）. 总结：系统辨识问题中的一项关键任务是选择最合适的模型类，并通过交叉验证或使用基于渐近参数的顺序选择标准进行经典处理。正如文献中最近提出的，这可以在贝叶斯框架中解决，其中模型复杂性由几个超参数调节，这些超参数可以通过边际似然最大化进行估计。因此，设计有效的优化方法来解决相应的优化问题至关重要。如果将未知脉冲响应建模为具有合适核的高斯过程，则边际似然的最大化将导致一个具有挑战性的非凸优化问题，这需要一个稳定有效的求解策略。本文通过一种缩放梯度投影算法来解决这个问题，其中缩放矩阵和步长参数起着关键作用，可以在与二阶方法相当的计算时间内提供有意义的解。特别地，我们提出了在存在方框约束的情况下设计缩放矩阵的分裂梯度方法的推广，以及梯度和目标函数的有效实现。对几个测试问题进行的大量数值实验表明，我们的方法在提供问题十分之几秒的解决方案方面非常有效，其精度可与最先进的方法媲美。此外，该策略的灵活性使其很容易适应机器学习、信号处理和系统识别不同领域中出现的更广泛的问题。 引用于7文件 MSC公司： 65千5 数值数学规划方法 90立方 非线性规划 90 C90 数学规划的应用 93B30型 系统标识 关键词：系统标识;优化方法;正则化;经验贝叶斯方法;边际似然最大化 软件：CVXOPT公司 PDF格式BibTeX公司 XML格式引用 \textit{S.Bonettini}等人，SIAM J.Sci。计算。37，第3号，A1297--A1318（2015；Zbl 1461.65133） 全文： 内政部 arXiv公司 参考文献： [1] ｛\f5 M.Andersen｝、J.Dahl｝和L.Vandenberghe｝｛\f5，｛\f5 Cvxopt:Python Software for Convex Optimization｝｛\f5，｝｛\f5 1.1.6版，网址：//cvxopt.org, 2013. [2] A.Aravkin、J.Burke、A.Chiuso和G.Pillonetto，回归和稀疏估计的{凸与非凸估计：ARD和GLasso}的均方误差特性，J.Mach。学习。Res.，15（2014），第217-252页·兹比尔1318.62238 [3] M.Ayazoglu和M.Sznaier，《快速约束核范数最小化算法及其在系统识别中的应用》，《IEEE CDC学报》，2012年，第3469-3475页。 [4] F.R.Bach、G.R.G.Lanckriet和M.I.Jordan，{多重核学习、二次曲线对偶和SMO算法}，《第21届机器学习国际会议论文集》，纽约，2004年，美国计算机学会，第41-48页。 [5] M.Bertero，{线性逆和不适定问题}，高级电子。El.Phys.公司。，75（1989），第1-120页。 [6] M.Bertero、H.Lanteíri和L.Zanni，{迭代图像重建：一个观点}，《生物医学成像和强度调制放射治疗（IMRT）中的数学方法》，Y.Censor、M.Jiang和A.K.Louis编辑，Birkhauser-Verlag，意大利比萨，2008年，第37-63页。 [7] D.P.Bertsekas，《非线性规划》，第二版，雅典娜科学出版社，马萨诸塞州贝尔蒙特，1999年·Zbl 1015.90077号 [8] S.Bonettini，{非精确块坐标下降法及其在非负矩阵因式分解中的应用}，IMA J.Numer。分析。，31（2011），第1431-1452页·兹比尔1235.65061 [9] S.Bonettini、A.Cornelio和M.Prato，《基于傅里叶变换的图像恢复的一种新的半盲反褶积方法：在天文学中的应用》，SIAM J.Imaging Sci。，6（2013），第1736-1757页·Zbl 1282.94010号 [10] S.Bonettini、G.Landi、E.Loli Piccolomini和L.Zanni，《天文图像去模糊中梯度投影类型方法的缩放技术》，国际计算机杂志。数学。，90（2013年），第9-29页·Zbl 1278.68326号 [11] S.Bonettini和M.Prato，《稀疏傅里叶数据的非负图像重建：一种新的反褶积算法》，《反问题》，26（2010），095001·Zbl 1201.94010号 [12] S.Bonettini、R.Zanella和L.Zanni，{约束图像去模糊的缩放梯度投影方法}，反问题，25（2009），015002·Zbl 1155.94011号 [13] G.Box、G.M.Jenkins和G.Reinsel，《时间序列分析：预测与控制》，第三版，普伦蒂斯·霍尔，新泽西州恩格尔伍德克利夫斯，1994年·Zbl 0858.62072号 [14] S.Boyd和L.Vandeberghe，{凸优化}，剑桥大学出版社，剑桥，2004年·Zbl 1058.90049号 [15] T.Chen，M.S.Andersen，L.Ljung，A.Chiuso，and G.Pillonetto，{使用顺序凸优化技术通过稀疏多核正则化进行系统识别}，IEEE Trans。自动化。控制，59（2014），第2933-2945页·Zbl 1360.93720号 [16] T.Chen和L.Ljung，{系统辨识中正则最小二乘问题中参数调整算法的实现}，Automatica，49（2013），第2213-2220页·Zbl 1364.93825号 [17] T.Chen、H.Ohlsson和L.Ljung，《关于传递函数、正则化和高斯过程的估计——重访》，Automatica，48（2012），第1525-1535页·Zbl 1269.93126号 [18] A.Chiuso、T.Chen、L.Ljung和G.Pillonetto，《关于非参数线性系统辨识的多核设计》，载《IEEE CDC学报》，2014年，第3346-3351页。 [19] A.Chiuso和G.Pillonetto，{稀疏动态网络识别的贝叶斯方法}，Automatica，48（2012），第1553-1565页·兹比尔1267.93172 [20] M.E.Daube-Witherspoon和G.Muehlehner，适用于体积ECT的迭代图像空间重建算法，IEEE Trans。医学成像，5（1986），第61-66页。 [21] F.Dinuzzo，{线性定常系统辨识的核}，CoRR abs/1203.4930，2012·兹比尔1329.93049 [22] T.Doan、R.Litterman和C.A.Sims，《使用现实先验分布进行预测和条件预测》，《计量经济学评论》，第3期（1984年），第1-100页·Zbl 0613.62142号 [23] E.D.Dolan和J.J.More∏，{性能曲线基准优化软件}，数学。项目。序列号。A、 91（2002），第201-213页·邮编：1049.90004 [24] D.Donoho，{压缩传感}，IEEE Trans。通知。《理论》，52（2006），第1289-1306页·Zbl 1288.94016号 [25] M.Fazel、H.Hindi和S.P.Boyd，{秩最小化启发式与最小阶系统近似的应用}，《美国控制会议论文集》，2001年第6卷，第4734-4739页。 [26] G.Frassoldati、G.Zanghirati和L.Zanni，{it梯度法中的新自适应步长选择}，J.Ind.Manage。最佳。，4（2008年），第299-312页·兹比尔1161.90524 [27] G.C.Goodwin、M.Gevers和B.Ninness，{将估计传递函数中的误差量化并应用于模型顺序选择}，IEEE Trans。自动化。《控制》，37（1992），第913-928页·Zbl 0767.93022号 [28] W.W.Hager，B.A.Mair和H.Zhang，{箱约束优化的仿射尺度内点CBB方法}，数学。程序。序列号。A、 119（2009），第1-32页·Zbl 1168.90007号 [29] T.Kailat，{线性系统}，普伦蒂斯·霍尔，恩格尔伍德悬崖，新泽西州，1980年·Zbl 0454.93001号 [30] G.Kitagawa和H.Gersh，{具有趋势和季节性的时间序列的平滑前状态空间建模}，J.Amer。统计师。协会，79（1984），第378-389页。 [31] H.Lanteri、M.Roche和C.Aime，{带正约束的惩罚最大似然图像恢复：乘法算法}，反问题，28（2002），第1397-1419页·Zbl 1023.62099号 [32] J.B.Lasserre，{矩阵乘积的迹不等式}，IEEE Trans。自动化。控制，40（1995），第1500-1501页·Zbl 0835.15013号 [33] D.D.Lee和H.S.Seung，{通过非负矩阵分解学习对象的部分}，《自然》，401（1999），第788-791页·Zbl 1369.68285号 [34] L.Ljung，{it系统识别-用户理论}，第二版，普伦蒂斯·霍尔，恩格尔伍德·克利夫斯，新泽西州，1999年·Zbl 0615.93004号 [35] L.Ljung、H.Hjalmarsson和H.Ohlsson，《四次遭遇系统识别》，《欧洲控制杂志》，17（2011），第449-471页·Zbl 1259.93044号 [36] D.J.C.MacKay，{预测竞争的贝叶斯非线性模型}，载于ASHRAE Transactions 100，Pt.2，ASHRAE，亚特兰大，1994，pp.1053-1062。 [37] J.S.Maritz和T.Lwin，｛\it Experimental Bayes Method｝，Chapman和Hall，英国伦敦，1989年·Zbl 0731.62040号 [38] M.Merritt和Y.Zhang，{大规模完全非负最小二乘问题的内点梯度法}，J.Optim。理论应用。，126（2005），第191-202页·兹比尔1093.90084 [39] G.Pillonetto和A.Chiuso，{正则核回归和线性系统识别中的调整复杂性：边际似然估计的稳健性}，Automatica，即将出版·Zbl 1330.93235号 [40] G.Pillonetto、A.Chiuso和G.De Nicolao，《线性系统的预测误差识别：非参数高斯回归方法》，《自动化》，47（2011），第291-305页·Zbl 1207.93110号 [41] G.Pillonetto和G.De Nicolao，《基于内核的线性系统识别新方法》，《自动化》，46（2010），第81-93页·Zbl 1214.93116号 [42] G.Pillonetto、F.Dinuzzo、T.Chen、G.De Nicolao和L.Ljung，《系统识别、机器学习和功能估计中的内核方法：调查》，《自动化》，50（2014），第657-682页·Zbl 1298.93342号 [43] M.Prato、R.Cavicchioli、L.Zanni、P.Boccacci和M.Bertero，《天文成像的高效反褶积方法：算法和IDL-GPU代码》，《天文学》。天体物理学。，539（2012），第133页。 [44] C.E.Rasmussen和C.K.I.Williams，《机器学习的高斯过程》，麻省理工学院出版社，马萨诸塞州剑桥，2006年·Zbl 1177.68165号 [45] L.A.Shepp和Y.Vardi，{发射层析成像的最大似然重建}，IEEE Trans。医学成像，1（1982），第113-122页。 [46] T.Soderstrom和P.Stoica，《系统识别》，新泽西州恩格尔伍德悬崖普伦蒂斯·霍尔出版社，1989年·Zbl 0695.93108号 [47] B.K.Sriperumbudur和G.R.G.Lanckriet，《关于凹-凸过程的收敛性》，高级神经信息处理。系统。，22（2009），第1391-1407页·Zbl 1254.90180号 [48] R.Tibshirani，{通过LASSO回归收缩和选择}，J.Roy。统计师。Soc.B，58（1996），第267-288页·Zbl 0850.62538号 [49] M.Tipping，{稀疏贝叶斯学习和相关向量机}，J.Mach。学习。Res.，1（2001），第211-244页·Zbl 0997.68109号 [50] D.P.Wipf、B.D.Rao和S.Nagarajan，促进稀疏性的潜在变量贝叶斯模型，IEEE Trans。通知。《理论》，57（2011），第6236-6255页·Zbl 1365.62103号 [51] R.Zanella、P.Boccacci、L.Zanni和M.Bertero，{有效的梯度投影法，用于边缘保持去除泊松噪声}，反问题，25（2009），045010·Zbl 1163.65042号 [52] R.Zanella，G.Zanghirati，R.Cavicchioli，L.Zanni，P.Boccachi，M.Bertero，and G.Vicidomini，《面向实时图像反褶积：共焦和STED显微镜的应用》，科学。代表，3（2013），2523。 [53] Y.Zhu，{过程控制的多变量系统辨识}，爱思唯尔科学，纽约，2001。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。