贾科莫·巴乔;阿尔戈·卡雷;安娜·斯坎皮奇奥;吉安路易吉·皮洛内托 机器学习和系统识别的贝叶斯频率界。 （英语） Zbl 1504.93388号 Automatica公司 146，文章ID 110599，13 p.（2022）. 摘要：从噪声测量值中估计函数是统计学和工程中的一个关键问题，对机器学习预测和动力系统识别有影响。考虑到稳健的控制设计和安全关键应用，如自动驾驶和智能医疗，需要用量化其可靠性的不确定性边界来补充估计。大多数可用结果都是通过限制估计属于确定性函数空间而得出的；然而，返回的边界往往过于保守，因此用处有限。另一种选择是使用贝叶斯框架。然而，由此获得的区域需要完整的先验分布规范，先验分布的选择可能会显著影响包含的概率。本研究提出了一个有效计算包含未知函数的区域的框架，该区域具有精确的概率。在这种情况下，用户不仅可以自由调整告知构建区域的先验知识量，还可以在不同的平面上精细调整他们对此类信息的承诺。其结果是一个通用的认证评估框架，能够解决许多问题，从参数估计（概率保证可以在不承诺先验信息的情况下发布）到非参数问题（需要精细利用先验信息）。 MSC公司： 93E12号机组 随机控制理论中的辨识 68T05型 人工智能中的学习和自适应系统 关键词：系统标识;有限样本系统辨识;不确定性量化;基于核的非参数方法;高斯回归 软件：贝叶斯DA;吉布斯特;ElemStatLearn（电子状态学习） PDF格式BibTeX公司 XML格式引用 \textit{G.Baggio}等人，Automatica 146，文章ID 110599，13 p.（2022；Zbl 1504.93388） 全文： 内政部 参考文献： [1] Akyildiz，I.F。；苏·W。；Sankarasubramaniam，Y。；Cayirci，E.，《无线传感器网络：一项调查》，《计算机网络》，38，4，393-422（2002） [2] B.D.O.安德森。；Moore，J.B.，《最优滤波》（1979），普伦蒂斯·霍尔：普伦蒂斯霍尔·恩格尔伍德克利夫斯，新泽西州，美国·Zbl 0688.93058号 [3] Andrieu，C。；Doucet，A。；霍伦斯坦，R.，《粒子马尔可夫链蒙特卡罗方法》，英国皇家统计学会杂志。B系列统计方法，72，3，269-342（2010）·Zbl 1411.65020号 [4] Aravkin，A。；贝尔，B.M。；伯克·J·V。；Pillonetto，G.，An（\ell_1）-拉普拉斯稳健卡尔曼平滑器，IEEE自动控制汇刊，56，12，2898-2911（2011）·Zbl 1368.93755号 [5] Aronszajn，N.，《再生核理论》，《美国数学学会学报》，68337-404（1950）·Zbl 0037.20701号 [6] 巴亚里，M.J。；Berger，J.O.，《贝叶斯分析和频率分析的相互作用》，《统计科学》，19，1，58-80（2004）·Zbl 1062.62001号 [7] 布兰查德，G。；Mücke，N.，统计逆学习问题正则化的最佳速率，计算数学基础，18，971-1013（2018）·Zbl 1412.62042号 [8] Boczar，R.、Matni，N.和Recht，B.（2018年）。有限数据性能保证了未知系统的输出反馈控制。2018年IEEE决策与控制会议（第2994-2999页）。 [9] 坎皮，M.C。；Weyer，E.，系统识别中的保证非渐近置信区域，Automatica，41，10，1751-1764（2005）·Zbl 1090.93047号 [10] Carè，A。；坎皮，M.C。；塞吉，公元前。；Weyer，E.，《符号扰动和系统识别中面临建模不足》，《系统与控制快报》，153，第104936条，第（2021）页·Zbl 1475.93033号 [11] Carè，A。；塞吉，公元前。；坎皮，M.C。；Weyer，E.，《有限样本系统识别：概述和新的关联方法》，IEEE Control Systems Letters，2，1，61-66（2018） [12] Carè，A.、Pillonetto，G.和Campi，M.C.（2018年）。基于核回归的不确定性界：贝叶斯SPS方法。2018年IEEE第28届信号处理机器学习国际研讨会（第1-6页）。 [13] 塞吉，公元前。，正则化线性回归估计的非渐近置信区，（Faragó，István；Izsák，Ferenc；Simon，Péter L.，ECMI工业数学进展2018（2019），施普林格国际出版：施普林格国际出版商会），605-611·Zbl 1469.62298号 [14] 塞吉，公元前。；坎皮，M.C。；Weyer，E.，符号扰动和：一种在线性回归模型中构造精确非渐近置信区的新系统识别方法，IEEE信号处理汇刊，63，1169-181（2015）·Zbl 1394.94141号 [15] 塞吉，公元前。；Kis，K.B.，通过梯度扰动对核方法进行无分布不确定性量化，机器学习，108，8，1677-1699（2019）·Zbl 1494.62012年 [16] 院长，S。；马尼亚，H。；Matni，N。；Recht，B。；Tu，S.，关于线性二次调节器的样本复杂性，计算数学基础，20，4，633-679（2020）·Zbl 1447.49052号 [17] Deisenroth，M.P。；福克斯，D。；Rasmussen，C.E.，机器人和控制中数据高效学习的高斯过程，IEEE模式分析和机器智能汇刊，37，2，408-423（2015） [18] Dezert，J。；Musso，C.，生成均匀分布在超椭球体中的点的有效方法，（估算、跟踪和融合研讨会论文集（2011年），蒙特利海军研究生院） [19] Drucker，H。；Burges，C.J.C。；考夫曼，L。；Smola，A。；Vapnik，V.，支持向量回归机，（神经信息处理系统进展，第9卷（1997）），155-161 [20] Evgeniou，T。；庞蒂尔，M。；Poggio，T.，正则化网络和支持向量机，计算数学进展，13，1-50（2000）·Zbl 0939.68098号 [21] 范，J。；Li，R.，《基于非一致惩罚似然的变量选择及其预言性质》，美国统计协会杂志，961348-1360（2001）·Zbl 1073.62547号 [22] Frigola，R.、Lindsten，F.、Schön，T.B.和Rasmussen，C.E.（2013）。基于粒子MCMC的高斯过程状态空间模型中的贝叶斯推理和学习。神经信息处理系统进展。 [23] Gelman，A。；Carlin，J.B。；斯特恩，H.S。；鲁宾，D.B.，贝叶斯数据分析（2004），查普曼和霍尔/CRC·Zbl 1039.62018号 [24] Girard，A.、Rasmussen，C.E.、Quiñonero-Candela，J.和Murray-Smith，R.（2003）。具有不确定输入的贝叶斯回归和高斯过程先验-应用于多步提前时间预测。神经信息处理系统会议论文集。 [25] Girosi，F.，《稀疏近似和支持向量机之间的等价性》，《技术报告》（1997），麻省理工学院：马萨诸塞理工学院，美国马萨诸塞州剑桥 [26] 吉罗西，F。；琼斯，M。；Poggio，T.，正则化理论和神经网络架构，神经计算，7，2，219-269（1995） [27] Goldberg，P。；威廉姆斯，C。；Bishop，C.，《输入相关噪声回归：高斯过程处理》（神经信息处理系统进展，第10卷（1998年）） [28] Goldenshluger，A.，传递函数的非参数估计：收敛和适应速度，IEEE信息理论汇刊，44,2644-658（1998）·Zbl 0902.62043号 [29] Golub，G.等人。；希思，M。；Wahba，G.，《广义交叉验证作为选择良好岭参数的方法》，《技术计量学》，21，2，215-223（1979）·Zbl 0461.62059号 [30] Guo，Z.C。；周德兴，无界抽样学习的浓度估计，计算数学进展，38，1207-223（2013）·Zbl 1283.68289号 [31] 哈斯蒂，T.J。；蒂布希拉尼，R.J。；弗里德曼，J.，《统计学学习的要素》。数据挖掘、推理和预测（2001），Springer:Springer Canada·Zbl 0973.62007号 [32] Heinonen，M.、Mannerstram，H.、Rousu，J.、Kaski，S.和Lahdesmaki，H.（2016）。哈密顿蒙特卡罗非平稳高斯过程回归。A.Gretton和C.Robert（编辑），《机器学习研究论文集》：第51卷，第19届人工智能和统计国际会议论文集（第732-740页）。西班牙加的斯。 [33] Hewer，G.A。；马丁·R·D。；Zeh，J.，闪烁噪声卡尔曼滤波的稳健预处理，IEEE航空航天和电子系统汇刊，AES-23,1120-128（1987） [34] Huber，P.J.，《稳健统计》（1981），《约翰·威利父子：约翰·威利和儿子》，美国纽约州纽约市·Zbl 0536.62025号 [35] Johndrow，J。；奥伦斯坦，P。；Bhattacharya，A.，马蹄形先验的可缩放近似MCMC算法，机器学习研究杂志，21，73，1-61（2020）·兹比尔1499.62244 [36] Kass，R.E。；Raftery，A.E.，贝叶斯因子，《美国统计协会杂志》，90，773-795（1995）·Zbl 0846.62028号 [37] Kersting，K.、Plagemann，C.、Pfaff，P.和Burgard，W.（2007年）。最可能的异方差高斯过程回归。第24届机器学习国际会议论文集。 [38] Kimeldorf，G。；Wahba，G.，《随机过程的贝叶斯估计与样条函数平滑之间的对应关系》，《数理统计年鉴》，41，2，495-502（1970）·Zbl 0193.45201号 [39] Lazaro-Gredilla，M.和Titsias，M.（2011年）。变分异方差高斯过程回归。第28届机器学习国际会议论文集（第841-848页）。 [40] Le，Q.V.、Smola，A.和Canu，S.（2005）。异方差高斯过程回归。第22届机器学习国际会议论文集（第489-496页）。 [41] Magni，P。；贝拉齐，R。；De Nicolao，G.，使用MCMC方法的贝叶斯函数学习，IEEE模式分析和机器智能汇刊，20，12，1319-1331（1998） [42] 米切利，C.A。；Xu，Y。；Zhang，H.，Universal kernels，机器学习研究杂志，7，2651-2667（2006）·Zbl 1222.68266号 [43] 帕克，T。；Casella，G.，《贝叶斯拉索》，《美国统计协会杂志》，103，482，681-686（2008）·Zbl 1330.62292号 [44] Pillonetto，G。；Carè，A。；Campi，M.C.，基于内核的SPS，IFAC-PapersOnLine，51，15，31-36（2018），第18届IFAC系统识别研讨会（SYSID） [45] Pillonetto，G。；De Nicolao，G.，《基于内核的线性系统识别新方法》，Automatica，46，1，81-93（2010）·Zbl 1214.93116号 [46] Pillonetto，G。；迪努佐，F。；Chen，T。；De Nicolao，G。；Ljung，L.，《系统识别、机器学习和功能估计中的核方法：一项调查》，Automatica，50，3，657-682（2014）·Zbl 1298.93342号 [47] Poggio，T。；Girosi，F.，近似和学习网络，IEEE学报，781481-1497（1990） [48] 新几内亚波尔森。；斯科特·J·G。；Windle，J.，《贝叶斯桥》，英国皇家统计学会期刊。B系列：统计方法，76,4713-733（2014）·Zbl 07555460号 [49] Prando，G.、Romeres，D.、Pilloneto，G.和Chiuso，A.（2016）。线性系统辨识的经典方法与贝叶斯方法：点估计和置信集。2016年欧洲控制会议（第1365-1370页）。 [50] Raftery，A。；Lewis，S.，《实施MCMC》（W.Gilks，S.Richardson；Spieghalter，D.，《马尔可夫链蒙特卡罗实践》（1996），查普曼和霍尔：查普曼与霍尔伦敦）·Zbl 0844.62101号 [51] 拉斯穆森，C.E。；Williams，C.K.I.，机器学习的高斯过程（2006），麻省理工学院出版社·Zbl 1177.68165号 [52] Schölkopf，B。；Smola，A.J.，（《使用内核学习：支持向量机、正则化、优化和超越》。使用内核学习，支持向量机，正则化、最优化和超越，自适应计算和机器学习（2001），麻省理工学院出版社） [53] 斯梅尔，S。；周德兴，《通过积分算子及其逼近进行学习理论估计》，《构造逼近》，第26期，第153-172页（2007年）·Zbl 1127.68088号 [54] 苏肯斯，J.A.K。；Van Gestel，T。；德布拉班特，J。；De Moor，B。；Vandewalle，J.，最小二乘支持向量机（2002），世界科学：世界科学新加坡·Zbl 1017.93004号 [55] Tibshirani，R.，《通过LASSO进行回归收缩和选择》，《皇家统计学会杂志》。B.系列统计方法，58，267-288（1996）·Zbl 0850.62538号 [56] 图，S。；Boczar，R。；帕卡德，A。；Recht，B.，《粗粒度识别稳健控制的非症状分析》（2017），arXiv:1707.04791 [57] Vapnik，V.，《统计学习理论》（1998），威利出版社：美国纽约州威利·Zbl 0935.62007号 [58] Volpe，V.，《具有有限多个数据点的动力学系统的识别》（2015），布雷西亚大学（理科硕士论文） [59] Volpe，V.，Cáji，B.C。，Carè，A.、Weyer，E.和Campi，M.C.（2015）。带仪器变量的符号扰动和、SPS，用于识别ARX系统。2015年第54届IEEE决策与控制会议（第2115-2120页）。 [60] Wahba，G.，观测数据的样条模型（1990），SIAM:SIAM Philadelphia·Zbl 0813.62001号 [61] 王，C。；Zhou，D.X.，具有无限采样的最小二乘正则化回归的最优学习率，复杂性杂志，27，1，55-67（2011）·Zbl 1217.65024号 [62] Weyer，E。；坎皮，M。；Csaji，B.C.，SPS置信区的渐近性质，Automatica，82，287-294（2017）·Zbl 1372.93208号 [63] 吴琼。；Ying，Y。；周德兴，最小平方正则回归的学习率，计算数学基础，6171-192（2006）·Zbl 1100.68100号 [64] 袁，M。；Tony Cai，T.，《函数线性回归的再生核Hilbert空间方法》，《统计年鉴》，383412-3444（2010）·兹比尔1204.62074 [65] Zhang，F.，矩阵理论：基本结果和技术（2011），Springer·Zbl 1229.15002号 [66] 赵，P。；Yu，B.，论LASSO的模型选择一致性，机器学习研究杂志，7，2541-2563（2006）·Zbl 1222.62008年 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。