马浩;丁，冯;王燕 多创新牛顿递推方法求解支持向量机回归问题。 （英语） Zbl 1527.93043号 国际J鲁棒非线性控制 31，第15号，7239-7260（2021）. 摘要：支持向量机由于实现简单，在二进制分类应用中得到了广泛的应用。在参数辨识领域，提出了一种基于支持向量机的在线辨识方法。通过将约束项替换为原始准则函数，形成关于权重向量和偏差项的新准则函数，然后基于递归辨识方法，通过牛顿搜索推导出牛顿递推支持向量机算法，将新建立的准则函数最小化。此外，为了提高牛顿递推支持向量机算法的性能，应用多新息识别理论对算法进行优化，推导出了一种多新息牛顿递推支撑向量机算法。此外，本文详细分析了所提算法的收敛性和计算量。最后，给出了一个数值仿真实例，比较了牛顿递推算法和相应的多新息递推算法。结果表明，本文研究的算法和优化策略是有效的。{©2021 John Wiley&Sons有限公司} 理学硕士： 93B30型 系统标识 68T05型 人工智能中的学习和自适应系统 关键词：多创新识别理论;牛顿搜索;递归识别;支持向量机 PDF格式BibTeX公司 XML格式引用 \textit{H.Ma}等人，国际鲁棒非线性控制31，No.15，7239--7260（2021；Zbl 1527.93043） 全文： 内政部 参考文献： [1] 弗吉尼亚州。统计学习理论。信号处理的自适应和学习系统。公共控制。1998;2:1‐740. ·Zbl 0935.62007号 [2] ChakrabartyA、DinhV、CorlessMJ、RundellAE、ŻakSH、BuzzardGT。使用低差异序列的支持向量机通知显式非线性模型预测控制。IEEE Trans Autom控制。2016年；62(1):135‐148. ·Zbl 1359.93179号 [3] 苏门答腊JAK、德布拉班特J、卢卡斯L、范德瓦利J。加权最小二乘支持向量机：鲁棒性和稀疏近似。神经计算。2002;48(1‐4):85‐105. ·Zbl 1006.68799号 [4] MountrakisG、JunghoI、CaesarO。遥感中的支持向量机：综述。ISPRS J Photogram Remote Sens.2011；66(3):247‐259. [5] 塞万提斯J，LiX，YuW，LiK。通过最小包围球聚类对大数据集进行支持向量机分类。神经计算。2008;71(4‐6):611‐619. [6] VaratharajanR、ManogaranG、PriyanMK。在云计算中，使用LDA和增强的SVM方法对心电信号进行大数据分类。多媒体工具应用程序。2018;77(8):10195‐10215. [7] DadiHS、PilutlaGKM。使用HOG特征和SVM分类器提高了人脸识别率。IOSR J Electron Commun Eng.2016；11(4):34‐44. [8] 苏门答腊，VandewalleJ。最小二乘支持向量机分类器。神经过程快报。1999;9:293‐300. [9] LinWM、TuCS、YangRF、TsaiMT。粒子群优化辅助最小二乘支持向量机用于峰值负荷预测。2016年IET Gener Transm发行；10（5）：1145-1153。 [10] SusantoYTT PrayogoD公司。使用新型自校正最小二乘支持向量机优化粘性土中打入桩摩擦承载力的预测精度。2018年高级土木工程；2018:1‐9. [11] LiMH、LiuXM。利用数据滤波技术对一类双线性系统进行基于最大似然最小二乘的迭代估计。Int J Control自动系统。2020;18(6):1581‐1592. [12] 徐莉、丁芙、万莉、盛杰。系统非线性动态响应的可分离多新息随机梯度估计算法。国际J自适应控制信号处理。2020;34(7):937‐954. ·Zbl 1469.93111号 [13] WangLJ、JiY、WanLJ、BuN。一类有色噪声非线性随机系统的递阶递推广义扩展最小二乘估计算法。《2019年弗兰克尔研究所杂志》；356(16):10102‐10122. ·Zbl 1423.93371号 [14] JiY、ZhangC、KangZ、YuT。基于关键项分离的面向块的非线性系统参数估计。国际J鲁棒非线性控制。2020;30(9):3727‐3752. ·Zbl 1466.93161号 [15] 徐乐、宋国良。用于建模多频率信号的递归参数估计算法。电路系统信号处理。2020;39(8):4198‐4224. ·Zbl 1452.94026号 [16] LiMH、LiuXM。双速率随机系统的最大似然分层最小二乘迭代辨识。国际J自适应控制信号处理。2021年；35(2):240‐261. [17] LiMH、LiuXM。基于数据滤波技术的双速率采样双线性系统的迭代参数估计方法。IET控制理论应用。2021年；15(9):1230‐1245. [18] JiY、JiangXK、WanLJ。两输入Hammerstein有限脉冲响应系统的分层最小二乘参数估计算法。《弗兰克尔研究所杂志》2020；357(8):5019‐5032. ·Zbl 1437.93131号 [19] 丁杰、陈家珍、林家X、万丽。输出误差型模型结构系统的基于粒子滤波的参数估计。《2019年弗兰克尔研究所杂志》；356（10）：5521-5540·Zbl 1415.93249号 [20] GanM、ChenCLP、ChenGY、ChenL。关于可分离非线性平方问题的一些分离算法。IEEE Trans Cybern公司。2018;48(10):2866‐2874. [21] Gan M、ChenGY、ChenL、ChenCLP。一类可分离非线性模型的项选择。IEEE Trans Neural Netw学习系统。2020;31(2):445‐451. [22] JiY、KangZ。一类非线性系统的三阶段遗忘因子随机梯度参数估计方法。国际J鲁棒非线性控制。2021年；31(3):871‐987. ·Zbl 1525.93438号 [23] FanYM、LiuXM。具有可变增益非线性的输入非线性受控自回归系统的两阶段辅助模型梯度迭代算法。国际J鲁棒非线性控制。2020;30(14):5492‐5509. ·Zbl 1465.93041号 [24] LiuXM，FanYM。变增益非线性输入非线性控制自回归滑动平均系统的最大似然扩展梯度估计算法。国际J鲁棒非线性控制。2021年；31https://doi.org/10.1002/rnc.5450 ·Zbl 1526.93264号 ·doi:10.1002/rnc.5450 [25] Martinez‐RamonM、Rojo‐AlvarezJL、Muñoz‐MaríJ、Soria‐OlivasE、Figueiras‐VidalAR。非线性核ARMA系统辨识的支持向量机方法。IEEE跨神经网络。2006;17(6):1617‐1622. [26] Rojo‐AlvarezJL、Martinez‐RamonM、Artés‐RodríguezA、Figueiras‐VidalAR。鲁棒ARMA系统辨识的支持向量方法。IEEE传输信号处理。2004;52（1）：155‐164·Zbl 1369.94270号 [27] Castro‐GarciaR、TielsK、SchoukensJ、SuykensJA。将最佳线性逼近纳入基于LS‐SVM的Hammerstein系统辨识。论文发表于：第54届IEEE决策与控制会议（CDC）会议记录。日本大阪；2015:7392‐7397. [28] Castro‐GarciaR、AgudeloA、SuykensJAK。MIMO-Hammerstein系统辨识的脉冲响应约束LS-SVM模型。国际J控制。2019;92(4):908‐925. ·Zbl 1416.93052号 [29] LiX，LiB，LiRQ.LS‐SVM多变量非线性离散系统的广义逆解耦控制方法。IEEJ Trans-Elector Electron Eng.2019；14(7):1054‐1060. [30] 丁芙、徐乐、朱Q。时变系统广义投影识别的性能分析。IET控制理论应用。2016年；10(18):2506‐2514. [31] 徐乐。基于动态响应测量数据的参数估计算法。高级机械工程2017；9(11):1687814017730003. [32] 丁杰、陈杰、林杰、蒋。具有量化输出的受控自回归系统的基于粒子滤波的递归辨识。IET控制理论应用。2019;13(14):2181‐2187. [33] 古伊、朱克、努里克。一类时滞非线性状态空间模型的基于偏差补偿的参数和状态估计。IET控制理论应用。2020;14(15):2176‐2185. [34] 丁福。系统识别——新理论和方法。中国北京：科学出版社；2013 [35] 丁福。系统识别——辅助模型识别思想和方法。中国北京：科学出版社；2017 [36] 王LJ、JiY、YangHL、XuL。基于输入输出表示的特殊双线性系统的基于分解的多创新梯度识别算法。国际J鲁棒非线性控制。2020;30(9):3607‐3623. ·Zbl 1466.93172号 [37] XuL、XiongWL、AlsadeiA、HayatT。基于动态窗数据的频率响应分层参数估计。国际J控制自动化系统。2018;16（4）：1756‐1764。 [38] 丁芙、王旭、毛利、徐利。基于卡尔曼滤波的时滞线性系统的联合状态和多新息参数估计及其收敛性。数字信号处理。2017;62:211‐223. [39] LiMH、LiuXM。针对一类带有自回归滑动平均噪声的特殊非线性系统，利用分层辨识原理，提出了基于滤波的最大似然迭代估计算法。国际J自适应控制信号处理。2019;33(7):1189‐1211. ·Zbl 1425.93284号 [40] GuYa、ZhuQ、LiC、ZhuP、NouriH。二输入二输出时滞系统的状态滤波和参数估计。IET控制理论应用。2021年；15http://dx.doi.org/10.1049/cth2.12161 ·doi:10.1049/cth2.12161 [41] GuY、LiuJ、LiX、ChouY、JiY。基于期望最大化的多速率时滞过程的状态空间模型辨识。富兰克林学院学报。2019;356(3):1623‐1639. ·Zbl 1406.93085号 [42] NiJY、ZhangYL。基于多频正弦信号激励下频率响应和谐波平衡的时滞线性系统参数估计算法。信号处理。2021年；181:107904. [43] GuY、ChouY、LiuJ、JiY。具有时变时滞的多速率系统的移动时域估计。富兰克林学院学报。2019;356（4）：2325‐2345·Zbl 1409.93064号 [44] PanJ，MaH，ZhangX，等。有色噪声多变量类输出误差系统的递归耦合投影算法。IET信号处理。2020;14(7):455‐466. [45] 马海，潘杰。多变量类输出误差自回归滑动平均系统基于部分耦合最小二乘的迭代参数估计。IET控制理论应用。2019;13(18):3040‐3051. [46] MaH，ZhangX，LiuQY，et al.带自回归滑动平均噪声的类输出误差多变量系统的部分耦合梯度迭代算法。IET控制理论应用。2020;14(17):2613‐2627. [47] Zhang L，TangSY，LL级。求解周期Sylvester双矩阵方程的有限迭代算法。《弗兰克尔研究所杂志》2020；357(15):10757‐10772. ·Zbl 1450.93010号 [48] 张磊、徐CB、高毅、韩毅、杜克杰、天志。基于双向LSTM的改进Dota2阵容推荐模型。清华科技。2020升；25(6):712‐720. [49] 詹XS、胡锦伟、吴江、杨海川。分析MIMO网络控制系统在编码和丢包约束下的最佳性能。IET控制理论应用。2020;14(13):1762‐1768. [50] HaoLL、ZhanXS、WuJ、YanHC。状态反馈控制下异质多智能体系统的二部有限时间和固定时间输出一致性。IEEE Trans Circuits Syst II实验简介。2021年；68(6):2067‐2071. [51] 丁芙、刘毅、鲍勃。多输入多输出系统的基于梯度和基于最小二乘的迭代估计算法。工艺仪表机械工程第一部分：系统控制工程杂志2012；226(1):43‐55. [52] 王LJ、郭杰、徐C、WuT、LinH。基于双主动桥的超级电容储能系统混合模型预测控制策略。能源。2019;12(11):2134. [53] 丁芙、刘刚、刘XP。稀少测量的参数估计。自动化。2011年；47(8):1646‐1655. ·Zbl 1232.62043号 [54] LiMH、LiuXM。利用数据滤波技术，提出了一种基于最小二乘法的双线性系统参数估计迭代算法。信号处理。2018;147:23‐34之间。 [55] 张X、丁芙、徐莉、杨娥。基于delta算子的高计算效率状态滤波器。国际J自适应控制信号处理。2019;33(6):875‐889. ·Zbl 1425.93290号 [56] 张X、丁芙、杨娥。通过最小化状态估计误差的协方差矩阵对双线性系统进行状态估计。国际J自适应控制信号处理。2019;33(7):1157‐1173. ·Zbl 1425.93278号 [57] 王旭、朱芙、丁芙。带采样噪声的双速率输出误差系统的基于偏差校正的递归估计。电路系统信号处理。2020;39(9):4297‐4319. ·Zbl 1485.93576号 [58] XuL、ChenL、XiongWL。基于牛顿迭代的阶跃响应动态系统参数估计和控制器设计。非线性动力学。2015;79(3):2155‐2163. [59] 徐乐。基于正弦信号测量的动力系统阻尼迭代参数辨识方法。信号处理。2016年；120:660‐667. [60] DingF、WangFF、XuL、HayatT、AlsadeiA。使用辅助模型和分解技术对伪线性系统进行参数估计。IET控制理论应用。2017;11(3):390‐400. [61] DingF、WangF、XuL、HayatT、AlsadeiA。利用滤波技术对带有ARMA噪声的伪线性系统进行迭代参数辨识。IET控制理论应用。2018;12(7):892‐899. [62] 张X，丁凤。具有未知状态的一般动力系统的自适应参数估计。国际J鲁棒非线性控制。2020;30（4）:1351-1372·Zbl 1465.93115号 [63] 熊伟、周莉、岳莉、李莉、王斯。用于降级历史文档图像的增强二值化框架。EURASIP图像和视频处理杂志。2021年；2021（1）。http://dx.doi.org/10.1186/s13640‐021‐00556‐4 ·doi:10.1186/s13640‐021‐00556‐4 [64] 潘杰、蒋X、万世凯、丁伟。多变量控制系统的基于滤波的多新息扩展随机梯度算法。国际J控制自动化系统。2017;15（3）：1189‐1197。 [65] 潘杰、刘伟、张惠普。基于改进双指数趋近律滑模控制的磁悬浮系统控制算法。国际J控制自动化系统。2018;16(6):2878‐2887. [66] 丁芙、陈华、徐乐等。基于关键项分离的Hammerstein非线性系统分层最小二乘辨识算法。J Frankl Inst.2018；355(8):3737‐3752. ·Zbl 1390.93818号 [67] ZhangX、LiuQY、AlsadeiA、HayatT。通过冗余规则递归辨识双线性时滞系统。《弗兰克尔研究所杂志》2020；357(1):726‐747. ·Zbl 1429.93401号 [68] WuMH，YueHH，WangJ，等。基于RGC掩码R‐CNN的目标检测。IET图像处理。2020;14(8):1502‐1508. [69] ZhouYM，MeiSJ，FengJJ，等。PEDOT:PSS:GO复合空穴传输层对钙钛矿发光二极管发光的影响。RSC Adv.2020；10(44):26381‐26387. [70] JiF、LiaoL、WuTZ、ChangC、WangMN。在没有DC‐DC转换器的整个循环期间，具有稳定电压的自重构电池。J储能。2020;28:101213. [71] WanXK、JinZY、WuHB、LiuJ、ZhuB、XieH。基于一维卷积神经网络的心跳分类算法。机械医学生物学杂志。2020;20(7):2050046. [72] 张毅、闫姿、周CC、吴振中、王毅。基于ABC算法的微电网HESS容量分配。国际低碳技术杂志。2020;15（4）：496‐505。 [73] 赵梓、王旭、姚平、白玉特。一种多旋翼在风湍流作用下的健康性能评估方法。非线性动力学。2020;102(3):1701‐1715. [74] 张XM、赵ZY、王ZY、王XY。基于机体振动信号的四旋翼机故障检测与识别方法。传感器。2021年；21(2):581. [75] LinJ、LiY、YangGC。FPGAN：社交机器人的生成性对抗网络人脸识别方法。神经网络。2020;133:132‐147. [76] LvLL、陈建军、张泽、王B、张乐。一类周期耦合矩阵方程的数值解。弗兰克尔研究所杂志，2021年；358(3):2039‐2059. ·Zbl 1455.65064号 [77] 耿福中，吴晓霞。再现基于核函数的Filon和Levin方法，用于求解高振荡积分。应用数学计算。2021年；397:125980. ·Zbl 1508.42013号 [78] 耿自由区。线性平稳奇摄动问题的分段再生核对称配置方法。AIMS数学。2020;5(6):6020‐6029. ·Zbl 1484.65159号 [79] TianSS、ZhangXX、XiaoS、Zhang J、ChenQ、LiY。C6F12O/CO2混合物在10kV中压开关柜中的应用。IET科技。2019;13(9):1225‐1230. [80] CaoY、WenJK、MaLC。虚拟车钩列车控制系统的跟踪和避碰。Alex Eng J.2021；60(2):2115‐2125. [81] CaoY、WenJK、MaLC。虚拟车钩列车控制系统的跟踪和避碰。未来通用计算系统。2021年；120:76‐90. [82] SuS、WangXK、CaoY、YinJT。一种将地铁时间表和环保驾驶相结合的节能列车运营方法。IEEE Trans Intell Trans系统。2020;21(10):4252‐4268. [83] SuS、TangT、XunJ、CaoF、WangYH。列车节能调度运行等级设计：以北京亦庄线为例。IEEE Intell Transp Syst Mag.2021；13(2):189‐200. [84] 曹Y、王Z、刘F、李P、谢G。地铁列车仿生速度曲线优化和滑模跟踪控制。IEEE Trans-Veh技术。2019;68(7):6331‐6342. [85] CaoY、SunYK、XieG、WenT。基于IMF选择和分数小波包能量熵混合准则的列车塞式车门故障诊断。IEEE Trans-Veh技术。2019;68(8):7544‐7551. 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不声称其完整性或完全匹配。