×
宁、韩文;张嘉明;冯婷婷;朱棣文（Eric King-wah）;田天海

用于高维在线学习的基于控制的算法。 （英语） Zbl 1494.68226号

J.富兰克林研究所。 357，第3期，1909-1942（2020）.
摘要：在大数据时代，高维在线学习问题需要巨大的计算能力。本文提出了一种新的高维在线学习方法。针对在线高维回归和分类问题，分别开发了两种新算法。这些问题被表示为一些低维系统的反馈控制问题。然后通过控制问题开发新的学习算法。通过有效的极分解，我们导出了控制问题的显式解，大大降低了相应的计算复杂性，特别是对于高维大规模数据流。与传统方法相比，新算法具有更强的鲁棒性和准确性，收敛速度更快。本文证明了最优控制是开发高维学习算法的有效途径。我们还首次提出了一种基于控制的鲁棒分类算法。数值结果支持我们的理论，并说明了我们算法的效率。

MSC公司：

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分；聚类分析（统计方面）
68周27 在线算法；流式算法

关键词：

高维在线学习;反馈控制问题;最优控制

软件：

SVMTorch公司;阿达格拉德
PDF格式BibTeX公司 XML格式引用
\textit{H.Ning}等人，J.Franklin Inst.357，No.3，1909--1942（2020；Zbl 1494.68226）
全文： 内政部

参考文献：

[1] S.C.H.Hoi，D.Sahoo，J.Lu，P.Zhao，《在线学习：综合调查》，arXiv:1802.02871（2018）。
[2] 卢，J。；海，S.C.H。；Wang，J。；赵，P。；Liu，Z.-Y.，大规模在线内核学习，J.Mach。学习。决议，17，1613-1655（2016）·兹比尔1360.68690
[3] Anderson，T.，《在线学习的理论与实践》（2008），阿萨巴斯卡大学出版社
[4] 沙列夫·施瓦茨，S。；Ben-David，S.，《理解机器学习：从理论到算法》（2014），剑桥大学出版社·Zbl 1305.68005号
[5] Kivinen，J。；斯莫拉，A.J。；Williamson，R.C.，《内核在线学习》，IEEE Trans。信号处理。，52, 8, 2165-2176 (2004) ·Zbl 1369.68281号
[6] 莫赫里，M。；Rostamizadeh，A。；Talwalkar，A.，《机器学习基础》（2018），麻省理工学院出版社·兹比尔1407.68007
[7] 克拉默，K。；Dekel，O。；Keshet，J。；沙列夫·施瓦茨，S。；Singer，Y.，《在线被动攻击算法》，J.Mach。学习。研究，551-585年3月7日（2006年）·Zbl 1222.68177号
[8] 宁，H。；Qing，G。；田，T。；Jing，X.，利用基于鲁棒最优控制的核学习方法在线辨识带乘性噪声的非线性随机时空系统，IEEE Trans。神经网络。学习。系统。，99, 1-16 (2018)
[9] Jing，X.，前馈神经网络鲁棒学习的h∞控制方法，神经网络。，24, 7, 759-766 (2011) ·Zbl 1263.93070号
[10] Jing，X.，通过LMI优化实现前馈神经网络的鲁棒自适应学习，神经网络。，31, 33-45 (2012) ·兹比尔1245.93042
[11] 景，X。；Cheng，L.，训练前馈神经网络的最优PID控制算法，IEEE Trans。工业。电子。，60, 6, 2273-2283 (2013)
[12] Berk，R.A.，《回归视角下的统计学习》，第14期（2008年），施普林格出版社·Zbl 1258.62047号
[13] Bühlmann，P。；Van De Geer，S.，《高维数据统计：方法、理论和应用》（2011），施普林格科学与商业媒体·Zbl 1273.62015年
[14] 丙酮，G。；Ciuonzo，D。；Montieri，A。；佩西科，V。；Pescapé，A.，《通过深度学习对加密移动流量进行分类时，了解大数据权衡》，2019年网络流量测量与分析会议（TMA）论文集，121-128（2019），IEEE
[15] 周，P。；胡，X。；李，P。；Wu，X.，高维类平衡数据的在线特征选择，Knowl。基于系统。，136, 187-199 (2017)
[16] 刘易斯，F.L。；弗拉比，D。；Syrmos，V.L.，《最优控制》（2012），John Wiley&Sons·Zbl 1284.49001号
[17] 15 ·Zbl 0816.93004号
[18] 卡马乔，E.F。；Alba，C.B.，模型预测控制（2013），施普林格科学与商业媒体
[19] 范，J。；龚·W。；Li，C.J。；Sun，Q.，《统计稀疏在线回归：扩散近似视角》，《国际人工智能与统计会议论文集》，1017-1026（2018）
[20] W.Su，Y.Zhu，通过递阶增量梯度下降进行在线学习和随机近似的统计推断，arXiv:1802.04876（2018）。
[21] Shubin，N.，《发育和进化中的基因调控网络和网络模型》，Proc。国家。阿卡德。科学。，114, 23, 5782-5783 (2017)
[22] 佩克索托，T.P。；Rosvall，M.，《用动态社区结构模拟序列和时间网络》，《自然通讯》。，8, 1, 582 (2017)
[23] Hespanha，J.P.，《线性系统理论》（2018），普林斯顿大学出版社·Zbl 1381.93001号
[24] Golub，G.H。；Van Loan，C.F.，《矩阵计算》，3（2012），JHU出版社
[25] 卢，J。；Sahoo，D。；赵，P。；Hoi，S.C.H.，有界在线内核方法的稀疏被动主动学习，ACM Trans。智力。系统。Technol公司。（TIST），9，4，45（2018）
[26] 苏肯斯，J.A.K。；Vandewalle，J.，最小二乘支持向量机分类器，神经过程。莱特。，293-300年9月3日（1999年）
[27] Devi，S.G.公司。；Sabrigirraj，M.，《特征选择，大数据分类的在线特征选择技术：综述》，2018年国际汇聚技术趋势会议论文集，1-9（2018），IEEE
[28] 黄，G.-B。；周，H。；丁，X。；Zhang，R.，回归和多类分类极端学习机，IEEE Trans。系统。人类网络。第B部分Cybern。，42, 2, 513-529 (2012)
[29] 美国多根。；Glasmachers，T。；Igel，C.，《关于多类支持向量分类的统一观点》，J.Mach。学习。第17、45、1-32号决议（2016年）·Zbl 1360.68669号
[30] Montieri，A。；Ciuonzo，D。；Bovenzi，G。；佩西科，V。；Pescapé，A.，《深入黑暗网络：匿名工具的分层流量分类》，IEEE Trans。Netw公司。科学。工程（2019）
[31] 格里莫多，L。；梅利亚，M。；Baralis，E.，《细粒度互联网流量分类的分层学习》，《2012年第八届国际无线通信和移动计算会议论文集》，463-468（2012），IEEE
[32] 第57卷
[33] Kivinen，J。；斯莫拉，A.J。；Williamson，R.C.，《内核在线学习》，IEEE Trans。信号处理。，52, 8, 2165-2176 (2004) ·Zbl 1369.68281号
[34] Lee，Y.-J。；Huang，S.-Y.，《简化支持向量机：统计理论》，IEEE Trans。神经网络。，18, 1, 1-13 (2007)
[35] 赵永平。；Sun，J.-G。；杜，Z.-H。；Z.-A.张。；Li，Y.-B.，在线独立简化最小二乘支持向量回归，Inf.Sci。，201, 37-52 (2012) ·Zbl 1248.68427号
[36] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号
[37] 邓，L。；Yu，D.，深度学习：方法和应用，Found。趋势信号处理。，7, 3-4, 197-387 (2014) ·Zbl 1315.68208号
[38] 杜奇，J。；哈赞，E。；Singer，Y.，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。2011年7月12日第2121-2159号决议·Zbl 1280.68164号
[39] S.Ruder，梯度下降优化算法概述，arXiv:1609.04747（2016）。
[40] Söderström，T。；Stoica，P.，《系统识别》（1988），Prentice-Hall公司·兹比尔0714.93056
[41] Wooldridge，J.M.，《计量经济学导论：现代方法》（2016），纳尔逊教育
[42] Ljung，L.，《系统识别的观点》，《控制年鉴》，34，1，1-12（2010）
[43] F.Bagge Carlson，物理系统中估算的机器学习和系统识别，arXiv:1906.02003（2019）。
[44] Ljung，L.，《系统识别：用户理论》（1998），培生教育
[45] Pillonetto，G。；迪努佐，F。；Chen，T。；De Nicolao，G。；Ljung，L.，《系统识别、机器学习和功能估计中的核方法：一项调查》，Automatica，50，3，657-682（2014）·Zbl 1298.93342号
[46] 科洛伯特，R。；Bengio，S.，Svmtorch:大规模回归问题的支持向量机，J.马赫。学习。决议，143-160年2月1日（2001年）·Zbl 1052.68111号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。