Hoai An Le Thi;何永成 基于在线DCA的在线学习及其在在线分类中的应用。 （英语） Zbl 1468.68157号 神经计算机。 32，第4号，759-793（2020）. 摘要：我们研究了一种基于DC（凸函数差分）编程和DCA（DC算法）的在线学习技术。在线学习者的预测问题可以表述为应用在线DCA的DC程序。我们提出了两种所谓的在线DCA方案的完全/近似版本，并证明了它们的对数/次线性遗憾。开发了六种基于DCA的在线二值线性分类算法。在各种基准分类数据集上的数值实验表明，与最新的在线分类算法相比，我们提出的算法具有较高的效率。 引用于5文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H30型 分类和区分；聚类分析（统计方面） 68周27 在线算法；流式算法 软件：伦敦银行同业拆借利率 PDF格式BibTeX公司 XML格式引用 \textit{H.A.Le Thi}和\textit{V.T.Ho}，神经计算。32，第4号，759--793（2020；Zbl 1468.68157） 全文： 内政部 参考文献： [1] Azoury，K.和Warmuth，M.（2001年）。指数分布族在线密度估计的相对损失界。机器学习，43（3），211-246·Zbl 0988.68173号 [2] Cesa Bianchi，N.和Lugosi，G.（2006年）。预测、学习和游戏。剑桥：剑桥大学出版社·Zbl 1114.91001号 [3] Chung，T.H.（1994）。使用专家建议进行顺序决策的近似方法。《第七届计算学习理论年会论文集》（第183-189页）。纽约：ACM， [4] Collobert，R.、Sinz，F.、Weston，J.和Bottou，L.（2006年a）。大规模传导性SVM。机器学习研究杂志，71687-1712·Zbl 1222.68173号 [5] Collobert，R.、Sinz，F.、Weston，J.和Bottou，L.（2006b）。交易凸性以实现可扩展性。第23届机器学习国际会议论文集（第201-208页）。纽约：ACM， [6] Crammer，K.、Dekel，O.、Keshet，J.、Shalev-Shwartz，S.和Singer，Y.（2006年）。在线被动攻击算法。机器学习研究杂志，7551-585·Zbl 1222.68177号 [7] Ertekin，S.、Bottou，L.和Giles，C.L.（2011年）。非凸在线支持向量机。IEEE模式分析和机器智能汇刊，33（2），368-381， [8] Gao，X.、Li，X.和Zhang，S.（2018）。在线学习具有非凸损失和非静态遗憾。A.Storkey&F.Perez-Cruz（编辑），《第二十届国际人工智能会议论文集和机器学习研究论文集统计》，第84卷（第235-243页）。 [9] Gasso，G.、Pappaioannou，A.、Spivak，M.和Bottou，L.（2011年）。非凸Neyman-Pearson分类的批学习和在线学习算法。ACM智能系统与技术汇刊，2（3），1-19， [10] Gentile，C.（2002年）。一种新的近似最大边缘分类算法。机器学习研究杂志，2，213-242·Zbl 1037.68124号 [11] Gentile，C.（2003年）。p范数算法的鲁棒性。机器学习，53（3），265-299·Zbl 1089.68093号 [12] Hazan，E.（2016）。在线凸优化简介。优化基础与趋势，2（3-4），157-325， [13] Hazan，E.、Agarwal，A.和Kale，S.（2007年）。在线凸优化的对数后悔算法。机器学习，69（2-3），169-192·Zbl 1143.90371号 [14] Hazan，E.和Kale，S.（2012年）。在线子模块最小化。机器学习研究杂志，13（1），2903-2922·Zbl 1433.68347号 [15] Ho，V.T.，Le Thi，H.A.，&Bui，D.C.（2016）。用于在线二进制线性分类的在线DC优化。T.N.Nguyen、B.Trawinn ski、H.Fujita和T.P.Hong（编辑），《2016年ACIIDS会议录》（第661-670页）。柏林：斯普林格。 [16] Hoi，S.C.H.、Wang，J.和Zhao，P.（2014）。LIBOL：在线学习算法库。机器学习研究杂志，15（1），495-499·Zbl 1317.68164号 [17] Kalai，A.和Vempala，S.（2005年）。在线决策问题的高效算法。计算机与系统科学杂志，71（3），291-307·Zbl 1094.68112号 [18] Kivinen，J.和Warmuth，M.K.（1997）。线性预测因子的指数梯度与梯度下降。信息与计算，132（1），1-63·Zbl 0872.68158号 [19] Kivinen，J.和Warmuth，M.（2001年）。多维回归问题的相对损失界。机器学习，45（3），301-329·Zbl 0998.68097号 [20] Krichene，W.、Balandat，M.、Tomlin，C.和Bayen，A.（2015）。连续统上的对冲算法。F.Bach和D.Bley（编辑），《第32届机器学习国际会议论文集》，第37卷（第824-832页）。PMLR公司。 [21] Le Thi，H.A.（2005）。DC编程和DCA·Zbl 1116.90122号 [22] Le Thi，H.A.、Ho，V.T.和Pham Dinh，T.（2019年）。用于大规模批量强化学习的统一DC编程框架和基于DCA的高效方法。全球优化杂志，73（2），279-310·Zbl 1434.90159号 [23] Le Thi，H.A.、Le，H.M.、Phan，D.N.和Tran，B.（2017年）。随机DCA用于大数非凸函数问题及其在分类中群体变量选择中的应用。第34届国际机器学习会议记录，第70卷（第3394-3403页）。 [24] Le Thi，H.A.和Nguyen，M.C.（2017年）。基于DCA的多类支持向量机特征选择算法。运筹学年鉴，249（1），273-300·Zbl 1404.68111号 [25] Le Thi，H.A.和Pham Dinh，T.（2005）。用实际非凸优化问题的DC模型重新审视了DC（凸函数差分）规划和DCA。《运筹学年鉴》，133（1-4），23-48·Zbl 1116.90122号 [26] Le Thi，H.A.和Pham Dinh，T.（2018年）。DC编程和DCA：三十年的发展。数学规划，特刊：DC规划理论、算法和应用，169（1），5-68·Zbl 1387.90197号 [27] Le Thi，H.A.和Phan，D.N.（2017年）。稀疏Fisher线性判别分析的DC编程和DCA。神经计算与应用，28（9），2809-2822， [28] Li，Y.，&Long，P.（2002）。放松的在线最大余量算法。机器学习，46（1-3），361-387·Zbl 0998.68110号 [29] Maillard，O.-A.和Munos，R.（2010年）。对抗性利普希茨环境中的在线学习。2010年欧洲数据库机器学习和知识发现会议记录：第二部分（第305-320页）。柏林：Springer-Verlag。 [30] Mason，L.、Baxter，J.、Bartlett，P.和Frean，M.（1999）。作为梯度下降的推进算法。《第十二届神经信息处理系统国际会议论文集》（第512-518页）。马萨诸塞州剑桥：麻省理工学院出版社。 [31] Novikoff，A.B.（1963年）。关于感知器的收敛性证明。《自动化数学理论研讨会论文集》，第12卷（第615-622页）。纽约布鲁克林：理工大学出版社·Zbl 0116.34103号 [32] Pham Dinh，T.和Le Thi，H.A.（1997年）。DC编程的凸分析方法：理论、算法和应用。越南数学学报，22（1），289-355·兹伯利0895.90152 [33] Pham Dinh，T.和Le Thi，H.A.（1998年）。求解信赖域子问题的DC优化算法。SIAM优化杂志，8（2），476-505·Zbl 0913.65054号 [34] Pham Dinh，T.和Le Thi，H.A.（2014年）。DC编程和DCA的最新进展。N.T.Nguyen和H.A.Le Thi（编辑），《计算智能学报》第十三卷，第8342卷（第1-37页）。柏林：施普林格·Zbl 1283.68038号 [35] Phan，D.N.、Le，H.M.和Le Thi，H.A.（2018年）。凸函数加速差分算法及其在稀疏二元逻辑回归中的应用。第二十七届国际人工智能联合会议记录（第1369-1375页）。门罗公园：加利福尼亚州：AAAI， [36] Phan，D.N.和Le Thi，H.A.（2019年）。通过分组变量选择ℓp、 0正则化及其在最优评分中的应用。神经网络，118，220-234·Zbl 1441.62073号 [37] Phan，D.N.、Le Thi，H.A.和Pham Dinh，T.（2017年）。基于DCA算法的稀疏协方差矩阵估计。神经计算，29（11），3040-3077·Zbl 1418.62276号 [38] Rosenblatt，F.（1958年）。感知器：大脑中信息存储和组织的概率模型。《心理评论》，65（6），386-408， [39] Shalev-Shwartz，S.（2007年）。在线学习：理论、算法和应用。博士学位。，耶路撒冷希伯来语大学·Zbl 1203.68168号 [40] Shalev-Shwartz，S.（2012年）。在线学习和在线凸优化。机器学习的基础和趋势，4（2），107-194·Zbl 1253.68190号 [41] Shalev-Shwartz，S.和Singer，Y.（2007年）。在线学习算法的原始-双重视角。机器学习，69（2-3），115-142·Zbl 1470.68172号 [42] Shor，N.Z.（1985年）。不可微函数的最小化方法。柏林：Springer-Verlag·Zbl 0561.90058号 [43] M·瓦拉迪尔（1969年）。Sous-différentiels沙丘承载的支持和沙丘somme继续发挥作用。CR学院。科学。巴黎。AB，268，A39-A42·Zbl 0164.43302号 [44] Van Der Malsburg，C.（1986年）。弗兰克·罗森布拉特：《神经动力学原理：感知器和大脑机制理论》。G.Palm和A.Aertsen（编辑），《大脑理论》（第245-248页）。柏林：斯普林格， [45] Yang，L.、Deng，L.、Hajiesmili，M.H.、Tan，C.和Wong，W.S.（2018）。在线非凸学习的优化算法。程序。ACM测量。分析。计算。系统。，2(2), 25:1-25:25. , [46] Zhang，L.，Yang，T.，Jin，R.，&Zhou，Z.-H.（2015）。在线盗贼学习为一类特殊的非凸损失。《第二十届AAAI人工智能会议论文集》（第3158-3164页）。加利福尼亚州门洛帕克：AAAI出版社。 [47] Zinkevich，M.（2003年）。在线凸规划与广义无穷小梯度提升。《第20届机器学习国际会议论文集》（第928-936页）。加利福尼亚州门罗公园：AAAI出版社。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。