×

未知动态环境中基于随机特征的在线多核学习。 (英语) Zbl 1483.68319号

摘要:基于核的方法在各种非线性学习任务中表现出良好的性能。其中大多数依赖于预先选择的内核,其谨慎的选择假定了特定于任务的先验信息。特别是当后者不可用时,多核学习因其从指定的内核字典中选择内核的灵活性而受到欢迎。利用随机特征近似及其最近的正交性促进变体,本贡献开发了一种可扩展的多核学习方案(称为Raker),以“动态”获得所寻求的非线性学习函数,首先用于静态环境。为了进一步提高动态环境中的性能,开发了一种自适应多核学习方案(称为AdaRaker)。AdaRaker不仅解释了核组合的数据驱动学习,还解释了未知动力学。从静态和动态遗憾的角度分析性能。AdaRaker具有独特的非线性跟踪能力学习在具有未知动力学和分析性能保证的环境中,对合成数据集和实际数据集进行了测试,以展示新算法的有效性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
46 E22型 具有再生核的希尔伯特空间(=(适当的)函数希尔伯特空间,包括de Branges-Rovnyak和其他结构空间)
68周27 在线算法;流式算法
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] 大卫·安吉塔、亚历山德罗·吉奥、卢卡·奥内托、泽维尔·帕拉和豪尔赫·路易斯·雷耶斯·奥尔蒂斯。使用智能手机进行人类活动识别的公共域数据集。以欧元计价。交响乐团。人工神经网络。,公司。智力。和马赫数。学习。,比利时布鲁日,2013年4月。
[2] 大卫·巴丘、保罗·巴索奇、斯特凡诺·切萨、克劳迪奥·加里奇奥和阿莱西奥·米切利。环境辅助生活应用中水库计算的实验特征。神经计算与应用,24(6):1451-14642014年5月。
[3] 弗朗西斯·巴赫。群套索和多核学习的一致性。J.机器学习研究,9:1179-1225,2008年6月·Zbl 1225.68147号
[4] Juan Andres Bazerque和Georgios B.Giannakis。基于稀疏核学习的非参数基追踪:盲方法进步的统一观点。IEEE信号处理杂志,30(4):112-1252013年7月。
[5] Omar Besbes、Yonatan Gur和Assaf Zeevi。非静态随机优化。运筹学,63(5):1227-12442015年9月·Zbl 1338.90280号
[6] Pantelis Bouboulis、Symeon Chouvardas和Sergios Theodoridis。使用随机傅立叶特征在RKH空间中的网络上进行在线分布式学习。IEEE传输。信号。程序。,将于2018年上市·Zbl 1414.94015号
[7] Luis M.Candanedo、V´eronique Feldheim和Dominique Deramaix。低能耗房屋中电器能源使用的数据驱动预测模型。《能源与建筑》,140:81-97,2017年。
[8] 尼科洛·塞萨·比安奇和格奥尔·卢戈西。预测、学习和游戏。剑桥大学出版社,英国剑桥,2006年·Zbl 1114.91001号
[9] 科琳娜·科尔特斯(Corinna Cortes)、梅赫亚尔·莫赫里(Mehryar Mohri)和阿夫申·罗斯塔米扎德(Afshin Rostamizadeh)。”2-学习核的正则化。InProc公司。《人工智能中的不确定性》,第109-116页,加拿大蒙特利尔,2009年6月·Zbl 1283.68286号
[10] 科琳娜·科尔特斯(Corinna Cortes)、梅赫亚尔·莫赫里(Mehryar Mohri)和阿梅特·塔尔沃卡尔(Ameet Talwalkar)。核近似对学习精度的影响。InProc.公司。国际人工智能与统计大会,第113-120页,意大利撒丁岛,2010年5月。
[11] Bo Dai、Bo Xie、Niao He、Yingyu Liang、Anant Raj、Maria Florina F.Balcan和Le Song。通过双重随机梯度的可伸缩核方法。InProc.公司。神经信息学进展。过程。系统。,第3041-3049页,加拿大蒙特利尔,2014年12月。
[12] 博岱、年河、潘云鹏、拜伦·布茨和乐松。通过双重嵌入学习条件分布。InProc.公司。国际人工智能与统计会议,第1458-1467页,佛罗里达州劳德代尔堡,2017年4月。
[13] 阿米特·丹尼尔、阿隆·戈南和谢·沙列夫·施瓦茨。适应性强的在线学习。程序中。机器学习国际会议,第1405-1411页,法国里尔,2015年6月。
[14] 萨维里奥·德维托(Saverio De Vito)、埃托雷·马塞拉(Ettore Massera)、M Piga、L Martinotto和G Di Francia。城市污染监测场景中用于苯估算的电子鼻现场校准。传感器和执行器B:化学,129(2):750-7572008年2月。
[15] Ofer Dekel、Shai Shalev-Shwartz和Yoram Singer。健忘器:一种基于内核的感知机,用于预算。SIAM J.Computing,37(5):1342-13722008年1月·Zbl 1151.68579号
[16] Yi Ding,Chenghao Liu,Peilin Zhao和Steven CH Hoi。在线auc最大化的大规模内核方法。InProc.公司。IEEE国际会议,数据挖掘,第91-100页,新奥尔良,LO,2017年11月。
[17] Mehmet G¨onen和Ethem Alpayd。多个内核学习算法。机器学习研究杂志,12:2211-22682011年7月·Zbl 1280.68167号
[18] 埃拉·哈赞。在线凸优化简介。已找到。马赫数趋势。学习。,2(3-4):157-325, 2016. ·Zbl 1503.68004号
[19] Steven CH.Hoi、Rong Jin、Peilin Zhao和Tiabao Yang。在线多核分类。机器学习,90(2):289-3162013年2月·Zbl 1260.68332号
[20] Ali Jadbabaie、Alexander Rakhlin、Shahin Shahrampour和Karthik Sridharan。在线优化:与动态比较器竞争。国际标准。Conf.人工智能。和Stat.,加利福尼亚州圣地亚哥,2015年5月。
[21] 荣进、史蒂文·霍伊和杨天宝。在线多核学习:算法和错误界限。InProc.公司。《算法学习理论国际会议》,第390-404页,澳大利亚堪培拉,2010年10月·Zbl 1306.68131号
[22] 弗朗·科伊斯·卡瓦拉(Franöcois Kawala)、阿赫拉姆·杜扎尔·库亚克里亚(Ahrame Douzal-Chouakria)、埃里克·高斯(Eric Gaussier)和尤斯塔西·迪默特(Eustache Dimert)。《行动纲领》(Pr’dictions d’activit’e dans les r’eseaux sociaux en ligne)。In4i'eme Conference sur les Mod'eles et l’Analysis des R’eseaux:Approches Math’ematiques et Informatiques,2013年。
[23] Jyrki Kivinen、Alexander J.Smola和Robert C.Williamson。使用内核进行在线学习。IEEE传输。信号。程序。,52(8):2165-21762004年8月·Zbl 1369.68281号
[24] Gert R.G.Lanckriet、Nello Cristianini、Peter Bartlett、Laurent El Ghaoui和Michael I.Jordan。用半定规划学习核矩阵。J.机器学习研究,5:27-722004年1月·Zbl 1222.68241号
[25] 莫西·利奇曼(Moshe Lichman)。UCI机器学习库,2013年。统一资源定位地址http://archive.ics.uci。教育/毫升。
[26] Jason Lines、Anthony Bagnall、Patrick Caiger Smith和Simon Anderson。按用电情况对家用设备进行分类。国际标准。智能数据工程和自动学习会议,第403-412页,英国诺里奇,2011年9月。
[27] Jing Lu、Steven CH.Hoi、Jialei Wang、Peilin Zhao和Zhi-Yong Liu。大规模在线内核学习。机器学习研究杂志,17(47):1-432016年4月·Zbl 1360.68690号
[28] Jing Lu、Doyen Sahoo、Peilin Zhao和Steven CH Hoi。有界在线内核方法的稀疏被动攻击学习。ACM事务处理。智力。系统。Tech.,9(4):452018年2月。
[29] 罗海鹏(Haipeng Luo)和罗伯特·夏皮雷(Robert E.Schapire)。无需参数即可实现所有目标:Adanormalhedge。InProc公司。《学习理论研讨会》,第1286-1304页,法国里尔,2015年7月。
[30] 罗海鹏(Haipeng Luo)、阿加瓦尔(Alekh Agarwal)和兰福德(John Langford)。非平稳世界中的高效关联盗贼。arXiv预印本:1708.017992017年8月。
[31] Justin Ma、Lawrence K.Saul、Stefan Savage和Geoffrey M.Voelker。识别可疑URL:大规模在线学习的应用。InProc.公司。国际协调机构。学习。,第681-688页,加拿大蒙特利尔,2009年6月。
[32] 查尔斯·米切利和马西米利亚诺·蓬蒂尔。通过正则化学习核函数。机器学习研究杂志,6:1099-1125,2005年7月·Zbl 1222.68265号
[33] Ali Rahimi和Benjamin Recht。大型内核机的随机特性。InProc.公司。神经信息学进展。过程。系统。,第1177-1184页,加拿大温哥华,2007年12月。
[34] 阿兰·拉科托马蒙吉、弗朗西斯·巴赫、圣伊凡·卡努和伊夫·格兰德瓦莱特。SimpleMKL。机器学习研究杂志,9:2491-25212008年11月·Zbl 1225.68208号
[35] C´edric Richard、Jos´e Carlos M.Bermudez和Paul Honeine。基于核函数的时间序列数据在线预测。IEEE传输。信号。程序。,57(3):1058-10672009年3月·Zbl 1391.94376号
[36] 亚历山德罗·鲁迪和洛伦佐·罗萨斯科。具有随机特征的学习的泛化特性。InProc.公司。神经信息学进展。过程。系统。,第3218-3228页,加利福尼亚州长滩,2017年12月。
[37] Doyen Sahoo、Steven CH.Hoi和Bin Li。在线多核回归。InProc.公司。国际会议,知识发现和数据挖掘,第293-302页,纽约州纽约市,2014年8月。
[38] Doyen Sahoo、Steven CH.Hoi和Peilin Zhao。成本敏感的在线多核分类。InProc.公司。《亚洲Conf.机器学习》,第65-80页,新西兰汉密尔顿,2016年11月。
[39] Bernhard Sch¨olkopf和Alexander J.Smola。用内核学习。麻省理工学院出版社,马萨诸塞州剑桥,2002年。
[40] 谢·沙列夫·施瓦茨。在线学习和在线凸优化。已找到。马赫数趋势。学习。,4(2):107-194, 2011. ·Zbl 1253.68190号
[41] 约翰·肖·泰勒和尼洛·克里斯蒂亚尼尼。模式分析的核心方法。剑桥大学出版社,英国剑桥,2004年·Zbl 0994.68074号
[42] Fateme Sheikholeslami、Dimitris Berberidis和Georgios B.Giannakis。通过预算非线性子空间跟踪实现基于核的大尺度特征提取。IEEE传输。信号。程序。,66(8):1967年-1981年,2018年4月·Zbl 1414.94551号
[43] 沈延宁(Yanning Shen)和乔治奥斯·贾纳基斯(Georgios B Giannakis)。捕获动态和非线性相关性的方向图拓扑的在线识别。InProc.公司。IEEE数据科学研讨会,第195-199页,瑞士洛桑,2018年6月。
[44] Yanning Shen、Brian Baingana和Georgios B.Giannakis。用于推断有效脑网络连通性的非线性结构向量自回归模型。2016年10月。统一资源定位地址https://arxiv.org/abs/1610.06551。 ·Zbl 07123434号
[45] Yanning Shen、Brian Baingana和Georgios B.Giannakis。用于有向网络拓扑识别的基于核的结构方程模型。IEEE传输。信号。程序。,65(10):2503-2516,2017年5月·兹比尔1414.94553
[46] 沈延宁(Yanning Shen)、陈天一(Tianyi Chen)和乔治·吉安纳基斯(Georgios B.Giannakis)。在线集成多核学习适应非平稳和对抗环境。InProc公司。2018年4月,加那利群岛兰扎罗特,国际人工智能与统计大会·Zbl 1483.68319号
[47] 弗拉基米尔·沃夫克。一场有专家建议的预测游戏。InProc.公司。《计算学习理论年度会议》,第51-60页,加州圣克鲁斯,1995年7月。
[48] 格雷斯·瓦赫巴(Grace Wahba)。观测数据的样条模型。宾夕法尼亚州费城SIAM,1990年·Zbl 0813.62001号
[49] 王庄、科比·克拉默和斯洛博丹·武西奇。打破核化的魔咒:大规模svm训练的预算随机梯度下降。《机器学习研究》,13:3103-31312012年10月·Zbl 1433.68383号
[50] Christopher K.I.Williams和Matthias Seeger。使用Nystr–om方法加速内核机器。InProc.公司。神经信息学进展。过程。系统。,第682-688页,加拿大温哥华,2001年12月。
[51] Felix Yu、Ananda Theertha Suresh、Krzysztof Choromanski、Daniel Holtmann-Rice和Sanjiv Kumar。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。