×

自适应顺序机器学习。 (英语) Zbl 1429.68241号

摘要:以前在中引入的框架[C.威尔逊等,IEEE Trans。自动化。Control 64,No.2,496–509(2019年;Zbl 1482.90129)]为了求解一系列具有有界变化的随机优化问题,将极小值问题推广应用于回归和分类等机器学习问题。使用随机梯度下降(SGD)等算法解决这些机器学习问题中出现的随机优化问题。引入了一种基于最小值变化估计和优化算法特性的方法,用于自适应选择每个时间步长的样本数,以确保超额风险,即,优化算法产生的近似极小值和精确极小值之间的预期差距不超过目标水平。发展了一个界限,以表明在超额风险足够小的情况下,对最小值变化的估计是不平凡的。考虑了与机器学习设置相关的扩展,包括一种基于成本的方法,用于在固定范围内选择具有成本预算的样本数量,以及一种应用交叉验证进行模型选择的方法。最后,利用合成数据和实际数据对算法进行了验证。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62升05 顺序统计设计
62升10 顺序统计分析

引文:

Zbl 1482.90129
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿加瓦尔,A。;Daumé,H。;Gerber,S.,《使用流形正则化学习多任务》,《神经信息处理系统进展论文集》,46-54(2010)
[2] 阿加瓦尔,A。;Rakhlin,A。;Bartlett,P.,《在线多任务学习的矩阵正则化技术》,技术报告UCB/EECS-2008-138(2008),加州大学伯克利分校EECS系
[3] Bartlett,P。;哈赞,E。;Rakhlin,A.,自适应在线梯度下降,in,《神经信息处理系统进展学报》,65-72(2008)
[4] 本吉奥,Y。;Frasconi,P.,序列处理的输入输出HMM,IEEE神经网络汇刊,71231-1249(1996)·doi:10.1109/72.536317
[5] Bertsekas,D.,非线性规划(1999),波士顿:雅典娜科学出版社,波士顿·Zbl 1015.90077号
[6] 布朗,C。;弗里德曼,V。;Sastry,N。;McGonagle,K。;费弗,F。;Schoeni,R。;Stafford,F.,收入动态小组研究,公共使用数据集(2015),安娜堡:密歇根大学
[7] 塞萨·比安奇,N。;Lugosi,G.,《预测、学习和游戏》(2006),剑桥:剑桥大学出版社,剑桥·Zbl 1114.91001号
[8] 蒋,C。;Yang,T。;Lee,C。;马哈达维,M。;卢,C。;金·R。;Zhu,S.,带渐进变量的在线优化,in,学习理论会议论文集,23,6.1-6.20(2012)
[9] Dietterich,T.,《序列数据的机器学习:综述》,in,《结构、句法和统计模式识别》,15-30(2002)·Zbl 1073.68712号
[10] Dontchev,A。;Rockafellar,R.,《隐函数和解映射:来自变分分析的观点》(2009),纽约:Springer,纽约·兹比尔1178.26001
[11] 杜奇,J。;哈赞,E。;Singer,Y.,在线学习和随机优化的自适应子梯度方法,《机器学习研究杂志》,12,2121-2159(2011)·兹比尔1280.68164
[12] 杜奇,J。;Singer,Y.,《使用前向-后向分裂的高效在线和批量学习》,《机器学习研究杂志》,102899-2934(2009)·Zbl 1235.62151号
[13] Evgeniou,T。;M.庞蒂尔,109-117(2004)
[14] Fawcett,T.,《ROC分析简介》,《模式识别快报》,27861-874(2006)·doi:10.1016/j.patrec.2005.10.010
[15] 福塞特,T。;Provost,F.,自适应欺诈检测,数据挖掘和知识发现,1291-316(1997)·doi:10.1023/A:1009700419189
[16] 哈斯蒂,T。;Tibshirani,R。;Friedman,J.,《统计学习的要素:数据挖掘、推断和预测》(2001),纽约:斯普林格出版社,纽约·Zbl 0973.62007号
[17] 哈赞,E。;阿加瓦尔,A。;Kale,S.,在线凸优化的对数回归算法,机器学习,69,169-192(2007)·Zbl 1471.68327号 ·doi:10.1007/s10994-007-5016-8
[18] 莫赫里,M。;罗斯塔米扎德,A。;Talwalkar,A.,《机器学习基础》(2012),波士顿:麻省理工学院出版社,波士顿·Zbl 1318.68003号
[19] 墨菲,K。;Welch,F.,《实证年龄收益曲线》,《劳动经济学杂志》,第8期,202-229页(1990年)·doi:10.1086/298220
[20] 潘,S。;杨琼,《迁移学习调查》,IEEE知识与数据工程汇刊,2010年第22期,第1345-1359页·doi:10.1109/TKDE.2009.191
[21] 钱,N。;Sejnowski,T.,使用神经网络模型预测球蛋白的二级结构,分子生物学杂志,202865-884(1988)·doi:10.1016/0022-2836(88)90564-5
[22] Rakhlin,A。;Sridharan,K.,《可预测序列的在线学习》,arXiv,1208,3728(2012)
[23] 沙列夫·施瓦茨,S。;Kakade,S.,Mind the Duality Gap:Logarithmic Regret Algorithms for Online Optimization,in,Proceedings of Advances in Neural Information Processing Systems,1457-1464(2009),关注二元性差距:在线优化的对数后悔算法
[24] 沙列夫·施瓦茨,S。;Singer,Y.,凸集重复博弈与Fenchel对偶,in,《神经信息处理系统进展学报》,1265-1271(2007)
[25] 沙列夫·施瓦茨,S。;Singer,Y.,强凸重复博弈的对数后悔算法,技术报告(2007),希伯来大学
[26] Towfic,Z。;Chu,J。;Sayed,A.,《概念漂移中期的在线分布式在线分类》,神经计算,112138-152(2013)·doi:10.1016/j.neucom.2012.12.043
[27] 瓦希特,A。;Biegler,L.T.,《大尺度非线性规划的原对偶内点滤波线搜索算法的实现》,《数学规划》,106,25-57(2006)·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y
[28] Wilson,C。;Veeravalli,V.,自适应顺序学习,in,《信号、系统和计算机Asilomar会议论文集》,326-330(2016)
[29] Wilson,C。;Veeravalli,V.,2642-2646(2016),语音和信号处理
[30] Wilson,C。;Veeravalli,V.公司。;Nedić,A.,自适应顺序随机优化,IEEE自动控制汇刊,64,496-509(2018)·Zbl 1482.90129 ·doi:10.1109/TAC.2018.2816168
[31] Xiao,L.,正则化随机学习和在线优化的双重平均方法,机器学习研究杂志,11,2543-2596(2010)·Zbl 1242.62011年
[32] Zhang,Y。;Yeung,D.,多任务学习中学习任务关系的凸公式,arXiv,1203,3536(2012)
[33] Zinkevich,M.,928-936(2003)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。