×

使用参数特征映射的传递学习的风险界及其在稀疏编码中的应用。 (英语) 兹比尔1440.68221

摘要:在本研究中,我们使用参数传递方法考虑了一个传递学习问题,其中通过一个任务学习一个合适的特征映射参数,并将其应用于另一个目标任务。我们引入了参数特征映射的局部稳定性和参数传递可学习性的概念,并导出了参数传递算法的一个超额风险界。作为参数传递学习的一个应用,我们讨论了稀疏编码在自学习中的性能。尽管具有大量未标记数据的自学学习算法通常表现出良好的经验性能,但其理论分析尚未得到研究。在本文中,我们还提供了自学学习的理论超额风险界。此外,我们还表明,数值实验的结果与我们的理论分析一致。

MSC公司:

68T05型 人工智能中的学习和自适应系统
10层62层 点估计
62J07型 岭回归;收缩估计器(拉索)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Arora,S.、Ge,R.、Ma,T.和Moitra,A.(2015)。稀疏编码的简单、高效和神经算法。学习理论会议(第113-149页)。
[2] Baxter,J.(2000)。归纳偏差学习模型。《人工智能研究杂志》,12(149-198),3·Zbl 0940.68106号
[3] Ben-David,S.和Urner,R.(2013)。领域适应作为带有辅助信息的学习。在转移和多任务研讨会的新方向@NIPS。
[4] Blitzer,J.、McDonald,R.和Pereira,F.(2006年)。结构对应学习的领域适应。《2006年自然语言处理经验方法会议论文集》(第120-128页)。计算语言学协会。
[5] Dai,W.,Yang,Q.,Xue,G.R.,&Yu,Y.(2008)。自学聚类。第25届机器学习国际会议论文集(第200-207页)。ACM公司。
[6] Daume,H,I.I.I.和Marcu,D.(2006年)。统计分类器的域自适应。《人工智能研究杂志》,第26期,第101-126页·Zbl 1161.68724号
[7] Duan,L.,Tsang,I.W.,&Xu,D.(2012)。域转移多核学习。IEEE模式分析和机器智能汇刊,34(3),465-479。
[8] Fuchs,J.J.(2004)。任意冗余基中的稀疏表示。IEEE信息理论汇刊,50(6),1341-1344·Zbl 1284.94018号
[9] Goodfellow,I.、Bengio,Y.和Courville,A.(2016)。深度学习。剑桥:麻省理工学院出版社·Zbl 1373.68009号
[10] Huang,J.、Gretton,A.、Borgwardt,K.M.、Schölkopf,B.和Smola,A.J.(2007)。通过未标记的数据纠正样本选择偏差。《神经信息处理系统进展》(第601-608页)。
[11] Huang,K.和Aviyente,S.(2006)。信号分类的稀疏表示。NIPS(第19卷,第609-616页)。
[12] Karatzoglou,A.、Smola,A.、Hornik,K.和Zeileis,A.(2004)。kernlab:R.Journal of Statistical Software中内核方法的S4包,11(9),1-20。
[13] Kumagai,W.(2016)。学习的边界是参数转移学习。《神经信息处理系统进展》(第2721-2729页)。
[14] Kuzborskij,I.和Orabona,F.(2013)。稳定性和假设迁移学习。第30届机器学习国际会议论文集(ICML-13)(第942-950页)。
[15] Kuzborskij,I.和Orabona,F.(2017年)。通过从辅助假设转移来加快速度。机器学习,106(2),171-195·Zbl 1453.68153号
[16] Lee,H.、Raina,R.、Teichman,A.和Ng,A.Y.(2009年)。指数族稀疏编码及其在自学学习中的应用。IJCAI(第9卷,第1113-1119页)。Citeseer公司。
[17] Mairal,J.、Bach,F.、Ponce,&J.、Sapiro,G.(2009年)。稀疏编码的在线词典学习。第26届国际机器学习年会论文集(第689-696页)。ACM公司·Zbl 1242.62087号
[18] Mairal,J.、Ponce,J.,Sapiro,G.、Zisserman,A.和Bach,F.R.(2009年)。监督字典学习。《神经信息处理系统进展》(第1033-1040页)。
[19] Maurer,A.(2009年)。线性特征学习的转移边界。机器学习,75(3),327-350·Zbl 1470.68146号
[20] Maurer,A.、Pontil,M.和Romera--Paredes,B.(2013年)。用于多任务和迁移学习的稀疏编码。《第30届机器学习国际会议论文集》(ICML-13)(第343-351页)。
[21] Mehta,N.和Gray,A.G.(2013年)。预测稀疏编码的基于稀疏性的泛化界。第30届机器学习国际会议论文集(ICML-13)(第36-44页)。
[22] Mehta,N.A.和Gray,A.G.(2012年)。预测稀疏编码的样本复杂度。arXiv:1202.4050。
[23] Osborne,M.R.、Presnell,B.和Turlach,B.A.(2000)。在套索及其对偶上。计算与图形统计杂志,9(2),319-337。
[24] Pan,S.J.和Yang,Q.(2010年)。关于迁移学习的调查。IEEE知识与数据工程汇刊,22(10),1345-1359。
[25] Pentina,A.和Lampert,C.(2014)。一个致力于终身学习的PAC-Baysian。《第31届机器学习国际会议论文集》(ICML-14)(第991-999页)。
[26] R核心团队。(2016). R: 用于统计计算的语言和环境。维也纳:R统计计算基金会。
[27] Raina,R.、Battle,A.、Lee,H.、Packer,B.和Ng,A.Y.(2007年)。自学学习:从未标记数据中转移学习。第24届机器学习国际会议论文集(第759-766页)。ACM公司。
[28] Shimodaira,H.(2000)。通过加权对数似然函数改进协变量移位下的预测推断。《统计规划与推断杂志》,90(2),227-244·Zbl 0958.62011号
[29] Sridharan,K.、Shalev-Shwartz,S.和Srebro,N.(2009年)。针对正规化目标的快速费率。《神经信息处理系统的进展》(第1545-1552页)。
[30] Sugiyama,M.、Nakajima,S.、Kashima,H.、Buenau,P.V.和Kawanabe,M.(2008)。带模型选择的直接重要性估计及其在协变量移位自适应中的应用。《神经信息处理系统的进展》(第1433-1440页)。
[31] Tibshirani,R.J.(2013)。套索问题和唯一性。电子统计杂志,71456-1490·Zbl 1337.62173号
[32] Tommasi,T.、Orabona,F.和Caputo,B.(2014)。通过多模型知识转移从少数示例中学习类别。IEEE模式分析和机器智能汇刊,36(5),928-941。
[33] Vainscher,D.、Mannor,S.和Bruckstein,A.M.(2011年)。字典学习的样本复杂性。机器学习研究杂志,12,3259-3281·兹比尔1280.68210
[34] Wang,H.、Nie,F.和Huang,H.(2013)。强大且有辨别力的自学。第30届机器学习国际会议论文集(第298-306页)。
[35] Yang,J.、Yu,K.、Gong,Y.和Huang,T.(2009)。使用稀疏编码的线性空间金字塔匹配用于图像分类。在2009年IEEE计算机视觉和模式识别会议上。CVPR 2009(第1794-1801页)。电气与电子工程师协会。
[36] Yosinski,J.、Clune,J.,Bengio,Y.和Lipson,H.(2014)。深度神经网络中的特征有多大的可转移性?《神经信息处理系统进展》(第3320-3328页)。
[37] Zadrozny,B.(2004)。在样本选择偏差下学习和评估分类器。第二十一届机器学习国际会议论文集(第114页)。ACM公司。
[38] Zhang,Z.,Xu,Y.,Yang,J.,Li,X.,&Zhang(2015)。稀疏表示综述:算法和应用。IEEE接入,3490-530。
[39] Zhao,P.,&Yu,B.(2006)。套索的模型选择一致性。机器学习研究杂志,72541-2563·Zbl 1222.62008年
[40] Zhu,X.,Huang,Z.,Yang,Y.,Shen,H.T.,Xu,C.,&Luo,J.(2013)。高维小数据的自学降维。模式识别,46(1),215-229·Zbl 1248.68429号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。