×

通过全球原型在深度网络中进行的快速学习很少。 (英语) Zbl 1429.68250号

摘要:训练深度卷积神经网络(CNN)以成功进行视觉对象分类通常需要大量示例。在这里,从这样一个预先学习过的CNN开始,我们研究了扩展网络的任务,以便仅在少数示例的基础上对其他类别进行分类(“少量学习”)。我们发现,在全局特征层中,一个简单快速的基于原型的学习过程(“全局原型学习”,GPL)可以为大部分新类带来非常好的分类结果。新课程只需要十个例子就可以达到性能的稳定。为了理解GPL产生的这种少量学习性能以及原始网络的性能,我们使用t-SNE方法[L.van der Maaten先生G.欣顿,J.马赫。学习。第9号决议,2579–2605(2008年;Zbl 1225.68219号)]可视化对象类别示例的簇。这揭示了分类性能和数据分布之间的紧密联系,并解释了为什么一些新类别只需要很少的示例进行学习,而其他类别即使在使用更多示例进行训练时也无法获得良好的分类结果。

MSC公司:

68T07型 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[3] 邓,J。;Dong,W。;Socher,R。;李立杰。;李凯。;Fei-Fei,L.,Imagenet:大型分层图像数据库(IEEE计算机视觉和模式识别会议,2009年)。IEEE计算机视觉和模式识别会议,2009年,CVPR 2009(2009),IEEE,248-255
[6] Fink,M.,利用类相关性度量从单个示例进行对象分类,《神经信息处理系统的进展》,17,449-456(2005)
[7] Fritzke,B.,《不断增长的神经气体网络学习拓扑》,《神经信息处理系统进展》,7625-632(1995)
[9] Hecht,T。;Gepperth,A.,深度原型学习的计算优势,(人工神经网络国际会议(2016),Springer),121-127
[11] Krizhevsky,A。;Sutskever,I。;Hinton,G.E.,用深度卷积神经网络进行Imagenet分类,(神经信息处理系统进展(2012)),1097-1105
[12] 莱克,B.M。;Salakhutdinov,R.R。;Tenenbaum,J.,《通过反转成分因果过程进行单点学习》(One-shot learning by inversiting a composition因果过程),(神经信息处理系统进展(2013)),2526-2534
[13] 莱克,B.M。;Salakhutdinov,R。;Tenenbaum,J.B.,《通过概率程序归纳法进行人类层面的概念学习》,《科学》,350,6266,1332-1338(2015)·兹比尔1355.68230
[14] 兰伯特,C.H。;Nickisch,H。;Harmeling,S.,《学习通过类间属性转移检测看不见的对象类》(IEEE计算机视觉和模式识别会议,2009年)。IEEE计算机视觉和模式识别会议,2009年,CVPR 2009(2009),IEEE,951-958
[15] LeCun,Y。;Y.本吉奥。;Hinton,G.,《深度学习》,《自然》,521,7553,436-444(2015)
[16] LeCun,Y。;博图,L。;Y.本吉奥。;Haffner,P.,《基于梯度的学习应用于文档识别》,IEEE会议记录,86,11,2278-2324(1998)
[17] 李,F.-F。;弗格斯,R。;Perona,P.,对象类别的一次性学习,IEEE模式分析和机器智能汇刊,28,4,594-611(2006)
[18] Maaten,L.v.d。;Hinton,G.,使用t-SNE可视化数据,机器学习研究杂志(JMLR),11月9日,2579-2605(2008)·兹比尔1225.68219
[19] Miller,G.A.,WordNet:英语词汇数据库,ACM通讯,38,11,39-41(1995)
[20] 潘,S.J。;杨琼,《迁移学习调查》,IEEE知识与数据工程汇刊,2010年第22期,第10期,第1345-1359页
[22] 俄勒冈州Russakovsky。;邓,J。;苏,H。;克劳斯,J。;Satheesh,S。;Ma,S.,Imagenet大规模视觉识别挑战,国际计算机视觉杂志(IJCV),115,3,211-252(2015)
[23] 佐藤。;Yamada,K.,广义学习矢量量化,神经信息处理系统进展,423-429(1996)
[26] Wang,Y。;Cottrell,G.W.,《自行车就像烟草店,正式着装就像西装:用咖啡来识别城市部落》,(2015年IEEE计算机视觉应用冬季会议(2015),IEEE),876-883
[27] 王玉霞。;Hebert,M.,《学习:易于小样本学习的模型回归网络》,(欧洲计算机视觉会议(2016),斯普林格),616-634
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。