×
Fayek，Haytham M。;劳伦斯·卡文登;吴洪仁

渐进式学习：持续学习的深度学习框架。 （英语） Zbl 1468.68180号

神经网络。 128, 345-357 (2020).
小结：持续学习是指学习系统通过利用先前从学习中获得的知识并执行先前的任务来解决新任务的能力，而不会对所获得的先前知识产生重大不利影响。持续学习是推进机器学习和人工智能的关键。渐进式学习是一种持续学习的深度学习框架，包括三个步骤：课程、渐进和修剪。课程过程用于主动选择任务，从一组候选任务中学习。累进过程用于通过添加新参数来提高模型的容量，这些参数利用在先前任务中学习到的参数，同时从手头新任务的可用数据中学习，而不易被灾难性遗忘。剪枝过程用于抵消进一步学习任务时参数数量的增长，以及缓解负向前传递，其中与手头任务无关的先验知识可能会干扰和恶化性能。对图像识别和语音识别领域中的许多监督分类任务进行了渐进学习评估，以证明其与基线方法相比的优势。研究表明，当任务相关时，渐进式学习可以加快学习速度，并使用较少的专用参数收敛到更好的泛化性能。

MSC公司：

68T07型 人工神经网络与深度学习
68T05型 人工智能中的学习和自适应系统
68吨10 模式识别、语音识别
68T45型 机器视觉和场景理解

关键词：

持续学习;计算机视觉;深度学习;机器学习;神经网络;语音识别

软件：

DARPA时间;TensorFlow公司;柯迪
PDF格式BibTeX公司 XML格式引用
\textit{H.M.Fayek}等人，神经网络。128、345--357（2020年；Zbl 1468.68180）
全文： 内政部

参考文献：

[1] M.阿巴迪。；巴勒姆，P。；陈，J。；陈，Z。；A.戴维斯。；Dean，J.，Tensorflow:大型机器学习系统，（USENIX操作系统设计与实现研讨会，第16卷（2016）），265-283
[2] Al-Shedivat，M。；Bansal，T。；Burda，Y。；Sutskever，I。；Mordatch，I。；Abbeel，P.，《在非平稳和竞争环境中通过元学习进行持续适应》（学习表征国际会议（2018年））
[3] Y.本吉奥。；Louradour，J。；科洛伯特，R。；韦斯顿，J.，《课程学习》（机器学习国际会议（2009），ACM:ACM纽约，纽约，美国），41-48
[4] Blum，A.，《机器学习中的在线算法》（Fiat，A.；Woeginger，G.J.，《在线算法：最新技术》（1998），施普林格-柏林-海德堡：施普林格/柏林-海德堡-柏林，海德堡），306-325·Zbl 1177.68009号
[5] Busso，C。；布鲁特，M。；Lee，C.-C。；卡泽姆扎德，A。；割草机E。；Kim，S.，IEMOCAP:交互式情感二元运动捕捉数据库，语言资源与评估，42，4，335-359（2008）
[6] Caruana，R.，多任务学习，机器学习，28，1，41-75（1997）
[7] 陈，Z。；Liu，B.，Lifelong machine learning（2016），Morgan&Claypool Publishers出版社
[8] Dekel，O。；Long，P.M。；Singer，Y.，《在线多任务学习》（Lugosi，G.；Simon，H.U.，《学习理论》（2006），斯普林格-柏林-海德堡：斯普林格–柏林-海德堡-柏林，海德堡），453-467·Zbl 1143.68529号
[9] Elman，J.L.，《神经网络的学习和发展：从小处做起的重要性》，《认知》，48，1，71-99（1993）
[10] Fayek，H.M.、Cavedon，L.和Wu，H.R.（2018）。关于数据集和任务之间神经网络表示的可传递性。加拿大蒙特利尔第32神经信息处理系统持续学习研讨会。
[11] Fayek，H.M.、Lech，M.和Cavedon，L.（2016）。自动语音识别和语音情感识别之间特征的相关性和可传递性。美国加利福尼亚州旧金山Interspeech（第3618-3622页）。
[12] Garofolo，J.S。；拉梅尔，L.F。；Fisher，W.M。；Fiscus，J.G。；Pallett，D.S。；Dahlgren，N.，TIMIT声学连续语音语料库，语言数据协会，93（1993）
[13] Graves，A.、Bellemare，M.G.、Menick，J.、Munos，R.和Kavukcuoglu，K.（2017年）。神经网络的自动课程学习。机器学习国际会议，第70卷，澳大利亚新南威尔士州悉尼（第1311-1320页）。
[14] 韩，S。；毛，H。；Dally，W.J.，《深度压缩：用剪枝、训练量化和哈夫曼编码压缩深度神经网络》（国际学习表征会议（2016））
[15] 韩，S。；Pool，J。；Tran，J。；Dally，W.J.，《学习有效神经网络的权重和连接》（Learning both weights and connections for efficient neural networks），（《神经信息处理系统的进展》（2015），麻省理工学院出版社：麻省理学学院出版社，美国马萨诸塞州剑桥），1135-1143
[16] 哈西比，B。；Stok，D.G.，《网络修剪的二阶导数：最佳脑外科医生》，（神经信息处理系统进展（1993）），164-171
[17] He，K。；张，X。；任，S。；Sun，J.，《深入研究整流器：在图像网络分类方面超越人类水平的性能》，（计算机视觉国际会议（2015），IEEE计算机学会：IEEE计算机协会，华盛顿特区，美国），1026-1034
[18] Hou，S。；潘，X。；罗伊，C.C。；王，Z。；Lin，D.，通过逐步蒸馏和回顾实现终身学习，（欧洲计算机视觉会议（2018），斯普林格），452-467
[19] Huang，G.等人。；刘，Z。；温伯格，K.Q。；van der Maaten，L.，密集连接卷积网络（IEEE计算机视觉和模式识别会议（2017））
[20] Huang，G.-B。；Saratchandran，P。；Sundararajan，N.，用于函数逼近的广义增长和修剪RBF（GGAP-RBF）神经网络，IEEE神经网络汇刊，16，1，57-67（2005）
[21] Isele，D。；Cosgun，A.，《终身学习的选择性体验回放》（AAAI人工智能会议（2018））
[22] 柯克帕特里克·J。；帕斯卡努，R。；拉比诺维茨，N。；Veness，J。；Desjardins，G。；Rusu，A.A.，《克服神经网络中的灾难性遗忘》，《国家科学院学报》，114，13，3521-3526（2017）·Zbl 1404.92015年
[23] Krizhevsky，A.，《从微小图像中学习多层特征技术报告》（2009），多伦多大学
[24] 莱克，B.M。；乌尔曼，T.D。；Tenenbaum，J.B。；Gershman，S.J.，《构建像人一样学习和思考的机器》，《行为与大脑科学》，40（2017）
[25] 乐村，Y。；Boser，B.E。；Denker，J.S。；Henderson博士。；霍华德·R·E。；Hubbard，W.E.，用反向传播网络进行手写数字识别，（神经信息处理系统的进展（1990）），396-404
[26] Lee，K.-F。；Hon，H.-W.，使用隐马尔可夫模型的独立于扬声器的电话识别，IEEE声学、语音和信号处理汇刊，37，11，1641-1648（1989）
[27] 李，Z。；霍伊姆，D.，《学习而不忘》（2016年欧洲计算机视觉会议，斯普林格），614-629
[28] Lopez-Paz，D。；Ranzato，M.A.，《持续学习的梯度情景记忆》（神经信息处理系统进展（2017），Curran Associates，Inc.），6467-6476
[29] 路易斯，C。；韦林，M。；Kingma，D.P.，通过（L_0）正则化学习稀疏神经网络，（学习表征国际会议（2018））
[30] O·马丁。；科齐亚，I。；Macq，B。；Pitas，I.，《eNTERFACE’05视听情感数据库》（数据工程研讨会国际会议（2006），IEEE计算机学会：IEEE计算机协会，美国华盛顿特区）
[31] McCloskey，M。；科恩，N.J.，《联结主义网络中的灾难性干扰：顺序学习问题》，《学习与动机心理学》，24109-165（1989）
[32] Mikolov，T。；Joulin，A。；Baroni，M.，《机器智能路线图》（计算语言学与智能文本处理（2018），施普林格出版社），29-61
[33] 米斯拉，I。；Shrivastava，A。；古普塔，A。；Hebert，M.，《多任务学习的交叉标准网络》（IEEE计算机视觉和模式识别会议（2016）），3994-4003
[34] 米切尔，T。；科恩，W。；赫鲁晓卡，E。；塔鲁克达尔，P。；Yang，B。；Betteridge，J.，《永无止境的学习》，美国计算机学会通讯，61，5103-115（2018）
[35] 潘，S.J。；Yang，Q.，迁移学习调查，IEEE知识与数据工程汇刊，22，10，1345-1359（2010）
[36] 波维，D。；Ghoshal，A。；布利安内，G。；Burget，L。；格林贝克，O。；Goel，N.，The kaldi语音识别工具包，（自动语音识别和理解研讨会（2011年），IEEE信号处理协会）
[37] Ratcliff，R.，《认知记忆的联结主义模型：学习和遗忘功能的限制》，《心理学评论》，97，2，285-308（1990）
[38] 南澳大利亚州雷布菲。；胆汁，H。；Vedaldi，A.，使用剩余适配器学习多个视觉领域，（神经信息处理系统进展（2017）），506-516
[39] Reed，R.，《剪枝算法——一项调查》，IEEE神经网络汇刊，4，5，740-747（1993）
[40] Rusu，A.A。；北卡罗来纳州拉比诺维茨。；Desjardins，G。；Soyer，H。；柯克帕特里克·J。；Kavukcuoglu，K.，渐进神经网络（2016），CoRR，abs/1606.04671
[41] Ruvolo，P。；Eaton，E.，《终身机器学习的主动任务选择》（AAAI人工智能会议（2013），AAAI出版社），862-868
[42] Ruvolo，P。；Eaton，E.，ELLA：一种高效的终身学习算法，（机器学习国际会议（2013）），507-515
[43] Savitha，R。；苏雷什，S。；Sundararajan，N.，全复值松弛网络的元认知学习算法，神经网络，32，209-218（2012）·Zbl 1254.68223号
[44] Shin，H。；Lee，J.K。；Kim，J。；Kim，J.，《利用深度生成重放进行持续学习》，（神经信息处理系统进展（2017）），2990-2999年
[45] M.E.泰勒。；Stone，P.，《强化学习领域的迁移学习：一项调查》，《机器学习研究杂志》，1633-1685年7月10日（2009）·Zbl 1235.68196号
[46] Terekhov，A.V。；Monton，G。；O'Regan，J.K.，（深层块模块神经网络中的知识转移（2015），Springer），268-279
[47] Thrun，S.，学习第件事比学习第一件容易吗？，（神经信息处理系统的进展（1996），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥，美国），640-646
[48] 特隆，S。；Mitchell，T.M.，终身机器人学习，机器人和自治系统，15，1，25-46（1995）
[49] 英伟，L。；北Sundararajan。；Saratchandran，P.，使用最小径向基函数神经网络进行函数逼近的顺序学习方案，神经计算，9，2461-478（1997）·兹比尔1067.68586
[50] Yosinski，J。；克伦，J。；Y.本吉奥。；Lipson，H.，深度神经网络中的特征如何传递？，（神经信息处理系统进展（2014），Curran Associates，Inc.），3320-3328
[51] Zenke，F.、Poole，B.和Ganguli，S.（2017年）。通过突触智能持续学习。机器学习国际会议，第70卷，澳大利亚新南威尔士州悉尼（第3987-3995页）。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。