迁移学习的组合观

的一部分神经信息处理系统的进展33（NeurIPS 2020）

作者

王建安、埃伦·塞泽纳、大卫·巴登、马库斯·赫特、乔尔·维内斯

摘要

人类智能的特点不仅是学习复杂技能的能力，而且是在不断变化的环境中快速适应和获得新技能的能力。在这项工作中，我们研究了模块化解决方案的学习如何能够有效地泛化未知的和潜在的不同分布的数据。我们的主要假设是，任务分割、模块化学习和基于记忆的集成的结合可以对成倍增长的未知任务进行概括。我们使用以下组合提供了这个想法的一个具体实例：（1）遗忘-非过程，用于任务分割和基于记忆的集成；和（2）门控线性网络，与当代深度学习技术相比，它使用模块化和本地学习机制。我们证明了该系统具有许多令人满意的持续学习特性：对灾难性遗忘的鲁棒性，无负迁移，随着任务的增多，正迁移水平不断提高。我们在标准的持续学习基准上显示了与线下和在线方法相比的竞争力。