计算机科学>机器学习
标题: 学习通用预测工具
摘要: 元学习已经成为训练神经网络从有限数据中快速学习新任务的一种强大方法。 广泛接触不同的任务会产生多种表现形式,从而实现一般问题的解决。 但是,元学习的局限性是什么? 在这项工作中,我们探索了通过利用元学习达到其极限,将最强大的通用预测因子即所罗门归纳法(SI)摊销到神经网络中的潜力。 我们使用通用图灵机(UTM)生成训练数据,用于将网络暴露于广泛的模式。 我们对UTM数据生成过程和元训练协议进行了理论分析。 我们对不同复杂度和通用性的神经架构(如LSTM、Transformers)和算法数据生成器进行了全面的实验。 我们的结果表明,UTM数据是元学习的宝贵资源,可以用于训练能够学习通用预测策略的神经网络。