计算机科学>机器学习
职务: 分级授权:以可追踪授权为基础的技能学习
摘要: 通用代理需要大量技能。 授权——技能和状态之间的最大交互信息——为学习大量不同技能提供了一条途径,但交互信息很难优化。 我们引入了一个新的框架,分层授权,通过集成目标条件分层强化学习的概念,使计算授权更容易处理。 我们的框架有两个具体贡献。 首先,我们引入了一个新的互信息变分下界,可以用来计算短期内的赋权。 其次,我们引入了一种分层结构,用于在指数级更长的时间范围内实现计算授权。 我们在一系列模拟机器人任务中验证了该框架的贡献。 在一个流行的蚂蚁导航领域中,我们的四级代理能够学习覆盖面积比先前工作大两个数量级的技能。