使用语言、视觉和行为解释自然语言指令

我们将自动指令解释问题定义如下。给定一条自然语言指令，我们能自动预测指令跟随者（如机器人）在环境中应该执行什么指令吗？以前的自动指令解释方法需要大量依赖域的规则编写或大量手动注释的语料库。本文提出了一种新的方法，它利用了大量未标注的、易于收集的数据，这些数据来自于在类似游戏的环境中进行交互的人类。我们的方法使用基于人工智能规划的自动标注阶段，对两种不同的标注策略进行了比较：一种基于行为信息，另一种基于可见性信息。生成的注释用作不同自动分类器的训练数据。该算法基于这样一种直觉，即解释情境指令的问题可以归结为一个分类问题，即在情境中选择可能的动作。分类是通过结合语言、视觉和行为信息来完成的。我们的实证分析表明，机器学习分类器在现有英语语料库上的准确率达到77%，在类似的德语语料库中达到74%。最后，在口译过程中加入人工反馈可以将英语语料库的表现提高到92%，将德语语料库提高到90%。