征服

描述

个人助理的兴起使得会话式问答（ConvQA）成为一种非常流行的用户-系统交互机制。最先进的方法对于ConvQA，知识图只能从crisp中学习流行基准中的问答对。实际上，然而，这样的培训数据很难获得：用户很少会将答案明确标记为正确或错误。在这项工作中，我们迈向更自然的学习范式的一步&从嘈杂和隐式反馈问题改写。重新制定是可能由不正确的系统响应触发，而新的后续问题可能是前一个问题的积极信号轮到我回答。

征服：一种从用户反馈中学习的RL方法

我们提出了一种强化学习模型，称为征服，这可以从一连串的问题和改写中学习。CONQUER将回答过程建模为多个代理人行走在知识图上并行显示：

回答一个问题（例如。漫威的下一个是什么？)给定其会话上下文（例如。《复仇者：结局》何时在德国上映？)，CONQUER创建并维护一组上下文实体来自目前为止与对话最相关的KG(复仇者终局,漫威电影世界,漫威船长，图中的厚边框框）。从每个上下文实体，代理开始遍历KG到其邻域中的实体，这些实体是候选人回答当前问题。将这些数据进行汇总以生成最终答案(蜘蛛侠：远离家乡,图中有阴影）。步行方向已确定通过行动由选择政策网络. 策略网络的输入由问题编码、会话上下文和涉及上下文实体的KG路径（操作）组成。输出是可用操作的概率分布，代理从中采样操作（在培训期间）或采取顶级操作（在回答时）。它通过以下方式进行训练喧闹的奖励从重新制定中获得可能性（重新制定：-1，新意图：+1）。通过我们的重新表述预测器，一个微调的BERT模型，将后续问题分类为重新表述或新意图。

ConvRef:ConvQA基准与改革

为了评估CONQUER，我们创建并发布ConvRef公司，一个用大约11k个包含以下内容的自然对话作为基准205k次改写。实验表明，CONQUER成功学习从嘈杂的奖励信号中回答对话问题，比最先进的系统有显著改进凸面的.

ConvRef建立在公开可用的对话式KG-QA基准之上Conv问题.我们使用ConvQuestions中的对话会话作为用户的输入研究创建我们的基准ConvRef。研究参与者与基线QA系统，使用ConvQuestions中可用的转述作为重新制定的代理进行培训。用户是在给定对话中以交互方式显示后续问题，一个接一个，以及来自基线的答案质量保证体系。对于错误的答案，如果需要，用户会被提示最多四次重新编写问题。这样，用户能够根据之前的错误答案进行重新编排对话历史。我们按照ConvQuestions比率进行了列车-ev-试验分离，导致6.7k次培训对话，分别为dev和测试集。

ConvRef的样本改写：

请参考我们的纸张了解更多详细信息。

联系人

有关更多信息，请联系：马格达莱娜·凯撒（mkaiser AT mpi HYPHEN inf DOT mpg DOT de），里希拉吉·萨哈·罗伊（rishiraj AT mpi HYPHEN inf DOT mpg DOT de）或格哈德·威库姆（威库姆在mpi HYPHEN inf DOT mpg DOT de）。

要了解我们团队的更多信息，请访问https://www.mpi-inf.mpg.de/departments/databases-and-information-systems/research/question-answering/.