计算机科学>计算与语言
职务: 面向任务的口语对话建模通用模型研究
摘要: 由于口语和书面数据的分布存在差距,为口语对话建立健壮的通用对话模型具有挑战性。 本文针对DSTC-10口语对话挑战中的基于知识的任务型对话建模,提出了一种构建通用模型的方法。 为了缓解口语和书面文本之间的差异,我们主要对书面数据采用广泛的数据增强策略,包括人工错误注入和往返文本-语音转换。 为了训练口语会话的健壮模型,我们改进了预训练语言模型,并对每个子任务应用集成算法。 通常,对于检测任务,我们微调\roberta和ELECTRA,并运行错误修复集成算法。 对于选择任务,我们采用由实体跟踪和知识排序组成的两阶段框架,并提出一种多任务学习方法,通过领域分类和实体选择来学习多级语义信息。 对于生成任务,我们采用交叉验证数据过程来改进预训练生成语言模型,然后使用一致性解码算法,该算法可以添加诸如相对粗糙度等任意特征,并直接将相关特征权重调整为模糊。 我们的方法在客观评估方面排名第三,在最终官方人类评估方面排名其次。