序列对序列模型中的置信度建模

简·尼休斯,Ngoc-Quan Pham公司

摘要
最近，使用神经序列到序列模型在各种自然语言处理任务中取得了显著改进。虽然以最佳发电质量为目标很重要，但最终也有必要开发能够评估其输出质量的模型。在这项工作中，我们建议使用训练和测试条件之间的相似性来衡量模型的可信度。我们研究了仅使用相似性的方法以及将其与后验概率相结合的方法。虽然传统上只有目标标记使用置信度进行注释，但我们也研究了使用置信度注释源标记的方法。通过学习内部对齐模型，相对于使用最先进的外部对齐工具，我们可以显著提高信心预测。我们评估了所提出的机器翻译下游置信度估计方法。我们展示了对分段级置信度估计以及源令牌置信度估计的改进。此外，我们还表明，同样的方法也可以应用于使用序列到序列模型的其他任务。在自动语音识别（ASR）任务中，我们可以通过查看20%的数据找到60%的错误。
选集ID：
W19-8671号
体积：
第十二届自然语言生成国际会议记录
月份：
10月至11月
年份：
2019
地址：
日本东京
编辑：
基斯·范·迪姆特,林成华,Hiroya Takamura高村
地点：
INLG公司
SIG公司：
SIGGEN公司
出版商：
计算语言学协会
注：
页：
575–583
语言：
网址：
https://acl选集.org/W19-8671
内政部：
10.18653/v1/W19-8671
双钥匙：
引用（ACL）：
Jan Niehues和Ngoc-Quan Pham。2019序列对序列模型中的置信度建模.英寸第十二届自然语言生成国际会议记录，第575-583页，日本东京。计算语言学协会。
引用（非正式）：
序列对序列模型中的置信度建模（Niehues&Pham，INLG 2019）
复制引文：
PDF格式：
https://aclantology.org/W19-8671.pdf
PDF格式 引用 搜索