实现不可实现的目标？重新评估神经机器翻译中的人类奇偶性

安东尼奥·托拉尔,希拉·卡斯蒂略,柯虎,安迪·韦

摘要
我们重新评估了最近的一项研究（Hassan等人，2018），该研究声称，机器翻译（MT）在将新闻从汉语翻译成英语方面已经达到了人类对等水平，使用两两排序法，并考虑到之前研究中未考虑的三个变量：测试集源语言的最初编写语言、评估者的翻译水平以及提供的内容间上下文。如果我们只考虑原始文本（即不是从另一种语言或翻译腔翻译而来），那么我们会发现证据表明人类还没有实现平等。我们比较了专业翻译人员和非专业翻译员的判断，发现专家的判断会导致更高的注释者之间的一致性，以及更好地区分人机翻译。此外，我们分析测试集的人工翻译，并确定重要的翻译问题。最后，基于这些发现，我们为未来人类对MT的评估提供了一系列建议。
选集ID：
W18-6312型
体积：
第三届机器翻译会议记录：研究论文
月份：
十月
年份：
2018
地址：
比利时布鲁塞尔
编辑：
Ondřej Bojar公司,拉金·查特吉,克里斯蒂安·费德曼,马克·费舍尔,伊维特·格雷厄姆,巴里·哈多,马蒂亚斯·哈克,安东尼奥·吉梅诺·耶佩斯,菲利普·科恩,克里斯托夫·蒙兹,马泰奥·内格里,Aurélie Névéol公司,玛丽亚娜·奈维斯,马特·波斯特,露西亚特色菜,马可·图尔奇,卡林·弗斯普尔
地点：
WMT公司
SIG公司：
SIGMT公司
出版商：
计算语言学协会
注：
页：
113–123
语言：
网址：
https://aclantology.org/W18-6312
内政部：
10.18653/v1/W18-6312
双钥匙：
引用（ACL）：
安东尼奥·托拉尔（Antonio Toral）、希拉·卡斯蒂略（Sheila Castilho）、柯虎（Ke Hu）和安迪·韦（Andy Way）。2018实现不可实现的目标？神经机器翻译中人类奇偶性的再评价.英寸第三届机器翻译会议记录：研究论文，第113-123页，比利时布鲁塞尔。计算语言学协会。
引用（非正式）：
实现不可实现的目标？神经机器翻译中人类奇偶性的再评价（Toral等人，WMT 2018）
复制引文：
PDF格式：
https://aclantology.org/W18-6312.pdf
代码
antot/human_parity_mt
PDF格式 引用 搜索 代码