细粒度评估G公司埃尔曼-E类基于测试套件的英语机器翻译

费雯·麦肯坦兹(Vivien Macketanz),Eleftherios Avramidis公司,Aljoscha Burchardt公司,汉斯·尤兹克莱特


摘要
我们基于语言驱动测试套件,对16个最先进的德语-英语机器翻译系统进行了分析。测试套件由语言专业人员团队手动设计,以涵盖机器翻译通常无法正确翻译的各种语言现象。它包含5000个测试句子,涵盖14类106种语言现象,重点关注动词时态、体和语气。机器翻译输出通过正则表达式以半自动的方式进行评估,正则表达式只关注句子中与每个现象相关的部分。通过我们的分析,我们能够根据系统在这些类别上的性能对其进行比较。此外,我们揭示了特定系统的优缺点,并发现了机器翻译整体表现相对较低的语法现象。
选集ID:
宽18-6436
体积:
第三届机器翻译会议记录:共享任务文件
月份:
十月
年份:
2018
地址:
比利时、布鲁塞尔
编辑:
Ondřej Bojar公司,拉金·查特吉,克里斯蒂安·费德曼,马克·费舍尔,伊维特·格雷厄姆,巴里·哈多,马蒂亚斯·哈克,安东尼奥·吉梅诺·耶佩斯,菲利普·科恩,克里斯托夫·蒙兹,马泰奥·内格里,奥雷利·内维尔,玛丽亚娜·奈维斯,马特·波斯特,露西娅·斯佩西亚,马可·图尔奇,卡林·弗斯波尔
地点:
WMT公司
SIG公司:
SIGMT公司
发布者:
计算语言学协会
注:
页:
578–587
语言:
网址:
https://acl选集.org/W18-6436
内政部:
10.18653/v1/W18-6436
比比键:
引用(ACL):
费维恩·麦凯坦兹(Vivien Macketanz)、埃利夫瑟里奥斯·阿夫拉米迪斯(Eleftherios Avramidis)、阿尔乔沙·伯查特(Aljoscha Burchartt)和汉斯·乌斯科雷特(Hans Uszkoreit)。2018基于测试套件的德英机器翻译细粒度评估.英寸第三届机器翻译会议记录:共享任务文件,第578–587页,比利时,布鲁塞尔。计算语言学协会。
引用(非正式):
基于测试套件的德英机器翻译细粒度评估(Macketanz等人,WMT 2018)
复制引文:
PDF格式:
https://aclantology.org/W18-6436.pdf