的结果WMT公司18指标共享任务：字符和嵌入都获得了良好的性能

马庆松,Ondřej Bojar公司,伊维特·格雷厄姆

摘要
本文介绍了WMT18度量共享任务的结果。我们要求该任务的参与者使用自动指标对WMT18新闻翻译任务中涉及的机器翻译系统的输出进行评分。我们收集了10个指标和8个研究小组的得分。除此之外，我们还计算了8个标准指标（BLEU、SentBLUE、chrF、NIST、WER、PER、TER和CDER）的分数作为基线。收集的分数根据系统级相关性（每个指标的分数与WMT18官方手册系统排名的相关性如何）和分段级相关性（指标与人类在判断特定句子相对于替代输出的质量时的一致性频率）进行评估。今年，我们采用了一种单一的人工评估：直接评估（DA）。
选集ID：
宽18-6450
体积：
第三届机器翻译会议记录：共享任务文件
月份：
十月
年份：
2018
地址：
比利时、布鲁塞尔
编辑：
Ondřej Bojar公司,拉金·查特吉,克里斯蒂安·费德曼,马克·费舍尔,伊维特·格雷厄姆,巴里·哈多,马蒂亚斯·哈克,安东尼奥·吉梅诺·耶佩斯,菲利普·科恩,克里斯托夫·蒙兹,马泰奥·内格里,奥雷利·内维尔,玛丽亚娜·奈维斯,马特·波斯特,露西娅·斯佩西亚,马可·图尔奇,卡林·弗斯波尔
地点：
WMT公司
SIG公司：
SIGMT公司
发布者：
计算语言学协会
注：
页：
671–688
语言：
网址：
https://aclantology.org/W18-6450
内政部：
10.18653/v1/W18-6450
比比键：
引用（ACL）：
马庆松（Qingsong Ma）、昂德·博贾尔（Ondřej Bojar）和伊维特·格雷厄姆（Yvette Graham）。2018WMT18度量共享任务的结果：字符和嵌入都获得了良好的性能.英寸第三届机器翻译会议记录：共享任务文件，第671-688页，比利时，布鲁塞尔。计算语言学协会。
引用（非正式）：
WMT18度量共享任务的结果：字符和嵌入都获得了良好的性能（Ma等人，WMT 2018）
复制引文：
PDF格式：
https://aclantology.org/W18-6450.pdf
PDF格式 引用 搜索