流星

流星：自动机器翻译评估系统。Meteor自动评估指标通过将机器翻译假设与一个或多个参考翻译对齐来评分。对齐基于单词和短语之间的精确、词干、同义词和释义匹配。根据假设参考对之间的比对计算分段和系统级度量分数。该指标包括几个自由参数，这些参数被调整以模拟各种人类判断任务，包括WMT排名和NIST充分性。当前版本还包括一个用于MERT和MIRA的调优配置。Meteor扩展了对以下语言的支持（解释匹配和调整参数）：英语、捷克语、德语、法语、西班牙语和阿拉伯语。Meteor是用纯Java实现的，不需要安装或依赖关系来计算MT输出。平均来说，假设是以每秒500段的速度对每个CPU核心进行评分的。在EMNLP WMT 2011和NIST Metrics MATR 2010等独立评估中，Meteor始终证明与人类判断高度相关。