R（右）o个加拿大-机器翻译：机器翻译的鲁棒性挑战集

雷切尔·巴登,贝诺西翁

摘要
RoCS-MT是机器翻译（MT）的强大挑战集，旨在测试机器翻译系统翻译用户生成的内容（UGC）的能力，这些内容显示非标准特征，如拼写错误、去中心化、缩写等，这些语言已被手动标准化并被专业翻译成五种语言：法语、德语、捷克语、乌克兰语和俄语。在WMT23测试套件共享任务的背景下，我们分析了提交给所有from-English语言对的通用机器翻译任务的模型，从而对最先进的机器翻译模型在处理非标准UGC文本时所面临的问题类型提供了一些见解。我们比较了机器翻译质量的自动度量，包括质量估计，以了解在没有参考文献的情况下是否可以得出相同的结论。就稳健性而言，我们发现许多系统与非标准的单词变体发生冲突（例如，由于受语音启发的拼写、收缩、截断等），但这取决于系统和训练数据量，最好的整体系统在所有现象中表现得更好。GPT4是清晰的前车手。然而，我们警告不要得出关于泛化能力的结论，因为它和其他系统可以在RoCS的源端以及类似的数据上进行训练。
选集ID：
2023.wmt-1.21年
体积：
第八届机器翻译会议记录
月份：
十二月
年份：
2023
地址：
新加坡
编辑：
菲利普·科恩,巴里·哈多,汤姆·科米,克里斯托夫·蒙兹
地点：
WMT公司
SIG公司：
SIGMT公司
出版商：
计算语言学协会
注：
页码：
198–216
语言：
网址：
https://aclantology.org/2023.wmt-1.21
内政部：
10.18653/v1/2023.wmt-1.21
比比键：
引用（ACL）：
雷切尔·鲍登和贝诺·萨戈。2023RoCS-MT：机器翻译的稳健性挑战集.英寸第八届机器翻译会议记录，第198-216页，新加坡。计算语言学协会。
引用（非正式）：
RoCS-MT：机器翻译的稳健性挑战集（Bawden&Sagot，WMT 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.wmt-1.21.pdf
PDF格式 引用 搜索