非自回归机器翻译：并没有看上去那么快

Jindřich Helcl公司,巴里·哈多,亚历山大·伯奇

摘要
高效的机器翻译模型在商业上很重要，因为它们可以提高推理速度，降低成本和碳排放。最近，人们对非自回归（NAR）模型产生了很大的兴趣，它可以保证更快的翻译。在对NAR模型进行研究的同时，已经成功尝试创建优化的自回归模型，作为WMT高效翻译共享任务的一部分。在本文中，我们指出了NAR模型文献中存在的评估方法的缺陷，并对最先进的NAR模型和共享任务的自回归提交进行了公平比较。我们证明了NAR模型的一致性评估，以及将NAR模型与其他广泛使用的方法进行比较以提高效率的重要性。我们使用一个在C++中实现的基于连接主义临时分类（CTC）的NAR模型进行了实验，并将其与使用挂钟时间的AR模型进行了比较。我们的结果表明，尽管NAR模型在GPU上更快，批量较小，但在更实际的使用条件下，它们几乎总是较慢。我们呼吁在未来的工作中对NAR模型进行更现实和广泛的评估。
选集ID：
2022.naacl-main.129年
体积：
计算语言学协会北美分会2022年会议记录：人类语言技术
月份：
七月
年份：
2022
地址：
美国西雅图
编辑：
海洋木瓜,玛丽·凯瑟琳·德·马尔尼夫,伊万·弗拉基米尔·梅扎·鲁伊斯
地点：
NAACL公司
SIG公司：
出版商：
计算语言学协会
注：
页：
1780–1790
语言：
网址：
https://aclantology.org/2022.naacl-main.129
内政部：
10.18653/v1/2022.naacl-main.129
比比键：
引用（ACL）：
Jindřich Helcl、Barry Haddow和Alexandra Birch。2022非自回归机器翻译：它没有看起来那么快.英寸计算语言学协会北美分会2022年会议记录：人类语言技术，第1780-1790页，美国西雅图。计算语言学协会。
引用（非正式）：
非自回归机器翻译：它没有看起来那么快（Helcl等人，NAACL 2022）
复制引文：
PDF格式：
https://aclantology.org/2022.naacl-main.129.pdf
视频：
 https://acl选集.org/2022.naacl-main.129.mp4
数据
2014年WMT
PDF格式 引用 搜索 视频