快速交织双向序列生成

张彪,伊万·蒂托夫,里科·森里奇

摘要
序列生成期间的独立性假设可以加快推理速度，但高度相互依赖的令牌的并行生成是以质量为代价的。我们没有假设相邻标记之间的独立性（半自回归解码，SA），而是从双向序列生成中获得灵感，并引入了一个解码器，它可以同时从从左到右和从右到左的方向生成目标单词。我们表明，通过简单地交错两个方向并调整单词位置和自我注意掩码，我们可以很容易地将单向解码的标准架构转换为双向解码器。我们的交错双向解码器（IBDecoder）保留了标准Transformer的模型简单性和训练效率，并且在五个机器翻译任务和两个文档摘要任务上，与质量相当的自回归解码相比，实现了约2倍的解码加速。值得注意的是，它优于从左到右SA，因为IBDecoder中的独立性假设更恰当。为了实现更高的加速比，我们探索了一种混合模型，在该模型中，我们要么同时预测每个方向上的多个相邻标记，要么通过分割目标序列来执行多向解码。这些方法以<1 BLEU或<0.5 ROUGE（平均值）为代价，将不同任务的速度提高到4x–11x
选集ID：
2020.wmt-1.62年
体积：
第五届机器翻译会议记录
月份：
十一月
年份：
2020
地址：
在线的
编辑：
洛伊克·巴罗,Ondřej Bojar公司,费提·布加雷斯,拉金·查特吉,Marta R.Costa-jussá,克里斯蒂安·费德曼,马克·费舍尔,亚历山大·弗雷泽,伊维特·格雷厄姆,帕科·古兹曼,巴里·哈多,马蒂亚斯·哈克,安东尼奥·吉梅诺·耶佩斯,菲利普·科恩,安德烈·马丁斯,森田真本,克里斯托夫·蒙兹,长田正树,中泽俊一（Toshiaki Nakazawa）,马泰奥·内格里
地点：
WMT公司
SIG公司：
SIGMT公司
出版商：
计算语言学协会
注：
页：
503–515
语言：
网址：
https://aclantology.org/2020.wmt-1.62
内政部：
比比键：
引用（ACL）：
张彪（Biao Zhang）、伊万·蒂托夫（Ivan Titov）和里科·森里奇（Rico Sennrich）。2020快速交错双向序列生成.英寸第五届机器翻译会议记录，第503-515页，在线。计算语言学协会。
引用（非正式）：
快速交织双向序列生成（Zhang等人，WMT 2020）
复制引文：
PDF格式：
https://aclantology.org/2020.wmt-1.62.pdf
视频：
 https://slideslive.com/38939588
代码
bzhangGo/zero
数据
补体第四成份, 2014年WMT
PDF格式 引用 搜索 代码 视频