多源变压器解码器的输入组合策略

利波维奇,Jindřich赫尔克尔,大卫·马雷切克

摘要
在多源序列到序列任务中，注意力机制可以通过多种方式建模。这个主题已经在递归体系结构上进行了深入研究。在本文中，我们将前面的工作扩展到Transformer架构中的编码器-解码器关注点。我们提出了四种不同的输入组合策略以引起编解码器的注意：串行、并行、平坦和分层。我们评估了我们在多式翻译和多源语言翻译任务中的方法。实验表明，该模型能够使用多个信源，并优于单信源基线。
选集ID：
W18-6326号
体积：
第三届机器翻译会议记录：研究论文
月份：
十月
年份：
2018
地址：
比利时布鲁塞尔
编辑：
Ondřej Bojar公司,拉金·查特吉,克里斯蒂安·费德曼,马克·费舍尔,伊维特·格雷厄姆,巴里·哈多,马蒂亚斯·哈克,安东尼奥·吉梅诺·耶佩斯,菲利普·科恩,克里斯托夫·蒙兹,马泰奥·内格里,奥雷利·内维尔,玛丽亚娜·奈维斯,马特·波斯特,露西娅·斯佩西亚,马可·图尔奇,卡林·弗斯波尔
地点：
WMT公司
SIG公司：
SIGMT公司
出版商：
计算语言学协会
注：
页：
253–260
语言：
网址：
https://aclantology.org/W18-6326
内政部：
10.18653/v1/W18-6326型
比比键：
引用（ACL）：
Jind ich Libovick、Jind ich-Helcl和David Mareček。2018多源变压器解码器的输入组合策略.英寸第三届机器翻译会议记录：研究论文，第253-260页，比利时布鲁塞尔。计算语言学协会。
引用（非正式）：
多源变压器解码器的输入组合策略（Libovický等人，WMT 2018）
复制引文：
PDF格式：
https://aclantology.org/W18-6326.pdf
PDF格式 引用 搜索