用于序列建模的轻量级递归网络

张彪,里科·森里奇

摘要
递归网络在复杂递归单元的帮助下，在各种顺序任务上取得了巨大成功，但由于并行性较差，计算效率严重低下。缓解此问题的一个方向是将大量计算转移到递归之外。在本文中，我们提出了一种轻量级递归网络，即LRN。LRN使用输入和遗忘门来处理长期依赖性以及梯度消失和爆炸，所有与参数相关的计算都不考虑递归。LRN中的递归只操纵分配给每个令牌的权重，将LRN与自注意网络紧密连接起来。我们将LRN应用于几个神经序列模型中现有递归单元的替换。在六个NLP任务上的大量实验表明，LRN在模型性能几乎没有损失的情况下获得了最佳的运行效率。
选集ID：
第19-1149页
体积：
计算语言学协会第57届年会会议记录
月份：
七月
年份：
2019
地址：
意大利佛罗伦萨
编辑：
安娜·科霍恩,大卫·特拉姆,路易斯·马奎兹
地点：
国际计算语言学协会
SIG公司：
出版商：
计算语言学协会
注：
页：
1538–1548
语言：
网址：
https://aclantology.org/P19-1149
内政部：
10.18653/v1/P19-1149
比比键：
引用（ACL）：
张彪和里科·森里奇。2019用于序列建模的轻量级递归网络.英寸计算语言学协会第57届年会会议记录第1538–1548页，意大利佛罗伦萨。计算语言学协会。
引用（非正式）：
用于序列建模的轻量级递归网络（Zhang&Sennrich，ACL 2019）
复制引文：
PDF格式：
https://aclcollectory.org/P19-1149.pdf
代码
bzhang执行/lrn
数据
CoNLL 2003年, SNLI公司, 小队, 2014年WMT
PDF格式 引用 搜索 代码