论有限精度的实用计算能力循环神经网络用于语言识别的

盖尔·韦斯，约夫·戈德伯格，埃兰·雅哈

摘要
虽然递归神经网络（RNN）众所周知是图灵完备的，但这依赖于状态的无限精度和无限计算时间。我们考虑具有有限精度的RNN，其计算时间在输入长度上是线性的。在这些限制下，我们表明不同的RNN变体具有不同的计算能力。特别地，我们证明了具有ReLU激活的LSTM和Elman-RNN严格地强于具有挤压激活的RNN和GRU。这是因为LSTM和ReLU-RNN可以轻松实现计数行为。我们的经验表明，LSTM确实学会了有效地使用计数机制。
选集ID：
第18-2117页
体积：
计算语言学协会第56届年会论文集（第2卷：短文）
月份：
七月
年份：
2018
地址：
澳大利亚墨尔本
编辑：
艾丽娜·古列维奇，Yusuke Miyao先生
地点：
辅助控制线
信号：
出版商：
计算语言学协会
注：
页：
740–745
语言：
网址：
https://aclantology.org/P18-2117
内政部：
10.18653/v1/P18-2117
比比键：
引用（ACL）：
盖尔·韦斯（Gail Weiss）、尤夫·戈德伯格（Yoav Goldberg）和埃兰·雅哈（Eran Yahav）。2018语言识别中有限精度RNN的实用计算能力.英寸计算语言学协会第56届年会论文集（第2卷：短文），第740-745页，澳大利亚墨尔本。计算语言学协会。
引用（非正式）：
语言识别中有限精度RNN的实用计算能力（Weiss等人，ACL 2018）
复制引文：
PDF格式：
https://aclantology.org/P18-2117.pdf
注：
P18-2117.注释.pdf
演示：
P18-2117.演示.pdf
视频：
 https://aclantology.org/P18-2117.mp4网站
PDF格式 引用 搜索 注释 演示文稿 视频