合理周期

@第{Peng2018RationalR条，title={有理循环}，author={郝鹏、罗伊·施瓦茨、萨姆·汤姆森和诺亚·史密斯}，日志={ArXiv}，年份={2018年}，体积={abs/1808.09357}，网址={https://api.semanticscholar.org/CorpusID:52114454}}
结果表明，最近的几个神经模型使用了有理回归，并提出了一个这样的模型，它在语言建模和文本分类方面的表现优于最近的两个基线，并证明从WFSA等经典模型传递直觉是设计和理解神经模型的有效方法。
[PDF]语义阅读器
33引文
极具影响力的引文
4
背景引文
23
方法引文
12

本文图表

询问这篇论文
β
AI供电

我们的系统试图限制本文中找到的信息。结果质量可能有所不同。了解更多信息关于我们如何产生这些答案。

33引文

作为自动机的序列神经网络

这项工作首先定义了具有有限精度的实时网络接受语言的含义，并定义了网络记忆的度量，这有助于解释神经计算以及神经网络和自然语言语法之间的关系。

序列神经网络作为自动匿名ACL提交

    威廉·库珀·梅里尔
    计算机科学
  • 2019
这项工作首先定义了具有有限精度的实时网络接受语言的含义，并定义了网络记忆的度量，这有助于解释神经计算以及神经网络和自然语言语法之间的关系。

稀疏正则化RNN体系结构学习

这项工作将群套索应用于有理RNN（Peng等人，2018），这是一个与加权有限状态自动机（WFSA）密切相关的模型家族，并表明稀疏化此类模型使其更容易可视化，并且提出了在修剪超过90%的权重后仅依赖于三个WFSA的模型。

RNN体系结构的形式化层次

假设非饱和RNN的实际可学习能力遵循相似的层次结构，并提供了支持此推测的实证结果。

通过谱学习连接加权自动机、张量网络和递归神经网络

本文介绍了不同研究领域中使用的三种模型之间的联系：形式语言和语言学中的加权有限自动机…

用于序列建模的轻量级递归网络

本文提出了一种轻量级递归网络（LRN），它使用输入和遗忘门处理长程相关性以及梯度消失和爆炸，所有参数相关的计算都不考虑递归。

冷启动和可解释性：将正则表达式转换为可训练的递归神经网络

提出了FA-RNN，这是一种递归神经网络，它结合了神经网络和正则表达式规则的优点，在零快照和低资源环境下显著优于以前的神经方法，并且在丰富资源环境下保持很强的竞争力。

通过自然语言处理（在大脑中）解释和改进自然语言处理过程（在机器中）

据推测，改变BERT以更好地与大脑记录保持一致，将使其能够更好地理解语言，并闭合回路，使NLP与认知神经科学之间的互动成为真正的交叉授粉。

通过谱学习连接加权自动机和递归神经网络

揭示了加权有限自动机和二阶递归神经网络之间的基本联系，提出了定义在连续输入向量序列上的线性2-RNN的第一个可证明学习算法。

神经有限状态传感器：超越理性关系

引入了神经有限状态传感器，这是一系列字符串转换模型，定义了成对字符串的联合概率和条件概率分布，这些字符串与seq2seq模型竞争，同时提供了对应于硬单调排列的可解释路径。

68参考文献

强类型递归神经网络

物理和函数编程的思想被引入到RNN设计中，以提供指导原则，尽管受到了更多的限制，但强类型的体系结构实现了较低的训练和与经典体系结构相当的泛化错误。

桥接CNN、RNN和加权有限状态机

SoPa将神经表示学习与加权有限状态自动机（WFSA）相结合，学习传统曲面模式的软版本，并证明了SoPa是单层CNN的扩展，此类CNN等价于SoPa的限制版本，因此也等价于WFSA的限制形式。

基于强化学习的神经网络结构搜索

本文使用递归网络生成神经网络的模型描述，并通过强化学习训练该RNN，以最大限度地提高验证集上生成架构的预期精度。

递归神经网络中的长记忆学习

本文表明，通过对简单的递归神经网络结构进行轻微的结构修改，使用梯度下降法学习实际数据（如自然语言）中的长期模式是完全可能的。

递归神经网络作为加权语言识别器

结果表明，在自然语言处理应用中常用的单层、ReLU激活、带softmax的定量RNN的实际应用中，近似和启发式算法是必要的。

论神经语言模型评价的现状

这项工作通过大规模的自动黑盒超参数调优重新评估了几种流行的体系结构和正则化方法，并得出了一个有些令人惊讶的结论，即标准LSTM体系结构在适当的正则化后，性能优于较新的模型。

自然语言处理的神经网络模型入门

本教程从自然语言处理研究的角度调查神经网络模型，试图使自然语言研究人员跟上神经技术的步伐。

基于输入交换仿射网络的智能语言建模

由输入开关仿射变换组成的循环体系结构，换句话说，是一个没有任何非线性且每个输入有一组权重的RNN，它在维基百科文本的语言建模方面实现了几乎相同的性能。

注意力是你所需要的

提出了一种新的简单网络体系结构Transformer，它完全基于注意机制，完全不需要递归和卷积，通过将其成功应用于具有大量和有限训练数据的英语选区分析，它可以很好地推广到其他任务。

用二阶递归神经网络学习和提取有限状态自动机

结果表明，使用实时前向训练算法的递归二阶神经网络可以很容易地从正负字符串训练样本中推断出小的正则文法，并且许多神经网络状态机是动态稳定的，也就是说，它们可以正确地分类许多长期看不到的字符串。
...