×
丹尼尔·M·耶林。;盖尔·韦斯

从递归神经网络合成无上下文文法。 （英语） Zbl 1467.68077号

Groote，Jan Friso（编辑）等人，《系统构建和分析的工具和算法》。第27届国际会议，TACAS 2021，作为欧洲软件理论和实践联席会议的一部分，ETAPS 2021，卢森堡市，2021年3月27日至4月1日。诉讼程序。第一部分查姆：施普林格。莱克特。注释计算。科学。12651, 351-369 (2021).
摘要：我们提出了一种从训练好的递归神经网络（RNN）中提取上下文无关文法（CFG）子类的算法。我们开发了一个新的框架，模式规则集（PRS），描述近似于非正则语言的确定性有限自动机（DFA）序列。我们提出了一种在这种自动机序列后面恢复PRS的算法，并将其应用于使用\（L^*\）算法从训练的RNN中提取的自动机序列。然后，我们将展示如何将PRS转换为CFG，从而实现对所学语言的熟悉和有用的演示。
提取RNN的学习语言对于促进对RNN的理解和验证其正确性非常重要。此外，提取的CFG可以在正确句子分类中增加RNN，因为随着输入序列的递归深度和匹配分隔符之间距离的增加，RNN的预测精度会降低。
关于整个系列，请参见[Zbl 1466.68015号].

引用于4文件

MSC公司：

68问题32 计算学习理论
2012年第68季度 语法和重写系统
65年第68季度 形式语言和自动机
68T05型 人工智能中的学习和自适应系统

关键词：

模型提取;学习上下文无关语法;有限状态机;循环神经网络
PDF格式BibTeX公司 XML格式引用
\textit{D.M.Yellin}和\textit{G.Weiss}，莱克特。注释计算。科学。12651、351--369（2021；Zbl 1467.68077）
全文： 内政部 arXiv公司

参考文献：

[1] Angluin，D.：从实证数据对形式语言的归纳推理。信息控制。45（2），117-135（1980），doi:10.1016/S0019-9958（80）90285-5·Zbl 0459.68051号
[2] Angluin，D.：从查询和反例中学习正则集。Inf.计算。75(2), 87-106 (1987). doi:10.1016/0890-5401（87）90052-6·兹伯利0636.68112
[3] Ayache，S.，Eyraud，R.，Goudian，N.：使用加权自动机解释序列数据上的黑箱。收录于：Unold，O.，Dyrka，W.，Wieczorek，W.（编辑）《第十四届语法推理国际会议论文集》，ICGI 2018。《机器学习研究院刊》，第93卷，第81-103页。PMLR（2018），http://proceedings.mlr.press/v93/ayache19a.html
[4] Bahdanau，D.，Cho，K.，Bengio，Y.：通过联合学习对齐和翻译实现神经机器翻译。In:Bengio，Y.，LeCun，Y.（编辑）第三届国际学习代表大会，ICLR 2015（2015），http://arxiv.org/abs/1409.0473
[5] Bernardy，J.P.：递归神经网络能学习嵌套递归吗？收录于：《语言技术中的语言问题》，2018年第16卷。CSLI出版物（2018），https://www.aclweb.org/antology/2018.lilt-16.1
[6] Cechin，A.L.，Simon，D.R.P.，Stertz，K.：使用K均值和模糊聚类从递归神经网络中提取状态自动机。收录：智利计算机科学学会第23届国际会议（SCCC 2003）。第73-78页。IEEE计算机学会（2003）。doi:10.1109/SCC.2003.1245447
[7] Clark，A.，Eyraud，R.：可替换上下文无关语言极限下的多项式识别。J.马赫。学习。第81725-1745号决议（2007年），http://dl.acm.org/citation.cfm？id=1314556 ·Zbl 1222.68093号
[8] Clark，A.，Eyraud，R.，Habrard，A.：上下文无关语言推理的多项式算法。摘自：Clark，A.，Coste，F.，Miclet，L.（编辑）《语法推理：算法和应用》，第九届国际学术讨论会，ICGI 2008，会议记录。计算机科学课堂讲稿，第5278卷，第29-42页。施普林格（2008）。doi:10.1007/978-3-540-88009-7_3·兹比尔1177.68109
[9] Das，S.，Giles，C.L.，Sun，G.：学习无上下文语法：具有外部堆栈存储器的递归神经网络的能力和局限性。摘自：认知科学学会会议。第791-795页。摩根考夫曼出版社（1992）
[10] D'Ulizia，A.，Ferri，F.，Grifoni，P.：自然语言学习中语法推理方法的调查。Artif公司。智力。版本36（1），1-27（2011）。doi:10.1007/s10462-010-9199-1
[11] Gold，E.M.：限制中的语言识别。信息与控制10（5），447-474（1967年5月），doi:10.1016/S0019-9958（67）91165-5·Zbl 0259.68032号
[12] Hailesilassie，T.：深度神经网络的规则提取算法：综述。国际计算机科学与信息安全杂志（IJCSIS）14（7）（2016年7月）
[13] Hewitt，J.、Hahn，M.、Ganguli，S.、Liang，P.、Manning，C.D.：RNN可以生成具有最佳内存的有界层次语言。摘自：《2020年自然语言处理实证方法会议论文集》。1978-2010页。计算语言学协会（2020），https://www.aclweb.org/antology/2020.emnlp-main.156
[14] Hochreiter，S.，Schmidhuber，J.：长期短期记忆。神经计算9（8），1735-1780（1997）。doi:10.1162/neco.1997.9.8.1735
[15] Jacobsson，H.：从递归神经网络中提取规则：分类和综述。神经计算17（6），1223-1263（2005）。doi:10.1162/0899766053630350·Zbl 1087.68089号
[16] Kozen，D.C.：Chomsky-Schützenberger定理。In：自动化和可计算性。第198-200页。施普林格-柏林-海德堡，柏林，海德堡（1977）
[17] Luong，T.，Pham，H.，Manning，C.D.：基于注意力的神经机器翻译的有效方法。在：Màrquez，L.，Callison Burch，C.，Su，J.，Pighin，D.，Marton，Y.（编辑）2015年自然语言处理实证方法会议记录，EMNLP 2015。第1412-1421页。计算语言学协会（2015）。doi:10.18653/v1/d15-1166
[18] Omlin，C.W.，Giles，C.L.：从离散时间递归神经网络中提取规则。神经网络9（1），41-52（1996）。doi:10.1016/0893-6080（95）00086-0
[19] Sennhauser，L.，Berwick，R.：评估LSTM学习无语境语法的能力。在：2018 EMNLP研讨会论文集BlackboxNLP：NLP的神经网络分析和解释。第115-124页。计算语言学协会（2018年11月）。doi:10.18653/v1/W18-5414
[20] Siegelmann，H.T.，Sontag，E.D.：关于神经网络的计算能力。J.计算。系统。科学。50(1), 132-150 (1995). doi:10.1006/jcss.1995.1013·Zbl 0826.68104号
[21] Skachkova，N.，Trost，T.，Klakow，D.：循环神经网络的右括号。摘自：2018年EMNLP BlackboxNLP研讨会论文集：NLP的神经网络分析和解释。第232-239页。计算语言学协会（2018年11月）。doi:10.18653/v1/W18-5425
[22] 史蒂文森，A.，科迪，J.R.：软件工程中语法推理的调查。科学。计算。程序。96（第4页），444-459（2014年12月）。doi:10.1016/j.scico/2014.05.008
[23] Sun，G.、Giles，C.L.、Chen，H.：神经网络下推自动机：架构、动力学和训练。In：Giles，C.L.，Gori，M.（编辑）《序列和数据结构的自适应处理》，神经网络国际暑期学校。计算机科学讲义，第1387卷，第296-345页。施普林格（1997）。doi:10.1007/BFb0054003
[24] Thrun，S.：从分布式表示的人工神经网络中提取规则。In:Tesauro，G.，Touretzky，D.S.，Leen，T.K.（编辑）《神经信息处理系统进展》7，NIPS会议，1994年。第505-512页。麻省理工学院出版社（1994），http://papers.nips.cc/paper/924-extrating-rules-from-artificial-neural-networks-with-distributed-representations
[25] Wang，Q.，Zhang，K.，Liu，X.，Giles，C.L.：用确定性有限自动机连接一阶和二阶递归网络。CoRR abs/1911.04644（2019），http://arxiv.org/abs/1911.04644
[26] Weiss，G.，Goldberg，Y.，Yahav，E.：使用查询和反例从递归神经网络中提取自动机。In：Dy，J.G.，Krause，A.（编辑）第35届国际机器学习大会论文集，ICML 2018。机器学习研究论文集，第80卷，第5244-5253页。PMLR（2018），http://proceedings.mlr.press/v80/weiss18a.html
[27] Yellin，D.M.，Weiss，G.：从递归神经网络合成无上下文文法（扩展版）（2021），http://arxiv.org/abs/2101.08200 ·Zbl 1467.68077号
[28] Yu，X.，Vu，N.T.，Kuhn，J.：使用基于注意力的Seq2Seq模型学习Dyck语言。在：2019 ACL研讨会论文集BlackboxNLP：NLP的神经网络分析和解释。第138-146页。计算语言学协会（2019），https://www.aclweb.org/antology/W19-4815
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。