计算机科学››2017,第44卷››发行(Z6):92-96。数字对象标识:10.11896/j.issn.1002-137X.2017.6A.019

• 智能计算 • 上一篇   下一篇

基于双线性函数注意力双-LSTM模型的机器阅读理解

刘飞龙,郝文宁,陈刚,靳大尉,宋佳星  

  1. 中国人民解放军理工大学 南京210007,中国人民解放军理工大学 南京210007,中国人民解放军理工大学 南京210007,中国人民解放军理工大学 南京210007,中国人民解放军理工大学 南京210007
  • 出版日期:2017-12-01 发布日期:2018-12-01

基于双线性函数的机器阅读理解Bi-LSTM模型的注意事项

刘飞龙、郝文宁、陈刚、金大伟、宋嘉兴  

  • 在线:2017年12月1日 出版:2018-12-01

摘要:近年来,随着深度学习(深度学习)在机器阅读理解(机器阅读理解)领域的广泛应用,机器阅读理解迅速发展。针对机器阅读理解中的语义理解和推理,提出一种双线性函数注意力(收件人)双向长短记忆网络(双向长短期存储器)模型,较好地完成了在机器阅读理解中抽取文章、问题、问题候选答案的语义并给出了正确答案的任务。将其应用到四六级(第4类,第6类)听力文本上测试,测试结果显示,以单词为单位的按序输入比以句子为单位的按序输入准确率高2%左右;此外,在基本的模型之上加入多层注意力转移的推理结构后准确率提升了8%左右。

关键词: 深度学习,机器阅读理解,注意力,双-LSTM

摘要:近年来,随着深度学习在机器阅读理解中的广泛应用,机器阅读理解得到了迅速发展。为了提高机器阅读理解的语义理解和推理能力,提出了一种基于双线性函数的Bi-LSTM模型,该模型在提取问题、候选者和文章的语义以及生成正确答案方面具有良好的性能。我们在CET-4和CET-6听力材料上测试了该模型。结果表明,单词级输入的准确率比句子级输入高约2%。此外,加入多层次关注的引用结构后,准确率可提高约8%。

关键词: 深度学习、机器阅读理解、注意力、Bi-LSTM

[1] BURGES C J C.走向文本的机器理解:论文:MSR-TR-2013-125[R].2013。
[2] BORDES A,USUNIER N,C HOPRA S,等.基于存储网络的大规模简单问答[J].arXiv预印本arXiv:1506.020752015。
[3] 库马尔A,IRSOY O,SU J,et al.Ask me anything:Dynamic memory networks for natural language processing[J].arXiv预印本arXiv:1506.072852015。
[4] 柯洛贝特R,韦斯顿J,博图L,等.自然语言处理(几乎)从头开始[J]。机器学习研究杂志,2011,12(8):2493-2537。
[5] SUKHBAATAR S,WESTON J,F ERGUS R.端到端记忆网络[C]‖神经信息处理系统进展.2015:2440-2448。
[6] KALCHBRENNER N,GREFENSTENTTE E,BLUNSOM P.句子建模的卷积神经网络[J].arXiv预印本arXiv:1404.21882014。
[7] 尹宝才,王文通,王立春.深度学习研究综述[J] ●●●●。北京工业大学学报,2015,41(1):48-59.
[8] RUSH A M,CHOPRA S,WESTON J.抽象句子概括的神经注意模型[J].arXiv预印本ar-Xiv:1509.006852015。
[9] 陈德,博尔顿J,曼宁C D。cnn/每日邮件阅读理解任务的全面检查[J].arXiv预印本arXiv:1606.028582016。
[10] HOCHREITER S,SCHMIDHUBER J.长短期记忆[J]。神经计算,1997,9(8):1735-1780。
[11] BAHDANAU D,CHO K,BENGIO Y.联合学习对齐和翻译的神经机器翻译[J].arXiv预印本arXiv:1409.04732014。
[12] KADLEC R,SCHMOID M,BAJGAR O,et al.与注意力总和阅读器网络站在一起的文本[J]。arXiv预印本arXiv:1603.015472016。
[13] HERMANN K M,KOCISKY T,GREFENSTETTE E,等。阅读和理解教学机器[C]‖神经信息处理系统的进展。2015:1693-1701。
[14] 北京大学数学系前代数小组.高等代数(第四章)[M]。等等,2013
[15] LUONG M T,PHAM H,MANNING C D.基于注意的神经机器翻译的有效方法[J].arXiv预印本arXiv:1508.040252015。
[16] http://nlp.stanford.edu/data/glove.6B.zip。
[17] 彭宁顿J,SOCHER R,Manning C D.Glove:GlobalVectors for Word Representation[C]‖EMNLP.2014,14:1532-1543。
[18] 韦斯顿J,CHOPRA S,BORDES A.记忆网络[J].arXiv预印本arXiv:1410.39162014。

找不到相关文章!
已查看
全文


摘要

引用

  共享   
  讨论   
找不到建议阅读的文章!