基于深度学习的文本自动摘要方案

doi:10.11772/j.issn.1001-9081.2018081958

计算机应用››2019,第39卷››问题（2）: 311-315.内政部：10.11772/j.issn.1001-9081.2018081958

• 人工智能 • 下一篇

基于深度学习的文本自动摘要方案

张克君^1,2,李伟男²,钱榕¹,史泰猛¹,焦萌¹

1北京电子科技学院计算机科学与技术系, 北京 100070;
2西安电子科技大学计算机科学与技术学院, 西安 710071

收稿日期:2018-09-20 修回日期:2018-11-14 出版日期:2019-02-10 发布日期:2019-02-15
通讯作者:李伟男
作者简介:张克君(1972-),男,山东临沂人,副教授,博士,共因失效会员,主要研究方向:信息安全、智能信息处理;李伟男(1994-),男,陕西西安人,硕士研究生,主要研究方向:自动摘要;钱榕(1970-),男,山东济南人,副教授,博士,共因失效会员,主要研究方向:复杂网络、数据挖掘;史泰猛(1995-),男,河北衡水人,硕士研究生,主要研究方向:文本分类;焦萌(1994-),女,河北石家庄人,硕士研究生,主要研究方向:文本主题挖掘。
基金资助:
国家重点研发计划项目（2018YFB1004101）

基于深度学习的文本自动摘要方案

张克军^1,2,李维南²,钱融¹,史泰萌¹,焦梦¹

1.北京电子科学技术研究院计算机科学与技术系，北京100070，中国；
2.西安西安西安西安西电大学计算机科学与技术学院，邮编710071

收到：2018-09-20 修订过的：2018-11-14 在线：2019-02-10 出版：2019-02-15
支持单位：
这项工作得到了国家重点研发计划（2018YFB1004101）的部分支持。

摘要/摘要

摘要：针对自然语言处理（NLP）生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题，提出了一种新的生成式自动摘要解决方案，包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以跳过图示方法生成的词向量为基础，结合摘要的特点，引入词性、词频和逆文本频率三个词特征，有效地提高了词语的理解；而提出的Bi-MulRnn公司+生成式自动摘要模型以序列映射（seq2seq）与自编码器结构为基础，引入注意力机制、门控循环单元（GRU）结构、双向循环神经网络（BiRnn）、多层循环神经网络（MultiRnn）和集束搜索，提高了生成式摘要准确性与语句流畅度。基于大规模中文短文本摘要（LCSTS）数据集的实验结果表明，该方案能够有效地解决短文本生成式摘要问题，并在胭脂标准评价体系中表现良好，提高了摘要准确性与语句流畅度。

关键词: 自然语言处理, 生成式文本自动摘要, 序列映射, 自编码器, 词向量, 循环神经网络

摘要：针对自然语言处理（NLP）抽象自动摘要领域中语义理解不足、摘要句不当、摘要不准确等问题，提出了一种新的自动摘要解决方案，包括改进的词向量生成技术和抽象的自动文摘模型。改进的词向量生成技术是基于skip-gram方法生成的词向量。结合抽象的特点，引入了词性、词频和逆文本频率三个词的特征，有效地提高了对词的理解。提出的Bi-MulRnn+抽象自动摘要模型基于序列到序列（seq2seq）框架和自编码结构。该模型通过引入注意机制、门控递归单元（GRU）门结构、双向递归神经网络（BiRnn）和多层递归神经网络，提高了抽象摘要的摘要准确性和句子流畅性。大规模中文短文本摘要（LCSTS）数据集的实验结果表明，该方案能够有效地解决短文本的抽象摘要问题，在Rouge标准评价系统中具有良好的性能，提高了摘要的准确性和句子的流畅性。

关键词： 自然语言处理（NLP），抽象自动文本摘要，序列到序列（seq2seq），自编码器，单词向量，递归神经网络（RNN）

中图分类号:

张克君, 李伟男, 钱榕, 史泰猛, 焦萌. 基于深度学习的文本自动摘要方案[J] ●●●●。计算机应用, 2019, 39(2): 311-315.

张克军、李维南、钱荣、史泰萌、焦萌。基于深度学习的自动文本摘要方案[J]。计算机应用杂志，2019，39（2）：311-315。

参考文献

[1] BAHDANAU D，CHO K H，BENGIO Y。联合学习对齐和翻译的神经机器翻译[EB/OL]。[2018-03-20]. https://arxiv.org/pdf/1409.0473v7.pdf。
[2] BAHDANAU D，CHOROWSKI J，SERDYUK D，et al.基于端到端注意力的大词汇语音识别[C]//2016 IEEE声学、语音和信号处理国际会议论文集。新泽西州皮斯卡塔韦：IEEE，2016:4945-4949。
[3] VENUGOPALAN S，ROHRBACH M，DONAHUE J，et al.序列到序列视频到文本[C]//2015 IEEE计算机视觉国际会议论文集。新泽西州皮斯卡塔韦：IEEE，2015:4534-4542。
[4] RUSH A M，CHOPRA S，WESTON J.抽象句子概括的神经注意模型[EB/OL]。[2018-02-23]. https://arxiv.org/pdf/1509.00685.pdf。
[5] CHOPRA S，AULI M，RUSH A M.使用注意递归神经网络进行抽象句子摘要[EB/OL]。[2018-03-21] http://aclweb.org/antology/N/N16/N16-1012.pdf。
[6] NALLAPATI R，ZHOU B W，dos SANTOS C N，et al.使用序列到序列RNN及其后的抽象文本摘要[C]//第20届SIGNLL计算自然语言学习会议论文集。宾夕法尼亚州斯特劳德斯堡：ACL，2016:280-290。
[7] ABADI M，BARHAM P，CHEN J M，等.张量流：大规模机器学习系统[C]//第12届USENIX操作系统设计与实现会议论文集。加利福尼亚州伯克利：USENIX，2016:265-283。
[8] BRITZ D，GOLDIE A，LUONG M-T，等。神经机器翻译体系结构的大规模探索[EB/OL]。[2018-04-05]. https://arxiv.org/pdf/1703.03906.pdf。
[9] GEHRING J，AULI M，GRANGIER D，等。卷积序列到序列学习[EB/OL]。[2018-04-23]. https://arxiv.org/pdf/1705.03122.pdf。
[10] 李鹏杰，LAM W，BING L D，等.基于级联注意的非监督信息提取压缩摘要[C]//2017年自然语言处理经验方法会议论文集。宾夕法尼亚州斯特劳德斯堡：ACL，2017:2081-2090。
[11] CHUNG J Y，GULCEHRE C，CHO K H，等.门控递归神经网络在序列建模中的实证评价[EB/OL]。[2018-04-23]. https://arxiv.org/pdf/1412.3555v1.pdf。
[12] LOPYREV K.用递归神经网络生成新闻标题[EB/OL]。[2018-03-20]. https://arxiv.org/pdf/1512.01712.pdf。
[13] MNIH V，HEESS N，GRAVES A.视觉注意的重复模型[EB/OL]。[2018-04-08]. https://papers.nips.cc/paper/5542-recurrent-models-of-visual-antelection.pdf。
[14] LUONG M-T，PHAM H，MANNING C D.基于注意的神经机器翻译的有效方法[C]//2015年自然语言处理经验方法会议论文集。宾夕法尼亚州斯特劳德斯堡：ACL，2015:1412-1421。
[15] JEAN S，CHO K H，MEMISEVIC R等。关于使用非常大的目标词汇进行神经机器翻译[C]//第53届ACL年会和第7届国际自然语言处理联合会议论文集。宾夕法尼亚州斯特劳德斯堡：ACL，2015:1-10。
[16] 阿亚纳，沈世清，赵毅，等。基于句子优化的神经网络标题生成[EB/OL]。[2018-03-23]. https://arxiv.org/pdf/1604.01904.pdf。
[17] LIN C Y，HOVY E.使用n个-gram co-occurrence statistics[C]//ACL人类语言技术北美分会2003年会议记录。宾夕法尼亚州斯特劳德斯堡：ACL，2003:71-78。
[18] 户保田.基于深度神经网络的文本表示及其应用[D] ●●●●。哈尔滨:哈尔滨工业大学,2016:91-94. （胡伯泰。文本表示与应用的深度神经网络[D]。哈尔滨：哈尔滨工业大学，2016:91-94。）
[19] HU B T，CHEN Q C，ZHU F Z.LCSTS:大规模中文短文本摘要数据集[C]//2015年自然语言处理实证方法会议论文集。宾夕法尼亚州斯特劳德斯堡：ACL，2015:1967-1972。

基于深度学习的文本自动摘要方案

基于深度学习的文本自动摘要方案

PDF格式

可视化

摘要/摘要

引用本文

使用本文

参考文献

相关文章15

编辑推荐

韵律学

[1]	谢德峰, 吉建民.融入句法感知表示进行句法增强的语义解析[J] ●●●●。计算机应用, 2021, 41(9): 2489-2495.
[2]	刘雅璇, 钟勇.基于头实体注意力的实体关系联合抽取方法[J] ●●●●。计算机应用, 2021, 41(9): 2517-2522.
[3]	刘子辰, 李小娟, 韦伟.基于循环神经网络的专利价格自动评估[J] ●●●●。计算机应用, 2021, 41(9): 2532-2538.
[4]	赵宏, 孔东一.图像特征注意力与自适应注意力融合的图像内容中文描述[J] ●●●●。计算机应用, 2021, 41(9): 2496-2503.
[5]	周险兵, 樊小超, 任鸽, 杨勇.基于多层次语义特征的英文作文自动评分方法[J] ●●●●。计算机应用, 2021, 41(8): 2205-2211.
[6]	王伟, 赵尔平, 崔志远, 孙浩.基于知网和Word2vec词向量表示的多特征融合消歧方法[J] ●●●●。计算机应用, 2021, 41(8): 2193-2198.
[7]	丁尹, 桑楠, 李晓瑜, 吴飞舟.基于循环神经网络的电信行业容量数据预测方法[J] ●●●●。计算机应用, 2021, 41(8): 2373-2378.
[8]	张元钧, 张曦煌.基于图卷积与长短期记忆网络的动态网络表示学习模型[J] ●●●●。计算机应用, 2021, 41(7): 1857-1864.
[9]	赵小虎, 李晓.基于多特征提取的图像语义描述算法[J] ●●●●。计算机应用, 2021, 41(6): 1640-1646.
[10]	李文惠, 曾上游, 王金金.基于改进注意力机制的图像描述生成算法[J] ●●●●。计算机应用, 2021, 41(5): 1262-1267.
[11]	刘睿珩, 叶霞, 岳增营.面向自然语言处理任务的预训练模型综述[J] ●●●●。计算机应用, 2021, 41(5): 1236-1246.
[12]	孙鹤立, 孙玉柱, 张晓云.基于生成对抗网络的事件描述生成[J] ●●●●。计算机应用, 2021, 41(5): 1256-1261.
[13]	倪水平, 李慧芳.基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法[J] ●●●●。计算机应用, 2021, 41(5): 1514-1521.
[14]	王朱君, 王石, 李雪晴, 朱俊武.基于深度学习的事件因果关系抽取综述[J] ●●●●。计算机应用, 2021, 41(5): 1247-1255.
[15]	李雪晴, 王石, 王朱君, 朱俊武.自然语言生成综述[J] ●●●●。计算机应用, 2021, 41(5): 1227-1235.