多层级信息增强异构图的篇章级话题分割模型

doi:10.3778/j.issn.1002-8331.2212-0363

摘要/摘要

摘要：话题分割是自然语言处理领域的基础任务之一，按照话题相关性原则将文本分割为多个话题相关的文本块。针对现有话题分割模型提取句子深层语义信息方面明显不足，并且忽略了篇章中的层次信息和上下文交互等问题，提出了一种多层级信息增强异构图的篇章级话题分割模型MHG-TS公司该方法利用篇章中的句子和关键词构建异构图网络，引入BERT（误码率）预训练语言模型捕获图中节点的深层语义特征，在句子节点一阶邻域层级，利用图注意力机制为语义关联的节点分配更大的边权重，增强了一阶邻域中语义关联节点的信息交互；在关键词节点层级，引入关键词信息加强句子语义特征表示；在句子高阶邻域层级，利用关键词节点作为中介，构建了句子节点高阶邻域中的跨句信息交互，丰富了句子节点之间的非序列关系，最终通过融合多层级信息实现包含全局语义信息的句子表示。相较于当下流行的模型，在多个数据集上，三个评价指标性能平均值分别提高了3.08%、2.56%、5.92%，取得了最佳的实验结果。

关键词: 图注意力机制, 预训练语言模型, 话题分割, 句子表示

摘要：主题分割是自然语言处理领域的一项基本任务，它根据语义相关性原理将文本划分为几个语义相关的文本块。然而，现有的主题切分模型不足以提取句子的深层语义信息，并进一步忽视了语篇中的层次信息和语境交互。为了解决上述问题，本文提出了一种语篇级主题分割模型MHG-TS，该模型通过多级信息增强异构图。MHG-TS从语篇中的句子和关键词构建异构图网络，采用预训练语言模型BERT捕捉图中节点的深层语义特征。在一阶邻域层次上，该模型利用图注意机制为语义关联节点分配更多权重，增强了语义关联节点在一阶邻居中的信息交互。在关键词节点层，采用关键词信息来加强语义特征的表示。在高阶邻域层次上，采用关键词节点作为中介，在高阶邻居中构建跨句子信息交互，丰富句子节点之间的非顺序关系，通过与多层次信息的集成，最终实现了包含全局语义信息的句子表示。与现有模型相比，MHG-TS在多个数据集上的三个评价指标的性能平均值分别提高了3.08%、2.56%和5.92%，获得了最佳的实验效果。

关键词： 图形注意机制，预训练语言模型，主题分割，句子编码

张洋宁, 朱静, 董瑞, 尤泽顺, 王震. 多层级信息增强异构图的篇章级话题分割模型[J] ●●●●。计算机工程与应用, 2024, 60(9): 203-211.

张阳宁、朱静、董瑞、尤泽顺、王震。基于多级信息增强异质图网络的语篇级主题分割模型[J]。计算机工程与应用，2024，60（9）：203-211。

参考文献

[1] SHTEKH G，KAZAKOVA P，NIKITINSKY N等。探讨主题分割对信息检索质量的影响[C]//第五届国际互联网科学大会论文集，2018年10月24日至26日，俄罗斯圣彼得堡。[S.l]：施普林格国际出版社，2018:131-140。
[2] 秦兵, 刘挺, 李生. 多文档自动文摘综述[J] ●●●●。中文信息学报, 2005, 19(6): 15-22.
QIN B，LIU T，LI S.多文档摘要综述[J]。中国信息处理杂志，2005，19（6）：15-22。
[3] 张仰森, 段宇翔, 黄改娟, 等. 社交媒体话题检测与追踪技术研究综述[J] ●●●●。中文信息学报, 2019, 33(7): 1-10.
张燕生，段燕霞，黄国杰，等。社交媒体中话题检测与跟踪方法的研究[J]。中国信息处理杂志，2019，33（7）：1-10。
[4] PONZETTO S P，NANNI F，格拉瓦。使用语义相关图进行无监督文本分割[C]//词汇和计算语义联合会议，2016年。
[5] KOSHOREK O，COHEN A，MOR N，等.作为监督学习任务的文本分割[J]。arXiv:1803.093372018年。
[6] HEARST M.文本平铺：将文本分割为多段副主题段落[J]。计算语言学，1997，23（1）：33-64。
[7] 邓妮斯S，兰道尔T，金奇W，等.潜在语义分析导论[C]//认知科学学会第25届年会，马萨诸塞州波士顿，2003:25。
[8] RIEDL M，BIEMANN C.TopicTiling:一种基于LDA的文本分割算法[C]//ACL 2012学生研究研讨会论文集，2012:37-42。
[9] WANG L，LI S，LüY，et al.学习对主题分割的语义连贯性进行排序[C]//2017年自然语言处理经验方法会议论文集，2017:1340-1344。
[10] 李杰，孙A，JOTY S R.SegBot:一种基于指针网络的通用神经文本分割模型[C]//第27届国际人工智能联合会议论文集，2018:4166-4172。
[11] BARROW J，JAIN R，MORARIU V，et al.文档分割和段标记的联合模型[C]//计算语言学协会第58届年会论文集，2020：313-322。
[12] 施赫，周赫，陈杰，等.基于树的神经句子建模[J]。arXiv:1808.096442018年。
[13] SOMASUNDARAN S.用于改进文本分割的两级变换器和辅助相干建模[C]//《AAAI人工智能会议论文集》，2020年：7797-7804。
[14] 戴文林J，张敏伟，李凯，等.语言理解深层双向变换器的预训练[J]。arXiv:1810.048052018年。
[15] 卢卡西克M，达达切夫B，西蒙斯G，等.基于跨段注意的文本分割[J]。arXiv:2004.145352020年。
[16] 姚力，毛C，罗勇。文本分类的图卷积网络[C]//美国人工智能学会人工智能会议论文集，2019:7370-7377。
[17] 林毅，孟毅，孙X，等.基于GCN和BERT相结合的译文分类[J]。arXiv:2105。
05727, 2021.
[18] 徐邵洋, 蒋峰, 李培峰. 基于篇章结构图网络的话题分割[J] ●●●●。中文信息学报, 2021, 35(12): 17-27.
徐世英，姜芳，李鹏飞.基于语篇结构图网络的主题切分[J]。中国信息处理杂志，2021，35（12）：17-27。
[19] AIZAWA A.tf-idf测度的信息理论视角[J]。信息处理与管理，2003，39（1）：45-65。
[20] HOCHREITER S，SCHMIDHUBER J.长短期记忆[J]。神经计算，1997，9（8）：1735-1780。
[21]冷Z，谭M，刘C，等.PolyLoss:分类损失函数的多项式展开法[J]。arXiv:2204.125112022。
[22]ARNOLD S，SCHNEIDER R，CUDRé-MAUROUX P，et al.SECTOR：连贯主题分割与分类的神经模型[J]。计算语言学协会学报，2019年，7:169-184。
[23]张磊，周强.对话流主题分割[C]//2019亚太信号与信息处理协会年会（APSIPA ASC），2019。
[24]CHOI F Y Y.与领域无关的线性文本分割进展[C]//计算语言学协会第一届北美分会会议记录（NAACL 2000），2000。
[25]CHEN H，BRANAVAN S R K，BARZILAY R，et al.使用潜在排列的文档结构全球模型[C]//人类语言技术学报：计算语言学协会北美分会2009年年会，2009。
[26]BEEFERMAN D，BERGER A，LAFFERTY J.文本分割的统计模型[J]。机器学习，1999，34（1）：177-210。
[27]PEVZNER L，HEARST M A.文本分割评估指标的批判与改进[J]。计算语言学，2002，28（1）：19-36。
[28]FOURNIER C.使用边界编辑距离评估文本分割[C]//计算语言学协会第51届年会论文集（第1卷：长篇论文），2013:1702-1712。
[29]KINGMA D P，BA J.Adam：一种随机优化方法[J]。arXiv:1412.69802014年。