融合语义解释和DeBERTa的极短文本层次分类

doi:10.11896/jsjkx.231100134

摘要

摘要：文本层次分类在社会评论主题分类和搜索词分类等场景中有着重要的应用。这些场景中的数据往往表现出短文本特征，这反映在信息的稀疏性和敏感性上。它对模型特征表示和分类性能提出了巨大挑战。层次标签空间的复杂性和关联性进一步加剧了这些困难。鉴于此，提出了一种融合语义解释和DeBERTa模型的方法，该方法的核心思想是：引入特定上下文中单个单词或短语的语义解释，以补充和优化模型获取的内容信息；结合DeBERTa模型的去纠缠注意力和增强掩码解码器，更好地掌握位置信息，提高特征提取能力。该方法首先对训练文本进行语法消歧和词汇注释，然后构建GlossDeBERTa模型，以高精度进行语义消歧，以获得语义解释序列。然后使用SimCSE框架将解释序列矢量化，以更好地表征解释序列中的句子信息。最后，训练文本通过DeBERTa模型神经网络得到原始文本的特征向量表示，然后将其与解释序列中的相应特征向量相加，并传递给多类分类器。实验选择短文本分层分类数据集TREC的非常短的文本部分，并扩展数据，得到平均长度为12个单词的数据集。多组对比实验表明，本文提出的融合语义解释的DeBERTa模型具有最好的性能，验证集和测试集上的准确性、F1-micro和F1-macro值远远优于其他算法模型，它能很好地处理极短文本的层次分类任务。

关键词： 非常短的文本，分级分类，语义解释，德伯塔， GlossDeBERTa公司， SimCSE公司

CLC编号：

TP391.1标准

陈浩阳、张磊。结合语义解释和DeBERTa的极短文本层次分类[J]。计算机科学，2024，51（5）：250-257。

工具书类

[1] SIDDHARTHA B，CEM A，FRANCISCO P S，等.多标签文本分类的层次迁移学习[C]//计算语言学协会第57届年会论文集。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2019:6295-6300。
[2] 周杰，马春平，龙德科，等.文本层次分类的层次软件全局模型[C]//计算语言学协会第58届年会论文集。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2020:1106-1117。
[3] CHEN H B，MA Q L，LIN Z X，等.面向层次文本分类的层次软件标记语义匹配网络[C]//计算语言学协会第59届年会和第11届国际自然语言处理联合会议论文集。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2021:4370-4379。
[4] 黄昌明，王士林.基于词包和TF-IDF的短文本分类研究[J]。软件工程，2020,23（3）：1-3。
[5] WALLACH H M.主题建模：超越纸袋[C]//第23届机器学习国际会议论文集。纽约：ACM，2006:977-984。
[6] 陈强，姚力，杨J.基于LDA主题模型的短文本分类[C]//2016年国际音频、语言和图像处理会议论文集。皮斯卡塔韦：IEEE，2016:749-753。
[7] DEVLIN J，CHANG M，LEE K，et al.BERT:语言理解深度双向变换器的预训练[C]//计算语言学协会北美分会2019年会议记录：人类语言技术。明尼阿波利斯：ACL，2019:4171-4186。
[8] 刘毅，OTT M，GOYAL N，等。RoBERTa:一种稳健优化的BERT预训练方法[EB/OL]。https://arxiv.org/abs/1907.11692。
[9] 陈立群，秦杰，陆文德，等.基于自关注机制的短文本分类方法[J]。计算机工程与设计，2022,43（3）：728-734。
[10] 胡毅，李毅，杨涛，等.基于卷积神经网络的短文本分类方法[C]//2018年第十五届控制、自动化、机器人与视觉国际会议（ICARCV）进程。皮斯卡塔韦：IEEE 20162018:1432-1435。
[11] LY U S，LIU J.将卷积与递归网络结合用于文本分类[EB/OL]。https://arxiv.org/abs/2006.15795。
[12] YANG F H，WANG X W，LI J.BERT-TextCNN-基于临床试验短文本的分类[J]。中华医学图书馆与信息科学杂志，2021,30（1）：54-59。
[13] 刘毅，张坤，黄忠，等.通过知识图集成提高层次文本分类能力[C]//计算语言学协会研究结果：ACL，Stroudsburg.PA：计算语言学协会，2023:5797-5810。
[14] 李伯赫，向永X，冯德，等.知识感知与双重注意相结合的短文本分类模型[J]。软件期刊，2022,33（10）：3565-3581。
[15] HOPPE F.使用基于图形的知识表示改进零炮文本分类[C]//ISWC 2022年博士联合会论文集。FIZ Karlsruhe，2022:3165:4。
[16] 郑克星，王义清，姚清明，等.归纳短文本分类中的简化图形学习[C]//2022年自然语言处理经验方法会议的进程.宾夕法尼亚州：计算语言学协会，2020:10717-10724。
[17] HE P，LIU X，GAO J，et al.DeBERTa:DeBERTa-enhancedBERT with Dis纠缠注意力[EB/OL]。https://arxiv.org/abs/2006.03654。
[18] Lesk M.使用机器可读词典进行自动意义消歧：如何区分松果和冰淇淋果[C]//第五届国际系统文档年会论文集。纽约：ACM，1986:24-26。
[19] MONA D，PHILIP R.一种使用平行语料库进行词义标注的无监督方法[C]//计算语言学协会第40届年会论文集。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2002:255-262。
[20] BARBA E，PROCOPIO L，NAVIGLI R.ExtEnD:抽取实体消歧[C]//计算语言学协会第60届年会会议记录。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2022:2478-2488。
[21]黄磊，孙C，邱X，等.GlossBERT:BERT for Word Sense Disambiguration with Gloss Knowledge[C]//2019年自然语言处理实证方法会议暨第九届国际自然语言处理联合会议（EMNLP-IJCNLP）论文集。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2019:3509-3514。
[22]VASWANIA，SHAZEER N，PARMARN，et al.注意力是你所需要的一切[C]//第31届神经信息处理系统国际会议论文集。纽约：ACM，2017:6000-6010。
[23]高T，姚X，陈D.Simcse：句子嵌入的简单对比学习[EB/OL]。https://arxiv.org/abs/2104.08821。
[24]HOVY E，GERBER L，HERMJAKOB U，et al.走向基于语义的答案精确定位[C]//第一届国际人类语言技术研究会议论文集。纽约：ACM，2021:1-7。
[25]HUANG Z，XU W，YU K.用于序列标记的双向LSTM-CRF模型[EB/OL]。https://arxiv.org/abs/1508.01991。
[26]KIM Y.用于句子分类的卷积神经网络[C]//2014年自然语言处理经验方法会议论文集。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2014:1746-1751。
[27]SANH V，DEBUT L，CHAUMONDJ等人。DistilBERT，BERT的蒸馏版本：更小、更快、更便宜、更轻。[EB/OL]。https://arxiv.org/abs/1910.01108。
[28]WAN Y，GAO Q.用于航空服务分析的推特数据集成情感分类系统[C]//2015 IEEE国际数据挖掘研讨会（ICDMW）会议记录。皮斯卡塔韦：IEEE，2015:1318-1325。

韵律学

已查看

全文

摘要

引用

共享

讨论

结合语义解释和DeBERTa的极短文本层次分类

PDF（PC）

摘要

引用这篇文章

分享这篇文章

工具书类

相关文章三

韵律学

评论

推荐0

[1]	崔敏君、段立国和李爱萍。多特征层次回答质量评价方法研究[J] ●●●●。计算机科学，2016，43（1）：94-97。
[2]	吴必军，李娟子，金鑫。层次特征选择和误差控制的层次分类方法[J] ●●●●。计算机科学，2010，37（10）：165-168。
[3]	王云鹏、缪多倩、岳晓东。基于层次分类的脱机手写字符识别[J] ●●●●。计算机科学，2009，36（12）：203-209。