Comparison of 2D convolutions and dense neural networks for natural language processing models with multi-sentence input

Tetyana Yanevych; Vitaliy Golomoziy; Yuliya Mishura; Iryna Izarova

doi:10.17721/1812-5409.2023/2.3

作者

Tetyana Yanevych公司塔拉斯·舍甫琴科国立基辅大学 https://orcid.org/0000-0001-8550-8062
维塔利·戈洛莫齐伊塔拉斯·舍甫琴科国立基辅大学 https://orcid.org/0000-0002-3174-9781
尤利亚·米苏拉塔拉斯·舍甫琴科国立基辅大学 https://orcid.org/0000-0002-6877-1800
伊雷娜·伊扎洛娃塔拉斯·舍甫琴科国立基辅大学 https://orcid.org/0000-0002-1909-7020

内政部：

https://doi.org/10.17721/1812-5409.2023/2.3

关键词：

自然语言处理、语言模型、卷积、密集神经网络

摘要

本文致力于对代表原告诉求、诉求动机和被告回应的多个判决的法院案例进行分析。根据这些参数，我们将特定案件分为为我们的任务设计的七个类别之一，然后预测其在初审中的判决。我们使用微调XLM\RoBERTa执行此任务。比较了两种建立精细调谐模型头部的方法。一种是基于堆叠多个句子的数字表示，使它们形成矩阵并应用2D卷积。第二种方法是基于连接语句和密集神经网络的应用。在我们的实验中，后者的性能稍好一些，而前者的训练过程更简单。

本期文章页数: 20 - 29

文章的语言：英语

作者简介

Tetyana Yanevych，塔拉斯·舍甫琴科国立基辅大学

доцент, кафедра теорії ймовірностей, статистики та актуарної математики, механіко-математичний факультет

工具书类

DEVLIN，J.、CHANG，M.、LEE，K.和TOUTANOVA，K.（2019）BERT：语言理解深度双向变形金刚的预训练。计算语言学协会北美分会2019年会议记录：人类语言技术，第1卷（长篇和短篇论文），第4171-4186页，可从以下网址获得：https://aclantology.org/N19-1423/

GOLOMOZIY，V.、MISHURA，Y.、IZAROVA，I.和IANEVYCH，T.（2023）《法院判决的大数据处理》，《现代计算波罗的海杂志》第11卷第4期。可从以下位置获得：https://www.bjmc.lu.lv/contents网站/

JOHNSON，R.和ZHANG，T.（2015）《卷积神经网络文本分类中语序的有效使用》。《计算语言学协会北美分会2015年会议记录：人类语言技术》，第103-112页。可从以下位置获得：https://aclantology.org/N15-1011/

JOHNSON，R.和ZHANG，T.（2015）通过区域嵌入实现文本分类的半监督卷积神经网络。《神经信息处理系统进展》28，第919-927页。

KALCHBRENNER，N.、GREFENSETTE，E.和BLUNSOM，P.（2014）一种用于建模句子的卷积神经网络。《计算语言学协会第52届年会论文集》（第1卷：长篇论文），第655-665页。可从以下位置获得：https://aclantology.org/P14-1062/

KIM，Y.，（2014）用于句子分类的卷积神经网络。《2014年自然语言处理实证方法会议论文集》，第1746-1751页。

NGUYEN，T.H.和GRISHMAN，R.（2015）关系提取：卷积神经网络的视角。《自然语言处理向量空间建模第一次研讨会论文集》，第39-48页。可从以下位置获得：https://aclantology.org/W15-1506/

桑托斯，C.N.DOS和GATTI，M.2014。短文本情感分析的深度卷积神经网络。《COLING 2014年会议录》，第25届国际计算语言学会议：技术论文，第69-78页。可从以下位置获得：https://acl选集.org/C14-1008/

SHEN，Y.、HE，X.、GAO，J.、DENG，L.和MESNIL，G.（2014）《信息检索中具有卷积-工具结构的潜在语义模型》。《第23届ACM信息和知识管理国际会议记录》，第101-110页。https://doi.org/10.1145/2661829.2661935

SONI，S.、CHOUHAN，S.S和RATHORE，S.S.（2023）TextConvoNet：基于卷积神经网络的文本分类体系结构。应用智能53，14249-14268。https://doi.org/10.1007/s10489-022-04221-9

WANG，P.、XU，J.、XU，B.、LIU，C.、ZHANG，H.、WANG，F.和HAO，H.（2015）《短文本分类的语义聚类和卷积神经网络》。《计算语言学协会第53届年会和第7届国际自然语言处理联合会议论文集》（第2卷：短文），第352-357页。可从以下位置获得：https://aclcollectory.org/P15-2058/

WESTON，J.和ADAMS，K.（2014）《标签空间：哈希标签的语义嵌入》。在2014年自然语言处理实证方法会议记录中。，第1822-1827页。可从以下位置获得：https://aclantology.org/D14-1194/

WIDIASTUTI，N.，（2019）《文本挖掘和自然语言处理的卷积神经网络》。IOP会议系列：材料科学与工程，第5期，第662卷。doi:10.1088/1757-899X/662/5/052010年5月

YUAN，K.，GUO，S.，LIU，Z.，ZHOU，A.，YU，F.和WU，W.（2021）将卷积设计纳入视觉变形金刚。IEEE/CVF计算机视觉国际会议论文集。，第559-568页。doi:10.1109/ICCV48922.2021.00062

ZENG，D.，LIU，K.，LAI，S.，ZHOU，G.，ZHAO，J.（2014）基于卷积深度神经网络的关系分类。《COLING 2014年会议论文集》，第25届国际计算语言学会议：技术论文，第2335-2344页。可从以下位置获得：https://aclantology.org/C14-1220/