一种基于小视角的情感分析生成语言模型

Ehsan Hosseini-Asl公司,刘文浩,熊才明

摘要
情感分析是自然语言处理中的一项重要任务。在最近的研究中，预训练语言模型经常被用来获得最先进的结果，尤其是在训练数据稀缺的情况下。通常通过在模型顶部添加特定于任务的层来微调下游任务。本文主要研究基于方面的情感分析，包括提取方面术语、类别，并预测其对应的极性。特别是，我们对一些快照设置感兴趣。我们建议使用单向注意的生成语言模型（除非另有说明，否则使用GPT2）将提取和预测任务重新定义为序列生成任务。通过这种方式，模型学习通过语言生成完成任务，而不需要训练特定于任务的层。我们对单任务极性预测的评估结果表明，我们的方法在少数镜头和全镜头设置下的平均性能大大优于先前的最新技术（基于BERT）。更重要的是，我们的生成方法显著减少了低资源数据导致的模型方差。我们进一步证明了所提出的生成语言模型可以处理联合和多任务设置，这与以前的工作不同。我们观察到，当通过联合和多个任务设置训练模型时，所提出的序列生成方法在极性预测方面取得了进一步改进的性能。通过对相似情感分析数据集SST-2、SST-5和OOS意图检测的进一步评估，验证了生成语言模型在少数场景下的优越性和噪声鲁棒性。
选集ID：
2022.发现-naacl.58
体积：
计算语言学协会的研究结果：NAACL 2022
月份：
七月
年份：
2022
地址：
美国西雅图
编辑：
海洋木瓜,玛丽·凯瑟琳·德·马内夫,伊万·弗拉基米尔·梅扎·鲁伊斯
地点：
调查结果
SIG公司：
发布者：
计算语言学协会
注：
页码：
770–787
语言：
网址：
https://aclantology.org/2022.findings-naacl.58
DOI（操作界面）：
10.18653/v1/2022.查找-naacl.58
比比键：
引用（ACL）：
Ehsan Hosseini-Asl、Wenhao Liu和Caiming Xiong。2022一种基于小视角的情感分析生成语言模型.英寸计算语言学协会的研究结果：NAACL 2022，第770-787页，美国西雅图。计算语言学协会。
引用（非正式）：
一种基于小视角的情感分析生成语言模型（Hosseini-Asl等人，2022年调查结果）
复制引文：
PDF格式：
https://aclantology.org/2022.findings-naacl.58.pdf
视频：
 https://acl选集.org/2022.findings-nameacl.58.mp4
代码
salesforce/fewshot_absa销售人员
数据
不锈钢, 不锈钢-2, 第5学期
PDF格式 引用 搜索 代码 视频