计算机科学>计算与语言
标题: 一种基于小视角的情感分析生成语言模型
摘要: 情感分析是自然语言处理中的一项重要任务。 在最近的研究中,预训练语言模型经常被用来获得最先进的结果,尤其是在训练数据稀缺的情况下。 通常通过在模型顶部添加特定于任务的层来微调下游任务。 本文主要研究基于方面的情感分析,包括提取方面术语、类别,并预测其对应的极性。 特别是,我们对一些快照设置感兴趣。 我们建议使用单向注意的生成语言模型(除非另有说明,否则使用GPT2)将提取和预测任务重新定义为序列生成任务。 通过这种方式,模型学习通过语言生成完成任务,而不需要训练特定于任务的层。 我们对单任务极性预测的评估结果表明,在少镜头和全镜头设置中,我们的方法在平均性能上优于以前最先进的方法(基于BERT)。 更重要的是,我们的生成方法显著减少了低资源数据导致的模型方差。 我们进一步证明了所提出的生成语言模型可以处理联合和多任务设置,这与以前的工作不同。我们观察到,当通过联合和多个任务设置训练模型时,所提出的序列生成方法在极性预测方面取得了进一步改进的性能。 通过对相似情感分析数据集SST-2、SST-和OOS意图检测的进一步评估,验证了生成语言模型在少数场景下的优越性和噪声鲁棒性。