计算机科学>计算与语言
职务: UniMEEC:走向统一的多模态情绪识别和情绪成因
摘要: 会话中的多模态情感识别(MERC)和多模态情感对提取(MECPE)最近受到了广泛关注。 情感是情感的表达; 对特定事件、想法或情况的反应被称为情绪原因。 两者就像硬币的两面,共同描述了人类的行为和意图。 然而,大多数现有的工作将MERC和MECPE视为单独的任务,这可能会导致在实际应用中整合情感和原因的潜在挑战。 本文提出了一个统一的多模态情绪识别和情绪原因分析框架(UniMEEC),以探讨情绪和情绪原因之间的因果关系和互补性。 具体来说,UniMEEC将MERC和MECPE任务重新定义为两个掩码预测问题,增强了情绪和原因之间的交互作用。 与此同时,UniMEEC分享了从预训练模型探索模态特定知识的各种模式之间的快速学习。 此外,我们提出了一种特定于任务的分层上下文聚合来控制任务的信息流。 在四个公共基准数据集上的实验结果验证了模型在MERC和MECPE任务上的性能,并与最新方法相比取得了一致的改进。