多模态意识形态预测与分析的三重边际目标后期融合

邱长元,温斯顿·吴,张新良（Frederick Zhang）,卢旺（Lu Wang）

摘要
之前关于意识形态预测的工作主要集中在单一形式上，即文本或图像。在这项工作中，我们介绍了多模态意识形态预测的任务，其中一个模型预测二元或五点尺度的意识形态倾向，给定一对带有政治内容的文本图像。我们首先收集了五个新的大型数据集，其中包含英文文档和图像以及它们的意识形态倾向，涵盖了美国主流媒体的新闻文章以及Reddit和Twitter的社交媒体帖子。我们对新闻文章进行深入分析，揭示不同政治派别的图像内容和使用差异。此外，我们还进行了广泛的实验和消融研究，证明了针对不同模型组件的目标预处理目标的有效性。我们性能最好的模型是一种在多模式内容上用三重目标预训练的后期融合架构，它比最先进的纯文本模型高出近4%，比没有预训练的强多模式基线高出3%以上。
选集ID：
2022.emnlp-main.659年
体积：
2022年自然语言处理实证方法会议记录
月份：
十二月
年份：
2022
地址：
阿拉伯联合酋长国阿布扎比
编辑：
约夫·戈德伯格,佐尔尼萨·科扎列娃,张岳（音）
地点：
EMNLP公司
信号：
出版商：
计算语言学协会
注：
页：
9720–9736
语言：
网址：
https://aclantology.org/2022.emnlp-main.659
内政部：
10.18653/v1/2022.emnlp-main.659
比比键：
引用（ACL）：
邱长元（Changyuan Qiu）、吴文斯顿（Winston Wu）、张新良（Xinliang Frederick Zhang）和王璐（Lu Wang）。2022多模态意识形态预测与分析的三重边际目标后期融合.英寸2022年自然语言处理实证方法会议记录，第9720–9736页，阿拉伯联合酋长国阿布扎比。计算语言学协会。
引用（非正式）：
多模式意识形态预测与分析的三重边际目标后期融合（邱等人，EMNLP 2022）
复制引文：
PDF格式：
https://aclantology.org/2022.emnlp-main.659.pdf
PDF格式 引用 搜索