研究论文

使用后期融合的阿萨姆新闻文章图像-文本多模态情感分析框架

作者:

林基达斯和

托达姆·多伦辛格作者信息和声明

亚洲和低资源语言信息处理学术汇刊,体积22,问题6

文章编号：161，页数1-30

https://doi.org/10.1145/3584861

出版:2023年6月17日出版历史

获取访问权限

摘要

在网络作为语料库出现之前，人们根据对实体报纸文本内容的理解而不是根据现成的电子报纸的自动识别方法来检测正面和负面新闻。因此，早期的情绪分析方法是基于单峰数据的，对多峰数据付出的努力较少。然而，多模态信息的存在有助于我们更清楚地了解情绪。据我们所知，关于阿萨姆语的图像-文本多模态情感分析框架的工作较少，阿萨姆语是一种资源较少的印度语言，主要分布在印度东北部。我们建立了一个阿萨姆语新闻文章数据集，由新闻文本和相关图像以及一个图片说明组成，以进行实验研究。针对主要和情感相关的重要词汇和图像的识别区域，提出了两种独立的单峰模式，如文本模式和视觉模式。视觉模型是使用基于编码器-解码器的图像字幕生成系统开发的。提出了一种图像-文本多模态方法，用于探索文本和视觉特征之间的内在相关性，以进行联合情感分类。最后，我们提出了多模态情感分析框架，即文本-视觉多模态融合，通过采用一种后期融合方案来合并三种不同的模式以进行最终情感预测。在内部构建的阿萨姆数据集上进行的实验结果表明，多模态特征的上下文集成比单模态特征具有更好的性能。

工具书类

[1]

穆罕默德·卡比（Mohammed Al-Kabi）、努尔·马尔·库达（Noor M.Al-Qudah）、伊扎特·阿尔斯马迪（Izzat Alsmadi）、穆罕默德·达布尔（Muhammad Dabour）和海德·瓦什（Heider Wahsheh）。2013年，阿拉伯语/英语情绪分析：实证研究。在第四届信息和通信系统国际会议记录（ICICS’13）. 23–25.

[2]

Damian Borth、Ji Rongrong、Tao Chen、Thomas Breuel和Shih-Fu Chang。2013.使用形容词-名词对的大规模视觉情感本体论和检测器。在第21届ACM国际多媒体会议记录. 223–232.

数字图书馆

[3]

维克托·坎波斯、布伦丹·朱和泽维尔·吉罗·尼托。2017.从像素到情绪：针对视觉情绪预测的微调CNN。图像可视性。计算。65 (2017), 15–22.

数字图书馆

[4]

曹东林，季荣荣，林大珍，李少子，2016。基于视觉情感主题模型的微博图像情感分析。多媒体工具应用。75, 15 (2016), 8955–8968.

数字图书馆

[5]

陈兴岳、王云红、刘庆杰。2017.使用深度融合卷积神经网络进行视觉和文本情感分析。在IEEE图像处理国际会议（ICIP’17）会议记录IEEE，1557–1561。

数字图书馆

[6]

阿米塔瓦·达斯（Amitava Das）和西瓦吉·班多帕提亚（Sivaji Bandyopadhyay）。2010年，孟加拉Opinion极性鉴定。在东方语言计算机处理国际会议论文集. 169–182.

[7]

Ringki Das和Thoudam Doren Singh。2021.使用注意机制的阿萨姆新闻图片字幕生成框架。在第18届自然语言处理国际会议（ICON’21）会议记录. 231–239.

[8]

Ringki Das和Thoudam Doren Singh。2021.使用词汇特征对阿萨姆新闻文章进行情感分析。在国际计算和通信系统会议记录（I3CS’20），第170卷。施普林格，15岁。

[9]

Ringki Das和Thoudam Doren Singh。2022.使用注意机制生成阿萨姆新闻图片字幕。多媒体工具应用。81, 7 (2022), 10051–10069.

数字图书馆

[10]

Ringki Das和Thoudam Doren Singh。2022.低资源环境下阿萨姆人情绪分析的多阶段多模式框架。专家系统。应用。(2022), 117575.

数字图书馆

[11]

Chedia Dhaoui、Cynthia M.Webster和Lay Peng Tan。2017.社交媒体情绪分析：词汇与机器学习。J.Cons公司。市场。(2017).

[12]

胡敏清和刘冰。2004年。挖掘客户评论中的意见特征。在AAAI人工智能会议记录（AAAI'04），第4卷。755–760.

[13]

黄飞然、张晓明、赵忠华、徐杰和李周军。2019年。通过深度多模态关注融合进行图像-文本情感分析。知识-制动辅助系统。系统。167 (2019), 26–37.

数字图书馆

[14]

Jasleen Kaur和Jatinderkumar R.Saini。2014年，对印多安语、德拉维甸语和藏布尔语语系的意见挖掘研究进行了研究和分析。国际期刊数据最小新兴技术。4, 2 (2014), 53–60.

[15]

Soo-Min Kim和Eduard Hovy。2004.确定意见的情绪。在第20届国际计算语言学会议论文集计算语言学协会，1367年。

数字图书馆

[16]

Tuan Anh Le、David Moeljadi、Yasuhide Miura和Tomoko Ohkuma。2016年，低资源语言的情绪分析：对印尼非正式推文的研究。在第十二届亚洲语言资源研讨会论文集（ALR12'16）. 123–131.

[17]

Loitongbam Sanayai Meetei、Thoudam Doren Singh、Samir Kumar Borgohain和Sivaji Bandyopadhyay。2021.针对情绪分析任务的低资源语言特定预处理和功能。Lang.Resourc公司。评估。(2021), 1–23.

[18]

哈瓦尔·梅赫穆德（Khawar Mehmood）、达里尔·埃萨姆（Daryl Essam）、卡姆兰·沙菲（Kamran Shafi）和穆罕默德·卡姆兰·马利克（Muhammad Kamran Malik）。2019.对一种资源贫乏的语言——罗马乌尔都语的情感分析。ACM事务处理。亚洲低回报。语言信息程序。19, 1 (2019), 1–15.

[19]

M.S.Neethu和R.Rajasree。2013年，使用机器学习技术在推特上进行情绪分析。在第四届计算机、通信和网络技术国际会议（ICCCNT’13）会议记录IEEE，1-5。

[20]

亚历山德罗·奥尔蒂斯（Alessandro Ortis）、乔瓦尼·玛丽亚·法利内拉（Giovanni Maria Farinella）、乔凡尼·托里西（Giovan ni Torrisi）和塞巴斯蒂亚诺·巴蒂亚托（Sebastiano Battiato）。2020年。利用图像的客观文本描述进行视觉情感分析。多媒体工具应用。(2020), 1–24.

[21]

Bo Pang和Lillian Lee。2004年，情感教育：基于最小削减的主观总结的情感分析。在第42届计算语言学协会年会论文集计算语言学协会，271。

数字图书馆

[22]

Bo Pang和Lillian Lee。2005.《眼界之星：利用阶级关系对评级量表进行情绪分类》。在计算语言学协会第43届年会会议记录计算语言学协会，115-124。

数字图书馆

[23]

Bo Pang、Lillian Lee和Shivakumar Vaithyanathan。2002.大拇指？：使用机器学习技术进行情绪分类。在ACL-02自然语言处理经验方法会议记录——第10卷计算语言学协会，79-86。

数字图书馆

[24]

陈倩、Edoardo Ragusa、Iti Chaturvedi、Erik Cambria和Rodolfo Zunino。文本-图像情感分析。

[25]

苏加塔·拉尼和帕提克·库马尔。2019.印度语言之旅：情绪分析：系统综述。Artif公司。智力。版次。52, 2 (2019), 1415–1462.

数字图书馆

[26]

纳瓦纳塔·萨哈里亚（Navanath Saharia）、德鲁巴约蒂·达斯（Dhrubajyoti Das）、乌特帕尔·夏尔马（Utpal Sharma）和尤加尔·卡利塔（Jugal Kalita）。2009年，阿萨姆语文本的部分语音标记器。在ACL-IJCNLP会议论文集. 33–36.

[27]

卡迈尔·萨卡尔和曼迪拉·博米克。2017.使用多项式朴素贝叶斯和支持向量机检测孟加拉推文中的情绪极性。在IEEE加尔各答会议记录（CALCON’17）IEEE，31–36。

[28]

凯伦·西蒙扬和安德鲁·齐瑟曼。2014.用于大规模图像识别的超深卷积网络。arXiv:1409.1556。检索自https://arxiv.org/abs/1409.1556.

[29]

Alok Singh、Loitongbam Sanayai Meetei、Salam Michael Singh、Thoudam Doren Singh和Sivaji Bandyopadhyay。2021.高效的基于关键帧选择的视频字幕框架。在第18届自然语言处理国际会议（ICON’21）会议记录. 240–250.

[30]

托达姆·多伦·辛格（Thoudam Doren Singh）、特雷姆·乔伊森·辛格、米林森·沙当（Mirinso Shadang）和苏米拉·托科姆（Surmila Thokchom）。2021.manipuri在线视频评论：好、坏或丑。在国际计算和通信系统会议记录（I3CS’20），第170卷。斯普林格，45岁。

[31]

宋凯凯、姚婷、凌强和陶美。2018年，通过视觉关注促进图像情感分析。神经计算312 (2018), 218–228.

数字图书馆

[32]

Oriol Vinyals、Alexander Toshev、Samy Bengio和Dumitru Erhan。2015.展示和讲述：一个神经图像字幕生成器。在IEEE计算机视觉和模式识别会议记录. 3156–3164.

[33]

王京文、傅建龙、徐勇和陶美。2016.超越对象识别：使用深耦合形容词和名词神经网络进行视觉情感分析。在国际人工智能联合会议记录（IJCAI’16）. 3484–3490.

[34]

Mayur Wankhade、Annavarapu Chandra Sekhara Rao和Chaitanya Kulkarni。2022.情绪分析方法、应用和挑战调查。Artif公司。智力。版次。(2022), 1–50.

[35]

C.Xu、S.Cetintas、K.C.Lee和L.J.Li.【未注明日期】。基于深度卷积神经网络的视觉情感预测。arXiv公司：1411.5731。检索自https://arixv.org/abs/1411.5731.

[36]

姚兴旭、舍东雨、张海伟、杨巨峰、程明明、王亮。2020年。用于情感图像检索和分类的自适应深度度量学习。IEEE传输。多媒体(2020).

[37]

Quanzeng You、Liangliang Cao、Hailin Jin和Jiebo Luo。2016.稳健的视觉-文本情感分析：当注意力遇到树结构递归神经网络时。在第24届ACM国际多媒体会议记录. 1008–1017.

数字图书馆

[38]

Quanzeng You、Hailin Jin和Jiebo Luo。2017年，通过参与当地图像区域进行视觉情感分析。在第31届AAAI人工智能会议记录.

[39]

尤全增、罗杰波、金海林和杨建超。2015。与深度神经网络的联合视觉文本情感分析。在第23届ACM国际多媒体会议记录. 1071–1074.

数字图书馆

[40]

袁建波（Jianbo Yuan）、肖恩·麦克多诺（Sean McDonough）、右权增（Quanzeng You）和罗杰波（Jiebo Luo）。2013.描述：从中层角度进行形象情感分析。在第二届情绪发现和意见挖掘问题国际研讨会会议记录. 1–8.

数字图书馆

[41]

张耀文、林尚、贾秀怡。2015年，通过整合文本和图像特征对微博进行情绪分析。在亚太知识发现和数据挖掘会议施普林格，52–63岁。

[42]

赵子元、朱慧英、薛泽浩、刘昭、景甜、蔡建恒和刘茂夫。2019.针对社交媒体的图像-文本一致性驱动的多模态情感分析方法。信息处理。管理。56, 6 (2019), 102097.

数字图书馆

[43]

Imed Zitouni和Radu Florian。2008年。提及跨越语言障碍的检测。在自然语言处理实证方法会议记录. 600–609.

数字图书馆

引用人

谢斯李杰(2024)一种结合多层注意交互和多特征增强的多模态情感分析方法国际信息技术与系统方法杂志10.4018/IJITSA.33594017:1(1-20)在线发布日期：2024年1月30日
https://dl.acm.org/doi/10.4018/IJITSA.335940
巴拉达斯S熊猫D库马尔·米什拉TKr.Patra B公司埃克巴尔A(2024)印度语到印度语的多语言神经机器翻译亚洲和低资源语言信息处理学术汇刊10.1145/365202623:5(1-32)在线发布日期：2024年5月10日
https://dl.acm.org/doi/10.1145/3652026
张凯（Zhang K）王S余Y(2023)基于TBGAV的旅游评论图文多模态情感分析方法国际信息技术与网络工程杂志10.4018/IJITWE.33459518:1(1-17)在线发布日期：2023年12月7日
https://dl.acm.org/doi/10.4018/IJITWE.334595
显示更多引用者

索引术语

使用后期融合的阿萨姆新闻文章图像-文本多模态情感分析框架
1. 计算方法
  1. 人工智能
    1. 自然语言处理
      1. 机器翻译

建议

低资源环境下阿萨姆语情感分析的多阶段多模态框架
摘要
多模态已被证明在一些自然语言处理任务中有帮助。因此，在传统情绪分析中添加多种模式也被证明是有用的。然而，低资源环境中的多模式。。。
集锦
- 提出了一个多模式、多用途的阿萨姆新闻数据集。
- 两个模型。。。
阅读更多信息
基于跨模态层次注意力融合的多模态社交媒体情感分析
人工智能和移动服务–AIMS 2021
摘要
随着社交媒体数据形式的多样化，越来越多的图像和文本混合的多模态信息取代了传统的单一文本描述。与单模态数据相比，多模态数据可以更充分地表达人们的。。。
阅读更多信息
基于多类别相对融合的图形文本多模态情感分析
AIPR’23：2023年第6届人工智能和模式识别国际会议记录

与传统的单模态情感分析不同，多模态情感分析可以联合处理不同模态之间的特征。现有的多模态情感分析方法只是从文本和图像中提取特征，而忽略了文本和图像的特征提取。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM亚洲和低资源语言信息处理汇刊

亚洲和低资源语言信息处理学术汇刊第22卷第6期

2023年6月

635页

ISSN公司：2375-4699

EISSN公司：2375-4702

内政部：10.1145/3604597

编辑：
伊梅德·齐图尼
谷歌，美国

允许制作本作品的全部或部分数字或硬拷贝供个人或课堂使用，但不收取任何费用，前提是复制品的制作或分发不是为了盈利或商业利益，并且复制品在首页注明本通知和完整引文。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2023年6月17日

在线AM：2023年2月17日

认可的：2023年2月3日

修订过的：2022年8月26日

收到：2021年9月1日

在TALLIP中发布体积22,问题6

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

4
引文总数
查看引文
816
总下载次数

下载量（最近12个月）572
下载次数（最近6周）65

其他指标

查看作者指标

引文

引用人

谢斯李杰(2024)一种结合多层注意交互和多特征增强的多模态情感分析方法国际信息技术与系统方法杂志10.4018/IJITSA.33594017:1(1-20)在线发布日期：2024年1月30日
https://dl.acm.org/doi/10.4018/IJITSA.335940
巴拉·达斯S熊猫D库马尔·米什拉TKr.Patra B公司埃克巴尔A(2024)印度语到印度语的多语言神经机器翻译亚洲和低资源语言信息处理学术汇刊10.1145/365202623:5(1-32)在线发布日期：2024年5月10日
https://dl.acm.org/doi/10.1145/3652026
张凯（Zhang K）王S余Y(2023)基于TBGAV的旅游评论图文多模态情感分析方法国际信息技术与网络工程杂志10.4018/IJITWE.33459518:1(1-17)在线发布日期：2023年12月7日
https://dl.acm.org/doi/10.4018/IJITWE.334595
达斯·R辛格T(2023)多模态情绪分析：方法、趋势和挑战综述倒排索引综述10.1145/358607555：13秒(1-38)在线发布日期：2023年7月13日
https://dl.acm.org/doi/10.1145/3586075

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此文章

视图选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

全文

以全文形式查看本文。

媒体

数字

其他

桌子

查看全文|下载PDF

查看问题目录