基于多模态融合的情感分析算法研究综述

doi:10.3778/j.issn.1002-8331.2305-0439

摘要/摘要

摘要：情感分析是一项新兴技术，其旨在探索人们对实体的态度，可应用于各种领域和场景，例如产品评价分析、舆情分析、心理健康分析和风险评估。传统的情感分析模型主要关注文本内容，然而一些特殊的表达形式，如讽刺和夸张，则很难通过文本检测出来。随着技术的不断进步，人们现在可以通过音频、图像和视频等多种渠道来表达自己的观点和感受，因此情感分析正向多模态转变，这也为情感分析带来了新的机遇。多模态情感分析除了包含文本信息外，还包含丰富的视觉和听觉信息，利用融合分析可以更准确地推断隐含的情感极性（积极、中性、消极）。多模态情感分析面临的主要挑战是跨模态情感信息的整合，因此，重点介绍了不同融合方法的框架和特点，并对近几年流行的融合算法进行了阐述，同时对目前小样本场景下的多模态情感分析进行了讨论，此外，还介绍了多模态情感分析的发展现状、常用数据集、特征提取算法、应用领域和存在的挑战。期望此综述能够帮助研究人员了解多模态情感分析领域的研究现状，并从中得到启发，开发出更加有效的模型。

关键词: 多模态, 情感分析, 模态融合

摘要：情绪分析是一种新兴技术，旨在探索人们对实体的态度，可以应用于各种领域和场景，如产品评估分析、民意分析、心理健康分析和风险评估。传统的情感分析模型侧重于文本内容，但一些特殊的表达形式，如讽刺和夸张，很难通过文本检测出来。随着科技的不断进步，人们现在可以通过音频、图像和视频等多种渠道表达自己的观点和感受，因此情绪分析正在向多模态转变，这为情绪分析带来了新的机遇。多模态情感分析除了包含文本信息外，还包含丰富的视觉和听觉信息，通过融合分析可以更准确地推断隐含的情感极性（积极、中性、消极）。多模态情感分析的主要挑战是跨模态情感信息的整合；因此，本文重点研究了不同融合方法的框架和特点，描述了近年来流行的融合算法，讨论了当前小样本场景下的多模态情感分析，以及当前的发展现状、常用数据集、特征提取算法、，应用领域和挑战。预计本综述将帮助研究人员了解多模态情绪分析领域的研究现状，并启发他们开发更有效的模型。

关键词： 多模式，情绪分析，模态融合

郭续, 买日旦·吾守尔, 古兰拜尔·吐尔洪. 基于多模态融合的情感分析算法研究综述[J] ●●●●。计算机工程与应用, 2024, 60(2): 1-18.

郭旭、迈里旦五寿儿、古兰拜尔图尔洪。基于多模态融合的情感分析算法综述[J]。计算机工程与应用，2024,60（2）：1-18。

参考文献

[1] ASUR S，HUBERMAN B A.用社交媒体预测未来[C]//IEEE/WIC/ACM网络智能和智能代理技术国际会议论文集，2010:492-499。
[2] 波伦·J、毛赫、曾X。推特情绪预测股市[J]。计算科学杂志，2011，2（1）：1-8。
[3] TUMASJAN A，SPRENGER T，SANDNER P，et al.用推特预测选举：140个字符揭示的政治情绪[C]//AAAI网络和社交媒体国际会议论文集，2010:178-185。
[4] D’MELLO S K，KORY J.多模式情感检测系统的回顾与荟萃分析[J]。ACM计算调查（CSUR），2015，47（3）：1-36。
[5] PORIA S，CAMBRIA E，BAJPAI R，等.情感计算综述：从单峰分析到多峰融合[J]。信息融合，2017，37:98-125。
[6] SOLEYMANI M，GARCIA D，JOU B，等.多模态情绪分析研究[J]。图像与视觉计算，2017，65:3-14。
[7] ZADEH A，ZELLERS R，PINCUS E，等.网络意见视频中情绪强度和主观分析的多模态语料库[J]。arXiv:1606.062592016年。
[8] ZADEH A A B，LIANG P P，PORIA S，等.野外多模态语言分析：CMU-mosei数据集和可解释动态融合图[C]//计算语言学协会第56届年会论文集（第一卷：长篇论文），2018:2236-2246。
[9] HUDDAR M G，SANNAKKI S S S，RAJPUROHIT V S.多模态情绪分析中计算方法和挑战的调查[J]。国际计算机科学工程杂志，2019，7（1）：876-883。
[10] GKOUMAS D、LI Q、LIOMA C等。差异是什么？多模态语言分析中融合策略的实证比较[J]。信息融合，2021，66:184-197。
[11] CHANDRASEKARAN G，NGUYEN T N，HEMANTH D J.社交媒体应用的多模情感分析：综合评述[J]。威利跨学科评论：数据挖掘和知识发现，2021，11（5）：e1415。
[12] ZADEH A，CAO Y S，HESSNER S，et al.CMU-MOSEAS:西班牙语、葡萄牙语、德语和法语的多模态语言数据集[C]//自然语言处理经验方法会议论文集，2020：1801。
[13] W？LLMER M，WENINGER F，KNAUP T，等.Youtube电影评论：视听语境中的情感分析[J]。IEEE智能系统，2013，28（3）：46-53。
[14] 于伟，徐华，孟发，等.CH-SIMs：一个具有模态精细注释的中国多模态情感分析数据集[C]//计算语言学协会第58届年会论文集，2020：3718-3727。
[15] PéREZ-ROSAS V，MIHALCEA R，MORENCY L P.言语层面多模态情感分析[C]//计算语言学协会第51届年会论文集（第1卷：长篇论文），2013:973-982。
[16] BUSSO C，BULUT M，LEE C C，等.交互式情感二元运动捕捉数据库[J]。《语言资源与评估》，2008年，42:335-359。
[17] MORENCY L P，MIHALCEA R，DOSHI P。走向多模态情感分析：从网络上收集意见[C]//第十三届多模态接口国际会议论文集，2011:169-176。
[18] PORIA S，CAMBRIA E，GELBUKH A.深层卷积神经网络文本特征和多核学习在话语级多模态情感分析中的应用[C]//2015年自然语言处理实证方法会议论文集，2015:2539-2544。
[19] 王浩，梅加瓦特A，莫伦西L P，等.选择加性学习：提高多模态情感分析的泛化能力[C]//IEEE多媒体与博览会国际会议论文集，2017:949-954。
[20] ZADEH A，CHEN M，PORIA S，等。用于多模态情绪分析的张量融合网络[J]。arXiv:1707.072502017年。
[21]刘Z，沈毅，LAKSHMINARSIMHAN V B，等.具有模态特异因子的高效低阶多模态融合[J]。arXiv:1806.000642018年。
[22]TSAI Y H H，BAI S，LIANG P P，等.非对齐多模态语言序列的多模态变换器[C]//会议论文集，计算语言学协会，2019。
[23]PORIA S，CAMBRIA E，HAZARIKA D，et al.用户生成视频中的上下文相关情绪分析[C]//计算语言学协会第55届年会论文集（第1卷：长篇论文），2017:873-883。
[24]GHOSAL D，AKHTAR M S，CHAUHAN D，et al.多模态情感分析的上下文模式间注意[C]//2018年自然语言处理实证方法会议论文集，2018:3454-3466。
[25]MAJUMDER N，HAZARIKA D，GELBUKH A，等.基于层次融合和上下文建模的多模态情感分析[J]。基于知识的系统，2018，161:124-133。
[26]KUMAR A，VEPA J.基于注意力的多模态情感分析的门控机制[C]//2020 IEEE声学、语音和信号处理国际会议（ICASSP）会议记录，2020：4477-4481。
[27]张强，石磊，刘鹏，等.ICDN：用变压器集成一致性和差异性网络进行多模态情感分析[J]。应用情报，2022，53（12）：16332-16345。
[28]SALTON G，BUCKLEY C.自动文本检索中的术语加权方法[J]。信息处理与管理，1988，24（5）：513-523。
[29]MIKOLOV T，CHEN K，CORRADO G，等.向量空间中单词表示的有效估计[J]。arXiv:1301.37812013年。
[30]彭宁顿J，SOCHER R，MANNING C D.GloVe:单词表示的全局向量[C]//2014年自然语言处理经验方法会议论文集，2014:1532-1543。
[31]PORIA S，CAMBRIA E，HOWARD N，et al.从多模态内容融合音频、视觉和文本线索进行情感分析[J]。神经计算，2016，174:50-59。
[32]DEVLIN J，CHANG M W，LEE K，et al.BERT：用于语言理解的深层双向变换器预训练[J]。arXiv:1810.048052018年。
[33]VASWANI A，SHAZEER N，PARMAR N等。注意力就是你所需要的[C]//神经信息处理系统的进展，2017。
[34]MUNIKAR M，SHAKYA S，SHRESTHA A.使用BERT进行细粒度情绪分类[C]//2019年商业和社会转型人工智能（AITB），2019:1-5。
[35]ARACI D.Finbert：使用预训练语言模型进行金融情绪分析[J]。arXiv:1908.100632019年。
[36]GRAVES A，FERNáNDEZ S，SCHMIDHUBER J.用于改进音素分类和识别的双向LSTM网络[C]//第15届人工神经网络国际会议论文集：形式模型及其应用，波兰华沙，2005年9月11日至15日：799-804。
[37]EYBEN F、W？LLMER M，GRAVES A，等。基于声学和语言线索的三维激活-价时连续体中的在线情感识别[J]。《多模式用户界面杂志》，2010年，3:7-19。
[38]EYBEN F、W？LLMER M，SCHULLER B.OpenEAR引入慕尼黑开源情感和情感识别工具包[C]//第三届情感计算与智能交互国际会议论文集，2009:1-6。
[39]EYBEN F、W？LLMER M，SCHULLER B.Opensmile:慕尼黑通用快速开源音频特征提取器[C]//第18届ACM多媒体国际会议论文集，2010:1459-1462。
[40]MCFEE B，RAFFEL C，LIANG D，et al.librosa:python中的音频和音乐信号分析[C]//第14届python科学大会论文集，2015:18-25。
[41]DEGOTTEX G，KANE J，DRUGMAN T等。COVAREP——语音技术的协作语音分析库[C]//2014年IEEE声学、语音和信号处理国际会议论文集，2014:960-964。
[42]TAJADURA-JIMéNEZ甲，乙？STFJ？LL D.听觉诱发情感：人机交互中被忽视的沟通渠道[J]。人机交互中的情感与情感：从理论到应用，2008，4868:63-74。
[43]VOGT T，ANDRéE，WAGNER J.从言语中自动识别情绪：文献综述和实际实现建议[J]。《人机交互中的情感与情感：从理论到应用》，2008年，4868:75-91。
[44]EL AYADI M，KAMEL M S，KARRAY F.语音情感识别综述：特征、分类方案和数据库[J]。模式识别，2011，44（3）：572-587。
[45]LOWE D G.不同尺度关键点的独特图像特征[J]。国际计算机视觉杂志，2004，60（2）：91-110。
[46]TRAN D，BOURDEV L，FERGUS R，et al.利用三维卷积网络学习时空特征[C]//IEEE计算机视觉国际会议论文集，2015:4489-4497。
[47]LITTLEWORT G，WHITEHILL J，WU T，et al.计算机表情识别工具箱（CERT）[C]//2011 IEEE自动人脸和手势识别国际会议论文集，2011:298-305。
[48]BALTRUSAITIS T，ZADEH A，LIM Y C，et al.Openface 2.0:面部行为分析工具包[C]//第13届IEEE自动面部和手势识别国际会议论文集，2018年：59-66。
[49] 孙影影, 贾振堂, 朱昊宇. 多模态深度学习综述[J] ●●●●。计算机工程与应用, 2020, 56(21): 1-10.
孙毅，贾振堂，朱慧。多模式深度学习研究[J]。计算机工程与应用，2020，56（21）：1-10。
[50]PARK S，SHIM H S，CHATTERJEE M，等.网络社交多媒体中说服力的多模态分析与预测[J]。ACM交互智能系统交易（TiiS），2016，6（3）：1-25。
[51]PORIA S，CHATURVEDI I，CAMBRIA E，et al.基于卷积MKL的多模态情感识别与情感分析[C]//IEEE第十六届国际数据挖掘会议论文集，2016:439-448。
[52]NOJAVANASGHARI B，GOPINATH D，KOUSHIK J，et al.深度多模态融合在说服力预测中的应用[C]//第18届ACM多模态交互国际会议论文集，2016:284-288。
[53]于勇，林赫，孟杰，等.基于深度卷积神经网络的微博视觉和文本情感分析[J]。算法，2016，9（2）：41。
[54]HUSSAIN M S，CALVO R A，AGHAEI POUR P.检测多通道生理影响的混合融合方法[C]//第四届情感计算和智能交互国际会议论文集，美国田纳西州孟菲斯，2011年10月9日至12日：568-577。
[55]王H，MEGHAWAT A，MORENCY L P，等.选择加性学习：改进多模态情感分析中的跨个体泛化[J]。arXiv:1609.052442016年。
[56]柯赛菲J，利普顿Z C，柯宾松A，等.张量回归网络[J]。机器学习研究杂志，2020，21（1）：4862-4882。
[57]YANG X，YUMER E，ASENTE P，et al.学习使用多模态完全卷积神经网络从文档中提取语义结构[C]//IEEE计算机视觉和模式识别会议论文集，2017:5315-5324。
[58]LIANG P P，LIU Z，TSAI Y H H，等.基于张量秩正则化的不完备时间序列数据学习表示[J]。arXiv:1907.010112019年。
[59] 胡新荣, 陈志恒, 刘军平, 等. 基于多模态表示学习的情感分析框架[J] ●●●●。计算机科学, 2022年，49（S2）：631-636。
胡晓瑞，陈振华，刘建平，等.基于多模态表征学习的情绪分析框架[J]。计算机科学，2022，49（S2）：631-636。
[60]于伟，许赫，袁Z，等.基于自我监督多任务学习的多模态情感分析模型特异性表征的学习[C]//AAAI人工智能会议论文集，2021:10790-10797。
[61]HU G，LIN T E，ZHAO Y，等.UniMSE：走向统一的多模态情感分析和情感识别[J]。arXiv:221112562022年。
[62]YANG K，XU H，GAO K.CM-BERT：用于文本音频情感分析的跨模态伯特[C]//第28届ACM国际多媒体会议论文集，2020：521-528。
[63]余T，高H，LIN T E，等.基于明确跨模态对齐的口语对话理解的语音-文本对话预训练[J]。arXiv:2305.115792023年。
[64]BAREZI E J，FUNG P.基于模态的多模态融合因子分解[J]。arXiv:1811.126242018年。
[65]TUCKER L R.关于三模式因子分析的一些数学注释[J]。《心理测量学》，1966，31（3）：279-311。
[66]HITCHCOCK F L.张量或多变量作为乘积之和的表达式[J]。数学和物理杂志，1927，6（1/4）：164-189。
[67]江德，邹德，邓Z，等.基于信息增强的情境多模态情感分析[J]。物理学杂志：会议系列，2020，1453（1）：012159。
[68]FINN C，ABBEEL P，LEVINE S.用于深度网络快速适应的模型认知元学习[C]//机器学习国际会议论文集，2017:1126-1135。
[69]NICHOL A，ACHIAM J，SCHULMAN J.关于一阶元学习算法[J]。arXiv:1803.029992018年。
[70]SNELL J，SWERSKY K，ZEMEL R.《神经信息处理系统的原型网络》，2017年。
[71]SUNG F，YANG Y，ZHANG L，et al.Learning to compare:Relation network for few-shot Learning[C]//IEEE Conference on Computer Vision and Pattern Recognition，2018:1199-1208.宋芳，杨毅，张磊，等.学习比较：关系网络的少快照学习[C]//美国电气工程师学会计算机视觉与。
[72]VINYALS O，BLUNDELL C，LILLICRAP T，et al.一次性学习的匹配网络[C]//神经信息处理系统的进展，2016。
[73]张C，蔡毅，林刚，等.深度EMD：可微推土机距离的少速学习[J]。IEEE模式分析和机器智能汇刊，2023，45（5）：5632-5648。
[74]刘毅，LEE J，PARK M，等.学习传播标签：用于少量学习的传导性传播网络[J]。arXiv:1805.100022018年。
[75]YANG L，LI L，ZHANG Z，et al.DPGN:用于少镜头学习的分布传播图网络[C]//IEEE/CFF计算机视觉和模式识别会议论文集，2020:13390-13399。
[76]LEE K，MAJI S，RAVICHANDRAN A，等.基于可微凸优化的元学习[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:10657-10665。
[77]RUSU A A，RAO D，SYGNOWSKI J，等.基于潜在嵌入优化的元学习[J]。arXiv:1807.059602018年。
[78]戴伟，刘忠，于涛，等.低资源多模态情感识别中的模态可转移情感嵌入[J]。arXiv:2009.096292020年。
[79]YANG X，FENG S，WANG D，等.基于多峰概率融合提示的少峰多峰情感分析[J]。arXiv:2211.066072022年。
[80]GAO T，FISCH A，CHEN D.使预训练语言模型更好地为少数学生服务[J]。arXiv:2012.15723，2020年。
[81]RAFFEL C，SHAZEER N，ROBERTS A，et al.使用统一的文本对文本转换器探索迁移学习的局限性[J]。机器学习研究杂志，2020，21（1）：5485-5551。
[82]MOKADY R，HERTZ A，BERMANO A H.ClipCap：图像字幕的剪辑前缀[J]。arXiv:22111.097342021。
[83]BROCK A，DE S，SMITH S L.表征信号传播，以缩小非标准化resnet中的性能差距[J]。arXiv:2101.086922021年。
[84]WANKHADE M，RAO A C S，KULKARNI C.关于情绪分析方法、应用和挑战的调查[J]。《人工智能评论》，2022，55（7）：5731-5780。
[85]MADHU S.一种使用情绪分析分析博客和推文中自杀倾向的方法[J]。国际科学研究与计算科学工程杂志，2018，6（4）：34-36。
[86]APALA K R，JOSE M，MOTNAM S，et al.利用社交媒体预测电影票房表现[C]//IEEE/ACM社会网络分析与挖掘进展国际会议论文集，2013。
[87]唐C N，MORENO-GARCíA M N，PRIETA F D.一种将情感分析集成到推荐系统中的方法[J]。传感器，2021，21（16）：5666。
[88]ELLIS J G，JOU B，CHANG S F.为什么我们看新闻：探索广播视频新闻中情绪的数据集[C]//第十六届多式联运国际会议论文集，2014:104-111。
[89]毛锐，刘强，何克，等.预训练语言模型的偏差：基于即时情绪分析和情绪检测的实证研究[J]。IEEE情感计算汇刊，2023，14（3）：1743-1753。
[90]CASTRO S，HAZARIKA D，V PéREZ-ROSAS，et al.迈向多模态讽刺检测（一篇明显完美的论文）[C]//第57届计算语言学协会会议记录，2019年7月28日至8月2日，意大利佛罗伦萨：4619-4629。
[91]刘斌，张磊.意见挖掘与情感分析调查[M]//挖掘文本数据。马萨诸塞州波士顿：Springer，2012:415-463。
[92]PORIA S，HUSSAIN A，CAMBRIA E，et al.结合文本线索和视听信息进行多模态情感分析[J]。多模态情绪分析，2018（1）：153-178。
[93]GROSMAN J S，FURTADO P，RODRIGUES A，et al.ERAS：改进自然语言处理任务注释过程的质量控制[J]。信息系统，2020，93:101553。
[94]张德，李斯，朱强，等.口语中多模态情感分析的有效情感相关词选择[C]//第27届ACM国际多媒体会议论文集，2019:148-156。
[95]HAN S，MAO R，CAMBRIA E.通过隐喻概念映射辅助推特上可解释抑郁症检测的分层注意网络[J]。arXiv:2209.074942022年。
[96]BIRJALI M，KASRI M，BENI-HSSANE A.情绪分析综合调查：方法、挑战和趋势[J]。基于知识的系统，2021，226:107134。