双元双模态下二次门控融合的多模态情感分析

doi:10.3778/j.issn.1002-8331.2302-0088

摘要/摘要

摘要：为了平衡情感信息在不同模态中分布的不均匀性，获得更深层次的多模态情感表征，提出了一种基于双元双模态二次门控融合的多模态情感分析方法。对文本、视觉模态，文本、语音模态分别融合，充分考虑文本模态在三个模态中的优势地位。同时为了获得更深层次的多模态交互信息，使用二次融合。在第一次融合中，使用融合门决定向主模态添加多少补充模态的知识，得到两个双模态混合知识矩阵。在第二次融合中，考虑到两个双模态混合知识矩阵中存在冗余、重复的信息，使用选择门从中选择有效、精简的情感信息作为双模态融合后的知识。在公开数据集CMU-MOSEI公司上，情感二分类的准确率和F1分别为86.2%、86.1%、表现出良好的健壮性和先进性。

关键词: 多模态情感分析, 双元双模态, 二次融合, 门控注意力机制

摘要：为了平衡情感信息在不同模态中的不均匀分布，获得更深层次的多模态情感表征，本文提出了一种多模态情感分析中的双模态双门融合方法（BBBGF）。在文本-视觉模式、文本-音频模式的融合过程中，充分考虑了文本模式在三种模式中的主导地位。同时，利用双融合技术从更深层次上获取多模态情感交互信息。在第一次融合中，使用一个融合门来决定将补充模态的多少知识添加到主模态中，并得到两个双模混合知识矩阵。在第二种融合中，考虑到两个双模混合知识矩阵中的冗余和重复信息，使用选择门来选择有效和非重复的情感信息作为最终知识。在公开数据集CMU-MOSEI上，情感二值分类的准确率和F1值分别达到86.2%和86.1%，表现出良好的鲁棒性和先进性。

关键词： 多模态情感分析，双双模态，双门融合，门控注意力

刘青文, 买日旦·吾守尔, 古兰拜尔·吐尔洪. 双元双模态下二次门控融合的多模态情感分析[J] ●●●●。计算机工程与应用, 2024, 60(8): 165-172.

刘庆文、迈里丹·乌舒尔、古兰拜尔·图尔洪。多模态情感分析中的双双模态与双格融合[J]。计算机工程与应用，2024，60（8）：165-172。

参考文献

[1] 韩伟，陈赫，杰布赫A，等.相关控制多模态情感分析的双模态模态融合[C]//2021年多模态交互国际会议论文集，2021:6-15。
[2] 金Q，李C，陈S，等.基于声学和词汇特征的语音情感识别[C]//2015 IEEE声学、语音和信号处理国际会议论文集，2015:4749-4753。
[3] MORENCY L P，MIHALCEA R，DOSHI P。走向多模态情感分析：从网络上收集意见[C]//第13届多模态接口国际会议论文集，2011:169-176。
[4] SHUTOVA E，KIELA D，MAILLARD J.黑洞与白兔：视觉特征的隐喻识别[C]//计算语言学协会北美分会2016年会议记录：人类语言技术，2016:160-170。
[5] 埃文格洛普洛斯G，ZLATINTSI A，POTAMIANOS A，等.基于听觉、视觉和文本注意的电影摘要的多模态显著性和融合[J]。IEEE多媒体汇刊，2013，15（7）：1553-1568。
[6] MORVANT E，HABRARD A，AYACHE S.不同分类器对后期融合的多数投票[C]//IAPR模式识别（SPR）和结构与句法模式识别（SSPR）统计技术联合国际研讨会论文集，2014:153-162。
[7] ZADEH A，CHEN M，PORIA S，等.用于多模态情感分析的张量融合网络[J].arXiv:1707.072502017。
[8] 刘Z，沈毅，拉什米纳拉西曼V B，等.具有模态特异因子的高效低阶多模态融合[J]。arXiv:1806.000642018年。
[9] MAI S，HU H，XING S.划分、征服和合并：多模态情感计算的局部和全局视角的层次特征融合网络[C]//计算语言学协会第57届年会论文集，2019:481-492。
[10] ZADEH A，LIANG P P，PORIA S，等.人类通信理解的多关注递归网络[C]//AAAI人工智能会议论文集，2018。
[11] ZADEH A，LIANG P P，MAZUMDER N，等.用于多视图顺序学习的记忆融合网络[C]//AAAI人工智能会议论文集，2018。
[12] TSAI Y H H，BAI S，LIANG P P，等.非对齐多模态语言序列的多模态变换器[C]//计算语言学会议协会会议记录，2019。
[13] ZADEH A A B，LIANG P P，PORIA S，等.野外多模态语言分析：CMU-MOSEI数据集与可解释动态融合图[C]//计算语言学协会第56届年会论文集，2018:2236-2246。
[14] MAI S，HU H，XING S.模态到模态的转换：用于多模态融合的对抗表示学习和图形融合网络[C]//美国人工智能学会人工智能会议论文集，2020年：164-172。
[15] 梅斯，邢斯，何杰，等.基于图卷积和图池融合的非对齐多峰序列分析[J]。arXiv:2011.35722020年。
[16] DEVLIN J，CHANG M W，LEE K，等.BERT：用于语言理解的深层双向变换器预训练[J]。arXiv:1810.048052018年。
[17] DEGOTTEX G，KANE J，DRUGMAN T，et al.COVAREP——语音技术的协作语音分析库[C]//2014 IEEE声学、语音和信号处理国际会议论文集，2014:960-964。
[18] CHUNG J，GULCEHRE C，CHO K H，等.门控递归神经网络在序列建模中的实证评价[J]。arXiv:1412.35552014年。
[19] HOCHREITER S，SCHMIDHUBER J.长短期记忆[J]。神经计算，1997，9（8）：1735-1780。
[20] ZADEH A，ZELLERS R，PINCUS E，等.视频中的多模态情绪强度分析：面部手势和言语信息[J]。IEEE智能系统，2016，31（6）：82-88。
[21]HASAN M K，RAHMAN W，ZADEH A，et al.UR-FUNNY:一个用于理解幽默的多模态语言数据集[J].arXiv:1904.06612019。
[22]李强，GKOUMAS D，LIOMA C，等.基于Quantum的视频情感分析多模态融合[J]。信息融合，2021，65:58-71。
[23]SUN Z，SARMA P，SETHARES W，et al.通过多模态语言分析的深度典型相关学习文本、音频和视频之间的关系[C]//AAAI人工智能会议论文集，2020：8992-8999。
[24]HAZARIKA D，ZIMMERMANN R，PORIA S.Misa：多模态情感分析的模态不变和特定表示[C]//第28届ACM国际多媒体会议论文集，2020：1122-1131。
[25]YU W，XU H，YUAN Z，et al.通过自我监督多任务学习学习模态特定表征，用于多模态情绪分析[C]//AAAI人工智能会议论文集，2021:10790-10797。