对话情绪识别综述

doi:10.3778/j.issn.1002-8331.2207-0417

摘要/摘要

摘要：对话情绪识别是情感计算领域的一个热门研究课题，旨在检测对话过程中每个话语的情感类别。其在对话理解和对话生成方面具有重要的研究意义，同时在社交媒体分析、推荐系统、医疗和人机交互等诸多领域具有广泛的实际应用价值。随着深度学习技术的不断创新和发展，对话情绪识别受到学术界和工业界越来越多的关注，现阶段需要综述性的文章对已有研究成果进行总结，以便更好地开展后续工作。从问题定义、问题切入方式、研究方法、主流数据集等多个角度对该领域的研究成果进行全面梳理，回顾和分析了对话情绪识别任务的发展。对话文本中含有丰富的语义信息，结合视频和音频可以进一步提升建模效果，因此，重点对文本对话情绪识别以及多模态对话情绪识别的方法进行了梳理，立足于当前研究现状，总结了现有对话情绪识别领域存在的开放问题以及未来的发展趋势。

关键词: 情感分析, 对话理解, 对话情绪识别, 深度学习

摘要：会话中的情感识别（ERC）是情感计算领域的一个热点研究课题，其目的是检测对话中每个语篇的情感类别。它对对话理解和对话生成具有重要的研究意义。同时，它在社交媒体分析、推荐系统、医疗和人机交互等许多领域都具有广泛的实际应用价值。随着深度学习技术的不断创新和发展，会话中的情感识别越来越受到学术界和业界的关注。在现阶段，有必要将这些研究成果总结成一篇综述性文章，以便更好地开展后续工作。从问题定义、问题方法、研究方法和主流数据集的角度对该领域的研究成果进行了全面梳理，并对对话情感识别任务的发展进行了回顾和分析。与视频和音频相比，对话文本包含更多的信息。因此，本文重点梳理了文本对话的情感识别方法，尤其是基于深度学习的方法。最后，基于当前的研究现状，本文总结了对话情感识别领域存在的开放性问题以及未来的发展趋势。

关键词： 情绪分析，对话理解，对话中的情感识别，深度学习

陈晓婷, 李实. 对话情绪识别综述[J] ●●●●。计算机工程与应用, 2023, 59(3): 33-48.

陈晓婷、李石。会话中的情绪识别研究[J]。计算机工程与应用，2023,59（3）：33-48。

参考文献

[1] MARIETTO M，AGUIAR R，BARBOSA G，等.人工智能标记语言：简要教程[J].arXiv:1307.30912013。
[2] GOODRICH M，SCHULTZ A.人机交互：一项调查[J]。人与计算机交互的基础与趋势，2007,1（3）：203-275。
[3] 梅耶·J，罗伯特·R，巴萨迪S.人类能力：情商[J]。心理学年鉴，2008年，59（1）：507-536。
[4] RASHKIN H，SMITH E，LI M，et al.面向移情开放域会话模型：一个新的基准和数据集[C]//计算语言学协会第57届年会论文集。宾夕法尼亚州佛罗伦萨：ACL，2019:5370-5381。
[5] 马寅，阮克立，邢福智，等.移情对话系统研究[J]。信息融合，2020,64:50-70。
[6] MAJUMDER N，HONG P，PENG S，等.MIME：模拟情绪以产生同情反应[C]//《2020年自然语言处理实证方法会议论文集》。宾夕法尼亚州：ACL，2020:8968-8979。
[7] 谢波，朴春华。带变压器对话代理的移情机器人[C]//2021年第18届全球机器人国际会议（UR）。新泽西州刚农：IEEE，2021:290-295。
[8] CHATTERJEE A，NARAHARI K N，JOSHI M，et al.SemEval-2019任务3:emoContext文本中的上下文情感检测[C]//第十三届语义评估国际研讨会论文集。宾夕法尼亚州明尼阿波利斯：ACL，2019:39-48。
[9] 沈涛，贾杰，李毅，等.PEIA:社交媒体平台上音乐推荐的个性和情感综合关注模型[C]//美国人工智能学会人工智能会议论文集，2020:206-213。
[10] 张毅，赖庚，闵姿，等.基于短语层次情感分析的可解释性推荐的显式因子模型[C]//第37届国际ACM SIGIR信息检索研究与开发会议论文集。纽约：ACM，2014:83-92。
[11] MAHATA D，FRIEDRICHS J，SHAH R R，等.从推特上检测个人药物摄入[J]。IEEE智能系统，2018,33（4）：87-95。
[12] 郭聪，曹军，张旭，等。DEAN：学习双重情感在社交媒体虚假新闻检测中的应用[J].arXiv:1728.19032017。
[13] 肖刚，屠刚，郑磊，等.基于层次关注的物联网多模态情感分析和基于MBM网络的CSAT-TCN[J]。IEEE物联网杂志，2021,8（16）：12748-12757。
[14] COLNERIC N，DEMSAR J.推特上的情绪识别：对比研究与统一模型训练[J]。IEEE情感计算汇刊，2018，11（3）：433-446。
[15] PORIA S，MAJUNDER N，MIHALCEA R，等。会话中的情绪识别：研究挑战、数据集和最新进展[J].亚洲研究：1905.29472019。
[16] MUNEZERO M、SUERO MONTERO C、SUTINEN E等。它们不同吗？文本中的情感、情感、情绪、情感和观点检测[J]。IEEE情感计算汇刊，2014,5（2）：101-111。
[17] 魏磊，魏斯，JI S，等.BiERU：用于会话情感分析的双向情感回归单元[J].arXiv:2006.24922020。
[18] LIAN Z，LIU B，TAO J.CTNet:情感识别的会话转换网络[J]。IEEE/ACM音频、语音和语言处理汇刊，2021（29）：985-1000。
[19] 马赫，王杰，林海，等。对话中实时情感识别的多视图网络[J]。基于知识的系统，2021236:107751。
[20] PORIA S，CAMBRIA E，HAZARIKA D，et al.用户生成视频中的上下文相关情绪分析[C]//计算语言学协会第55届年会论文集。宾夕法尼亚州温哥华：ACL，2017:873-883。
[21]CHEN S，HSU C，KUO C，等.情感线：多方对话的情感语料库[C]//第十一届国际语言资源与评价会议论文集，宫崎骏，2018。
[22] 吴良庆，李寿山，王建成，等.基于神经主题模型的对话情感分析[J] ●●●●。中文信息学报，2020，34（1）：106-112.
WU L Q，LI S S，WANG J C，等.基于神经主题模型的对话情感分析[J]。中国信息处理杂志，2020,34（1）：106-112。
[23]HAZARIKA D，PORIA S，ZADEH A，et al.二元对话视频中情感识别的会话记忆网络[C]//计算语言学协会北美分会2018年会议记录：人类语言技术。宾夕法尼亚州新奥尔良：ACL，2018:2122-2132。
[24]HAZARIKA D，PORIA S，MIHALCEA R，et al.ICON：用于多模态情感检测的交互式会话记忆网络[C]//2018年自然语言处理经验方法会议论文集。宾夕法尼亚州布鲁塞尔：ACL，2018:2594-2604。
[25]MAJUMDER N，PORIA S，HAZARIKA D，et al.对话RNN:一种用于对话中情感检测的专注RNN[J].arXiv:1405.18112014。
[26]GHOSAL D，MAJUMDER N，PORIA S，et al.DialogueGCN:一种用于会话中情感识别的图卷积神经网络[C]//2019年自然语言处理经验方法会议和第九届自然语言处理国际联合会议（EMNLP-IJCNLP）论文集。宾夕法尼亚州香港：ACL，2019:154-164。
[27]沈伟，陈杰，泉X，等.DialogXL：用于多方对话情感识别的一体式XLNet[J].arXiv:2012.86952020。
[28] 田雨亭.基于深度学习的对话情绪识别研究[D] ●●●●。武汉：华中师范大学，2021
田永堂。基于深度学习的会话情感识别研究[D]。武汉：华中师范大学，2021年。
[29]王毅，张杰，马杰，等.会话中的情境化情绪识别作为序列标记[C]//话语与对话特别利益小组第21届年会论文集。宾夕法尼亚州：ACL，2020:186-195。
[30]高Q，曹B，关X，等.基于多任务学习的情感转移检测对话中的情感识别[J]。基于知识的系统，2022248:108861。
[31]HOFMANN T.概率潜在语义分析[C]//第十五届人工智能不确定性会议论文集。纽约：ACM，1999:289-296。
[32]BLEI D，NG A，JORDAN M.潜在dirichlet分配[J]。机器学习研究杂志，2001,3:993-1022。
[33]RANA T，CHEAH Y，LETCHMUNAN S。情绪分析中的主题建模：系统综述[J]。信息通信技术研究与应用杂志，2016，10:76-93。
[34]XIANG B，ZHOU L.通过基于主题的混合建模和半监督训练改进推特情绪分析[C]//计算语言学协会第52届年会论文集。宾夕法尼亚州巴尔的摩：ACL，2014:434-439。
[35]REN Y，ZHANG Y，ZHANG M，et al.使用主题丰富的多原型词嵌入改进推特情感分类[C]//第三十届人工智能会议论文集，2016:3038-3044。
[36]ZHU L，PERGOLA G，GUI L，et al.用于对话情感检测的主题驱动和知识软件转换器[C]//计算语言学协会第59届年会和第11届国际自然语言处理联合会议论文集。宾夕法尼亚州：ACL，2021:1571-1582。
[37]JOSHI A，BHATTACHARYYA P，AHIRE S.情绪资源：词汇和数据集[M]//情绪分析实用指南。【S.l.】：施普林格，2017:85-106。
[38]CHEN L，LEE C，CHEN M.使用深度学习探索用于情绪分析的社交媒体[J]。软计算，2020,24:8187-8197。
[39]PAN D，袁J，李磊，等.基于深度神经网络的情感分析分类模型[J].arXiv:1907.20462019。
[40]RABEYA T，FERDOUS S，ALI H，et al.情绪检测综述：一种基于词汇的回溯方法，用于检测孟加拉语文本中的情绪[C]//第20届国际计算机与信息技术会议（ICCIT）。孟加拉国，新泽西州：IEEE，2017:1-7。
[41]斯特拉帕拉瓦C，VALIUTTI A.WordNet-affect:WordNet的情感延伸[C]//《第四届国际语言资源与评价会议论文集》，里斯本，2004:1083-1086。
[42]MOHAMMAD S，TURNEY P.Crowdsourcing a word-emotion association lexicon[J].arXiv:1308.62972013。
[43]李忠，谢赫，程庚，等.基于两种图式的短文情感分类的词汇级情感分布[J]。基于知识的系统，2021227:107163。
[44]PORIA S，GELBUKH A，CAMBRIA E，et al.表情空间：情感常识推理的新框架[J]。基于知识的系统，2014,69:108-123。
[45]BANDHAKAVI A S，WIRATUNGA N.基于词典的情感文本分类特征提取[J]。《模式识别快报》，2016,93:133-142。
[46]OJAMAA B，JOKINEN P A I K，MUISCHENK K。会话文本的情感分析[C]//第20届北欧计算语言学会议论文集，维尔纽斯，诺达利达，2015:233-237。
[47]MAZZOCUT M，TRUCOLO I，ANTONINI M，et al.关于补充和替代药物与癌症的网络对话：内容和情感分析[J]。医学互联网研究杂志，2016,18（6）：e120。
[48]BOTHE C，MAGG S，WEBER C，et al.基于对话的神经学习以评估下一句话的情绪[C]//第26届人工神经网络国际会议（ICANN）论文集，Alghero，2017:477-485。
[49]SHIVHARE S N，GARG S，MISHRA A.Emotionfinder：从博客和文本文档中检测情感[C]//国际计算、通信和自动化会议。新泽西州大诺伊达：IEEE，2015:52-57。
[50]MA C，HELMUT P.基于情感文本交互的情感估计和推理[C]//情感计算和智能交互（ACII）。柏林：斯普林格出版社，2005:622-628。
[51]HERZIG J，FEIGENBLAT G，SHMUELI-SCHEUER M，et al.社交媒体中客户支持对话中的情绪分类[C]//第17届话语与对话特别利益小组年会。宾夕法尼亚州洛杉矶：ACL，2016:64-73。
[52]JAIN V，KUMAR D S，FERNANDES S.使用智能文本处理和计算语言学从多语言文本中提取情感[J]。计算科学杂志，2017,21:316-326。
[53]HASAN M，RUNDENSTEINER E A，AGU E O。Emotex：检测推特消息中的情绪[C]//Bigdata Socialcom网络安全会议，2014:27-31。
[54]AMAN S，SZPAKOWICZ S.识别文本中的情感表达[C]//第十届文本、演讲和对话国际会议论文集。柏林：施普林格出版社，2007年。
[55]GHAZI D，INKPEN D，SZPAKOWICZ S.文本中情绪的层次与平面分类[C]//NAACLHLT 2010年文本中情绪分析与生成的计算方法研讨会论文集。宾夕法尼亚州斯特劳德斯堡：ACL，2010:140-146。
[56]DE BRUYNE L，DE CLERCQ O E E，HOSTE V E R.LT3在SemEval-2018任务1：检测推文中情绪的分类器链[C]//第12届国际语义评估研讨会论文集。新奥尔良，宾夕法尼亚州：ACL，2018:123-127。
[57]SINGH L，SINGH S，AGGARWAL N.人类情感识别的两阶段文本特征选择方法[C]//第二届通信、计算和网络国际会议论文集，网络与系统讲稿。新加坡：Springer，2018:531-538。
[58]HERZIG J，SHMUELI-SCHEUER M，KONOPNICKI D.使用词嵌入的集成分类从文本中检测情感[C]//ACM SIGIR信息检索理论国际会议（ICTIR’17）论文集。纽约：ACM，2017:269-272。
[59]GUPTA U，CHATTERJEE A，SRIKANTH R，等.基于情感和语义的文本对话情感检测方法[J].arXiv:1707.69962017。
[60]黄C，特拉贝西A，ZA？ANE O.ANA在2019年SemEval-2019年的任务3：通过分层LSTM和BERT检测对话中的上下文情感[C]//第十三届语义评估国际研讨会论文集。宾夕法尼亚州明尼阿波利斯：ACL，2019:49-53。
[61]HU D，WEI L，HUAI X.DialogueCRN:会话中情感识别的上下文推理网络[C]//计算语言学协会第59届年会和第11届国际自然语言处理联合会议论文集。宾夕法尼亚州：ACL，2021:7042-7052。
[62]ZHANG Y，TIWARI P，SONG D，et al.使用交互式LSTM学习交互动力学，用于会话情绪分析[J]。神经网络，2021133:40-56。
[63]焦伟，杨华，金一，等.HiGRU：语音级情感识别的分层门控递归单元[C]//计算语言学协会北美分会2019年会议论文集：人类语言技术。宾夕法尼亚州明尼阿波利斯：ACL，2019:397-406。
[64]马赫，王杰，钱磊，等.韩瑞格：基于剩余门控递归单元的分层注意网络在会话中的情感识别[J]。神经计算与应用，2021,33（7）：2685-2703。
[65]李杰，张明，季德，等.基于辅助说话人识别的会话情感识别多任务学习[J].arXiv:1478.20032014。
[66]姜涛，徐斌，赵涛，等.CAN-GRU：对话中情感识别的层次模型[C]//第十九届全国计算语言学会议论文集。中国信息处理学会，海口，2020:1101-1111。
[67]张德，陈X，徐S，等.基于多任务增量变换的文本对话中的知识感知情感识别[C]//第28届国际计算语言学会议论文集。宾夕法尼亚州巴塞罗那：ACL，2020:4429-4440。
[68]李J，JI D，LI F，et al.HiTrans:一种基于变换器的上下文和说话人敏感会话情感检测模型[C]//第28届国际计算语言学会议论文集。巴塞罗那，国际计算语言学委员会，2020:4190-4200。
[69]TU G，WEN J，LIU C，等.会话中情感识别的上下文和情感软件网络[J]。IEEE人工智能汇刊，2022,1:1。
[70]刘海泽，林海泽，陈国堂：基于树的注意网络与变压器预训练的会话情感识别[C]//知识发现和数据挖掘进展，2021:730-742。
[71]SCARSELLI F，GORI M，TSOI A C，等.图形神经网络模型[J]。IEEE神经网络汇刊，2009,20（1）：61-80。
[72]KIPF T，WELLING M.图卷积网络半监督分类[J].arXiv:1609.29072016。
[73]SCHLICHTKRULL M，KIPF T N，BLOEM P，等.基于图卷积网络的关系数据建模[J].arXiv:1703.61032017。
[74]ISHIWATARI T，YASUDA Y，MIYAZAKI T，et al.具有关系位置编码的关系感知图形注意网络，用于对话中的情感识别[C]//《2020年自然语言处理经验方法会议论文集》（EMNLP）。PA:ACL，2020:7360-7370。
[75]沈伟，吴斯，杨毅，等.主持会话情感识别循环图网络[C]//计算语言学协会第59届年会和第11届国际自然语言处理联合会议论文集。宾夕法尼亚州：ACL，2021:1551-1560。
[76]梁C，杨C，徐J，等.S+PAGE：一种用于会话中情感识别的说话人和位置感知图形神经网络模型[J].arXiv:2112.123892021。
[77]孙毅，于恩，付刚.一种用于多方对话情感识别的语篇感知图形神经网络[C]//计算语言学协会的发现。蓬塔卡纳，PA：ACL，2021:2949-2958。
[78]ZHANG D，WU L，SUN C，et al.为多说话人对话中的情绪检测建模上下文和说话人敏感依赖[C]//第二十八届国际人工智能联合会议论文集，澳门，2019:5415-5421。
[79]连泽，刘斌，陶建德：会话情感识别的对话情感校正网络[J]。神经计算，2021454:6。
[80]盛德，王德，申毅，等.聚合前总结：一种用于会话情感识别的全局-局部异构图推理网络[C]//第28届国际计算语言学会议论文集。西班牙巴塞罗那，宾夕法尼亚州：ACL，2020:4153-4163。
[81] 彭韬，杨亮，桑钟屹，等.基于异构二部图的对话情感分析[J] ●●●●。中文信息学报，2021，35（11）：135-142.
彭涛，杨磊，桑振英，等.基于异质二分图的会话情感分析[J]。中国信息处理杂志，2021,35（11）：135-142。
[82]JIAO W，LYU M，KING I.通过注意力门控分层记忆网络进行实时情绪识别[J].arXiv:1911.90752019。
[83]HINTON G，KRIZHEVSKY A，WANG S.改造自动编码器[C]//第21届人工神经网络国际会议，埃斯波，2011:44-51。
[84]SABOUR S，FROSST N，HINTON G E.胶囊之间的动态路由[J].arXiv:1710.98292017。
[85]肖毅，李杰，赵强，等.使用胶囊网络和门控递归单元进行会话中的情感识别[C]//创新计算国际会议，新加坡，2022:59-67。
[86]CERISARA C，JAFARITAZEHJANI S，OLUOKUN A，et al.Mastodon上的多任务对话行为和情感识别[J].arXiv:1807.50132018。
[87]KIM M，KIM H.识别对话言语行为、谓语和情感的集成神经网络模型[J]。模式识别信函，2017101:1-5。
[88]QIN L，CHE W，LI Y，et al.DCR-Net：用于联合对话行为识别和情感分类的深度交互关系网络[C]//第三十四届AAAI人工智能会议。加利福尼亚州纽约市：AAAI，2020:8665-8672。
[89]QIN L，LI Z，CHE W，et al.Co-GAT：一种用于联合对话行为识别和情感分类的交互式图形注意网络[C]//第35届AAAI人工智能会议论文集。加利福尼亚州纽约市：AAAI，2021年。
[90]李J，FEI H，JI D.用双通道动态卷积对对话行为识别和情感分类的局部语境建模[C]//第28届国际计算语言学会议论文集。宾夕法尼亚州巴塞罗那：ACL，2020:616-626。
[91]邢B，TSANG I.DARER：用于对话情感分类和行为识别的双任务时间关系递归推理网络[C]//第28届国际计算语言学会议论文集。宾夕法尼亚州巴塞罗那：ACL，2022:616-626。
[92]张毅，李强，宋德，等.基于Quantum的交互式会话情感分析网络[C]//第二十八届国际人工智能联合会议论文集，2019:5436-5442。
[93]LI Q，GKOUMAS D，SORDONI A，等.基于Quantum的会话情感识别神经网络[C]//第三十五届AAAI人工智能会议论文集。加利福尼亚州：AAAI，2021:13270-13278。
[94]闫平，李磊，曾D.用于建模复杂文本交互的量子概率启发图注意网络[J]。基于知识的系统，2021234:107557。
[95]钟平，王德，缪C.文本对话中情感检测的知识丰富转换器[C]//2019年自然语言处理经验方法会议和第九届自然语言处理国际联合会议论文集。宾夕法尼亚州香港：ACL，2019:165-176。
[96]GHOSAL D，MAJUMDER N，GELBUKH A，et al.COSMIC:会话中情感识别的常识[C]//计算语言学协会的发现。宾夕法尼亚州：ACL，2020:2470-2481。
[97]李杰，林泽，傅萍，等.过去、现在和未来：通过心理知识的结构建模进行会话情感识别[C]//计算语言学协会的发现。宾夕法尼亚州蓬塔卡纳：ACL，2021:1204-1214。
[98]巴尔特鲁？AITIS T，AHUJA C，MORENCY L.多模式机器学习：一项调查和分类学[J]。IEEE模式分析和机器智能汇刊，2019,41（2）：423-443。
[99]ZADEH A，CHEN M，PORIA S，等.用于多模态情感分析的张量融合网络[J].arXiv:1707。7250，2017.
[100]刘Z，沈毅，LAKSHMINARSIMHAN V B，等.具有模态特异因子的高效低阶多模态融合[C]//计算语言学协会第56届年会论文集。宾夕法尼亚州墨尔本：ACL，2018:2247-2256。
[101]MAI S，HU H，XING S.划分、征服和合并：多模态情感计算的局部和全局视角的层次化特征融合网络[C]//计算语言学协会第57届年会论文集。宾夕法尼亚州佛罗伦萨：ACL，2019:481-492。
[102]顾毅，杨坤，傅S，等.基于分层注意策略和词级对齐的多模态情感分析[C]//计算语言学协会第56届年会论文集。宾夕法尼亚州墨尔本：ACL，2018:2225-2235。
[103]YOON S，BYUN S，DEY S，等.基于多跳注意机制的语音情感识别[C]//国际声学、语音和信号处理会议（ICASSP）。新泽西州布莱顿：IEEE，2019:2822-2826。
[104]徐华，张华，韩坤，等.语音多模态情感识别的学习对齐[J].arXiv:1909.56452019。
[105]TSAI Y H，BAI S，LIANG P P，等.非对齐多模态语言序列的多模态变换器[C]//计算语言学协会第57届年会论文集。宾夕法尼亚州佛罗伦萨：ACL，2019:6558-6569。
[106]WU C，LIN J，WEI W.视听情感识别研究：数据库、特征和数据融合策略[J]。APSIPA《信号和信息处理汇刊》，2014,3:1-18。
[107]罗兹基？五、 ANANTHAKRISHNAN S，SALEEM S，et al.用于多模态情感识别的SVM树集成[C]//2012年亚太信号与信息处理协会年会论文集。新泽西州好莱坞：IEEE，2012:1-4。
[108]PéREZ ROSAS V，MIHALCEA R，MORENCY L.西班牙在线视频的多模态情感分析[J]。IEEE智能系统，2013,28（3）：38-45。
[109]金Q，李C，陈S，等.基于声学和词汇特征的语音情感识别[C]//2015 IEEE声学、语音和信号处理国际会议（ICASSP）。新泽西州南布里斯班：IEEE，2015:4749-4753。
[110]SCHULLER B，VALSTAR M，COWIE R，et al.AVEC 2012:持续视听情感挑战[C]//ACM多模交互国际会议论文集。加利福尼亚州：ACM，2012年。
[111]黄J，李毅，陶杰，等.基于长短期记忆递归神经网络的连续多模态情绪预测[C]//第七届视听情感挑战年度研讨会论文集。纽约：ACM，2017:11-18。
[112]KESSOUS L，CASTELLANO G，CARIDAKIS G.使用面部表情、身体姿势和声学分析进行基于言语的交互中的多模态情感识别[J]。多模式用户界面杂志，2009,3（1）：33-48。
[113]黄毅，杨杰，廖鹏，等.多模态情绪识别中面部表情与脑电图的融合[J]。计算智能与神经科学，2017（2）：1-8。
[114]MORVANT E，HABRARD A，AYACHE S.不同分类器对后期融合的多数投票[J].arXiv:1404。7796，2014.
[115]SHUTOVA E，KIELA D，MAILLARD J.黑洞与白兔：视觉特征的隐喻识别[C]//计算语言学协会北美分会2016年会议论文集：人类语言技术。宾夕法尼亚州圣地亚哥：ACL，2016:160-170。
[116]GLODEK M，TSCHECHNE S，LAYHER G，等.视听情感状态分类的多分类器系统[J]。《计算机科学讲义》，20116975:359-368。
[117]CHEN S，JIN Q.用于维度情绪预测的多模式条件注意融合[C]//第24届ACM国际多媒体会议论文集。纽约：ACM，2016:571-575。
[118]PORIA S，CAMBRIA E，HAZARIKA D，et al.情境多模态情感分析的多层次多关注[C]//2017 IEEE国际数据挖掘会议（ICDM）。新泽西州新奥尔良：IEEE，2017:1033-1038。
[119]CHOI J，LEE J.EmbraceNet：一种用于多模态分类的强大深度学习架构[J]。信息融合，2019,51:259-270。
[120]谢B，SIDULOVA M，PARK C H。基于变换器的跨模态融合从会话中鲁棒多模态情感识别[J]。传感器，2021,21（14）：4913。
[121]连泽，刘斌，陶建忠：情感识别的会话变换网络[J]。IEEE/ACM音频、语音和语言处理汇刊，2021,29-985-1000。
[122]AGARWAL H，BANSAL K，JOSHI A，等.情绪的形状：通过情绪转移进行会话中的多模态情绪识别[J].arXiv:1938.21122019。
[123]REN M，HUANG X，SHI X，et al.用于会话中情绪识别的交互式多模式注意力网络[J]。IEEE信号处理信件，2021,28:1046-1050。
[124]胡J，刘毅，赵J，等.MMGCN：基于深度图卷积网络的多模态融合在会话情感识别中的应用[C]//计算语言学协会第59届年会和第11届国际自然语言处理联合会议论文集。宾夕法尼亚州：ACL，2021:5666-5675。
[125]CERISARA C，JAFARITAZEHJANI S，OLUOKUN A，et al.Mastodon上的多任务对话行为和情感识别[C]//第27届国际计算语言学会议论文集。宾夕法尼亚州圣菲：ACL，2018:745-754。
[126]LI Y，SU H，SHEN X，et al.DailyDialog:一个手动标记的多回合对话数据集[C]//第八届国际自然语言处理联合会议论文集。宾夕法尼亚州台北：ACL，2017:986-995。
[127]CHEN S，HSU C，KUO C，等.情感线：多方对话的情感语料库[J].arXiv:1802。8379，2018.
[128]ZAHIRI S，CHOI J.基于序列卷积神经网络的电视节目文本情感检测[J].arXiv:1708.42992017。
[129]CHATTERJEE A，GUPTA U，CHINNAKOTLA M K，等.利用深度学习和大数据理解文本中的情感[J]。计算机在人类行为中的应用，2019,93:309-317。
[130]CHATTERJEE A，NARAHARI K N，JOSHI M，et al.SemEval-2019 task 3:文本中的表情上下文情感检测[C]//第十三届语义评估国际研讨会论文集。宾夕法尼亚州明尼阿波利斯：ACL，2019:39-48。
[131]BUSSO C，BULUT M，LEE C，等.交互式情感二元运动捕捉数据库[J]。《语言资源与评估》，2008年，42:335-359。
[132]MCKEOWN G，VALSTAR M，COWIE R，et al.SEMAINE数据库：个人与有限代理人之间情感色彩对话的注释多模态记录[J]。IEEE情感计算汇刊，2012,3（1）：5-17。
[133]PORIA S，HAZARIKA D，MAJUMDER N，et al.MELD：用于会话中情感识别的多模多方数据集[C]//计算语言学协会第57届年会论文集。宾夕法尼亚州佛罗伦萨：ACL，2019:527-536。
[134]SAHA T，PATRA A，SAHA S，et al.面向情感辅助的多模态对话行为分类[C]//计算语言学协会第58届年会论文集。宾夕法尼亚州：ACL，2020:4361-4372。