{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{-“日期-部件”：[[2024,6,25]]，“日期-时间”：“2024-06-25T05:11:04Z”，“时间戳”：17192264985}，“引用-计数”：51，“发布者”：“MDPI AG”，“问题”：“3”，“许可证”：[{“开始”:{“日期-零件”：[[2020,3,4]]，“时间”：”2020-03-04T00:00:00Z“，”时间戳“：1583280000000}，“content-version”：“vor”，“delay-in-days”：0，“URL”：“https:\/\/creativecommons.org\/licenses\/by\/4.0\/”}]，“资助者”：[{“DOI”：“10.13039\/501100001809”，“name”：“国家自然科学基金”，“DOI-asserted-by”：“publisher”，“award”：[“61702239”，“61672391”]}，{“DOI”：福建省教育厅“，“doi-asserted-by”：“publisher”，“award”：[“FBJG 20180015”]}，{“doi”：“10.13039\/501100009102”，“name”：“江西省教育厅”，“doi-asserted-by”：”publisher“，”award“：[”GJJ170765“，”GJJ 170798“]}”，{”doi“：”10.13039\\501100010857“，”name“：”江西省科学技术厅“，”doi-assert-by“：”publister“，”ward“”：[“20161GYZD011-011”]}]，“内容域”：{“域”：[]，“交叉标记限制”：false}，“短容器时间”：[“信息”]，“摘要”：“现有的研究论文大多从音乐分析理论和音乐欣赏的角度来研究闽南歌曲的情感识别。然而，这些研究并没有探索对闽南歌曲进行自动情感识别的任何可能性。在本文中，我们提出了一个由四个主要模块组成的模型，利用双峰数据\u2014歌曲歌词和音频对闽南歌曲的情感进行分类。在该模型中，使用基于注意力的长短时记忆（LSTM）神经网络提取歌词特征，使用卷积神经网络（CNN）从频谱中提取音频特征。然后，通过多模态紧致双线性池将两种提取的特征连接起来，最后将连接的特征输入到分类模块以确定歌曲情感。我们设计了三个实验组来研究四个主要部分组合的分类性能、所提出模型与当前方法的比较以及几个关键参数对情感识别性能的影响。结果表明，与其他实验组相比，该模型具有更好的性能。在适当的参数组合下，该模型的准确度、精确度和召回率均超过0.80<\/jats:p>“，”DOI“：”10.3390\/info11030145“，”type“：”journal-article“，”created“：{”date-parts“：[[2020,3,4]]，”date-time“：”2020-03-04T15:46:08Z“，”timestamp“：1583336768000}，”page“：11“，”作者“：[{”ORCID“：”http:\/\/orcid.org\/00000-0001-8484-5665“，”authenticated-orcid“：false，”given“：”郑龙“，”family“：”祥“，”sequence“：”first“，”affiliation“：[{”name“：”武汉大学计算机科学学院，中国武汉430072“}]}，{“given”：“Xialei”，“family”：“Dong”，“sequence”：“additional”，“affiliation:”[{“name”：“武汉大学计算机科学学院，中国武汉430072“}]}，{“given”：“袁祥”，“family”：“Li”，“sequence”：“additional”，“affiliation”：[{“name”：“武汉大学计算机学院，中国湖北430072”}，}“name“：”闽南师范大学物理与信息工程学院，中国漳州363000家族”：“余”，“序列”：“附加”，“隶属关系”：[{“名称”：“闽南师范大学物理与信息工程学院，漳州363000”}]，{“给定”：“兴”，“家族”：“徐”，“序列”：“附加”，“隶属关系”：[{“名称”：“闽南师范大学物理与信息工程学院，漳州363000”}，{“名称”：“景德镇陶瓷学院信息与工程学院，中国景德镇333000“}]}，{“ORCID”：“http://\/ORCID.org\/00000-0003-0492-7471”，“authenticated-ORCID”：false，“given”：”Hongrun“，”family“：”Wu“，”sequence“：”additional“，”affiliation“：[{”name“：”闽南师范大学物理与信息工程学院，中国漳州363000“}]}]，“成员”：“1968”，“在线发布”：{“日期部分”：[[2020,3,4]]}，“参考”：[{“key”：“ref_1”，“doi-asserted-by”：“crossref”，”first page“：”1“，”doi“：”10.1163\/1568520952600597“，”article-title“：”《闽南赋：晚唐宋朝（9\u2013-13世纪）的一个地方宗族》，“卷”：“38”，“作者”：“克拉克”，“年份”：“1995”，“期刊标题”：“J.Econ”。社会历史。Orient“}，{”key“：”ref_2“，”unstructured“：”Chuimei，H.（2001）。宋元时期闽南的陶瓷繁荣。世界商业中心：泉州海上，1000\u20131400，Brill。“}”，{“key”：“ref_3”，“doi-asserted-by”：“crossref”，”first page“：“192”，《doi》：“10.1034\/j.1399-2003.057003192.x”，“article-title”：“闽南人和客家人，即所谓的台湾人，通过HLA研究推断的起源”，“卷”：“57”，“作者”：“林”，“年”：“2001”，“期刊标题”：“组织抗原”}，{“键”：“ref_4”，“doi断言”：“crossref”，“首页”：“511”，“doi”：“10.1177\/03057355606067168”，“文章标题”：“歌曲和情感：歌词和旋律是平等的伴侣吗？”，“卷”：“34”作者：“阿里”，“年份”：“2006年”，“新闻标题”：“心理医生”。音乐“}，{“键”：“ref_5”，“首页”：“17”，“文章标题”：“闽台闽南方言合唱音乐研究”，“卷”：“14”，“作者”：“胡”，“年份”：“2011”，“期刊标题”：《集美大学（哲学社会科学）》}，}，“键”:“ref_6”，“第一页”：“：”李红“，”年份“：”2011“，”新闻标题“：”集美大学（哲学社会科学）“}，{“key”：“ref_7”，“doi-asserted-by”：“crossref”，“first page”：”185“，”doi“：”10.1177\/1029864912448327“，”article-title“：“音乐情感的认知功能、起源和进化”，“volume”：：“16”，“author”：“Perlovsky”，“year”：“2012”，“新闻标题”：“Music.Sci.”}，}“”键“：”ref_8“，”非结构化”：“Li，T.和Ogihara，M.（2020年3月2日）。在音乐中检测情感。可在线获取：https:\/\/jscholarship.library.jhu.edu\/handle\/1774.2\/41。“key”：“ref_10”，“doi-asserted-by“：”crossref“，”unstructured“：”Kirandziska，V.和Ackovska，N.（2013年1月1日\u20134）。为情感评价分类找到重要的声音特征。《2013年欧洲会议记录》，克罗地亚萨格勒布。“，”DOI“：”10.1109\/EUROCON.2013.6625196“}，{”key“：”ref_11“，”DOI-asserted-by“：”crossref“，”unstructured“：”Misron，M.M.，Rosli，N.，Manaf，N.A.，and Halim，H.A.（2014）。音乐情感分类（MEC）：利用人声和乐器声音特征。软计算和数据挖掘的最新进展，Springer。“，”DOI“：“10.1007\/978-319-07692-8_51”}，{“key”：“ref_12”，“doi-asserted-by”：“crossref”，“unstructured”：“Ridoean，J.A.，Sarno，R.，Sunaryo，D.，and Wijaya，D.R.（2017年1月25日\u201326）。基于MPEG-7音频功能和支持向量机，使用音频功率和音频和谐度进行音乐情绪分类。2017年第三届信息技术科学国际会议（ICSITech）会议记录，印度尼西亚万隆。“，”DOI“：”10.1109\/ICSITech.2017.8257088“}，{”key“：”ref_13“，”unstructured“：”Eerola，T.，Lartillot，O.，and Toiviainen，P.（2009年1月26日\u201330）使用多元回归模型预测音频音乐中的多维情绪评级。第十届国际音乐信息检索学会会议记录，日本神户。“}，{”key“：”ref_14“，”unstructured“：”Lartillot，O.，and Toiviainen，P.（2007年1月10日\u201315）。用于从音频中提取音乐特征的Matlab工具箱。《数字音频效果国际会议论文集》，法国波尔多。“}”，{“key”：“ref_15”，“unstructure”：“G\u00f3mez，E.（2006）。音乐音频信号的音调描述。[博士。论文，蓬佩法布拉大学]。“}，{”key“：”ref_16“，”doi-asserted-by“：”crossref“，”unstructured“：”Stoller，D.，Durand，S.和Ewert，S.（2019年1月12日\u201317）。使用音频对字符识别模型对复音音乐进行端到端歌词对齐。2019\u20142019 IEEE声学、语音和信号处理国际会议论文集（ICASSP），Brighton，UK.“，”DOI“：”10.1109\/ICASSP.2019.8683470“}，{“key”：“ref_17”，“unstructured”：“Mikolov，T.，Chen，K.，Corrado，G.，and Dean，J.（2013）.向量空间中单词表示的有效估计.arXiv.“}”，{”key“：”ref_18“，”DOI-asserted-by“：”crossref“，”first page“591”，“DOI”：“10.1109\/TPAMI.2008.11”，“article-title”：“高效的视频可视化搜索，如文本检索“，”卷“：”31“，”作者“：”Sivic“，”年份“：”2008“，”期刊标题“：”IEEE Trans。模式分析。机器。智力。“}，{”key“：”ref_19“，”doi-asserted-by“：”crossref“，”first page“：“1”，”doi“：”10.1145\/505282.505283“，”article-title“：”automated text categorification“中的机器学习”，“volume”：“34”，“author”：“Sebastiani”，“year”：“2002”，“journal-title”：“ACM Compute.Surv.（CSUR“：”霍夫曼，T.（1999）.概率潜在语义索引。ACM SIGIR论坛，ACM出版社。“，”DOI“：”10.1145\/312624.312649“}，{“key”：”ref_21“，”首页“：”2“，”article-title“：”音乐语气分类中的抒情文本挖掘“，”volume“：”183“，”author“：”Hu“，“year”：“2009”，“journal-title”：“Am.music”}，”{“key”：“ref_22”，“unstructured”：“Laurier，C.，and Herrera，P.（2008）。情绪云：一种实时音乐情绪可视化工具。计算机音乐建模和检索。声音的感觉，斯普林格。“}，{”key“：”ref_23“，”unstructured“：”Lu，Q.，Chen，X.，Yang，D.，and Wang，J.（2010年1月9日\u201313）。促进多模态音乐情感。第十一届国际音乐信息与检索学会会议论文集，荷兰乌得勒支。“}”，{“key”：“ref_24”，“unstructure”：“Meyers，O.C.（2007）.基于情绪的音乐分类和探索系统。【麻省理工学院硕士论文】。“}，{”key“：”ref_25“，”unstructured“：”Yang，D.，and Lee，W.S.（2004年1月10日\u201314）。使用软件代理消除音乐情感的歧义。第五届国际音乐信息检索会议论文集，西班牙巴塞罗那。“}article-title“：“音乐情感识别的回归方法”，“卷”：“16”，“作者”：“杨”，“年份”：“2008”，“新闻标题”：“IEEE Trans。音频语音语言处理。“｝，｛”key“：”ref_27“，”非结构化“：”Cheng，H.T.，Yang，Y.H.，Lin，Y.C.，Liao，I.B.和Chen，H.H.（4月，1月23日）。用于音乐分类和检索的自动和弦识别。2008年IEEE国际多媒体与博览会论文集，德国汉诺威。“｝，｛”key“：”ref_28“，”doi断言由“：”crossref“，”非结构化“：”Dang，T.T.和Shirai，K.（2009年1月13日\u201317）。面向音乐搜索引擎的歌曲情绪分类机器学习方法。2009年知识与系统工程国际会议论文集，越南河内。“，”DOI“：”10.1109\/KSE.2009.10“}，{”key“：”ref_29“，”first-page“：”99“，”article-title“：”基于情感向量空间模型的抒情歌曲情感分析“，”volume“：“24”，“author”：“Xia”，“year”：“2010”，“journal-title”：“J.Chin.Inf.Process.”}，“key”：“ref_30”，“DOI-asserted-by”：“crossref”，“first-page:”186“，”DOI“：“10.1037\/h0054832”，“文章标题”：“音乐表达：实验研究和理论的讨论”，“卷”：“42”，“作者”：“赫夫纳”，“年份”：“1935”，“期刊标题”：“心理学。Rev.“}，{”key“：”ref_31“，”first-page“：”45“，”article-title“：”基于情感向量空间模型的音乐情感标签预测“，”volume“：“26”，“author”：“Li”，“year”：“2012”，“journal-title”：“J.Chin.Inf.Process.”}，“key”：“ref_32”，“unstructured”：“Raschka，S.（2016）。MusicMood:使用机器学习从歌词预测音乐的情绪。arXiv.”}，{“key”：“ref_33”，“unstructured”：“Sharma，D.M.，Sangal，R.，and Sherly，E.（2015）。基于歌词的印地语歌曲情绪分类。第十二届自然语言处理国际会议论文集，印度NLP协会。”}，{。基于内容的音乐访问：为音乐搜索引擎结合音频功能和语义信息。[帕维亚大学硕士论文，2019年]。“}，{”key“：”ref_35“，”doi-asserted-by“：”crossref“，”unstructured“：”Hu，X.，and Downie，J.S.（2010）。通过结合歌词和音频改进音乐数字图书馆中的情绪分类。第十届数字图书馆年会论文集，计算机协会。“，”doi“：”10.1145 \/1816123.1816146“}”，{“key”：“ref_36”，“doi-asserted-by“：”crossref“，”unstructured“：”Jamdar，A.、Abraham，J.、Khanna，K.和Dubey，R.（2015）。基于歌词和音频特征的歌曲情感分析。arXiv公司。“，”DOI“：“10.5121\/ijaia.2015.6304”}，{“key”：“ref_37”，“unstructured”：“Lee，C.W.，Song，K.Y.，Jeong，J.，and Choi，W.Y.（2018年1月15日\u201320）。基于语音和文本数据的多模态情感识别的卷积注意网络。第一次人类多模态语言大挑战与研讨会（Challenge-HML）论文集加拿大不列颠哥伦比亚省温哥华市。“}，{”key“：”ref_38“，”doi-asserted-by“：”crossref“，”unstructured“：”Lin，Y.C.，Yang，Y.H.，Chen，H.H.，Liao，I.B.，and Ho，Y-C.（7月，1月28日）。音乐情感分类的开发体裁。2009年IEEE多媒体与博览会国际会议论文集，美国纽约州纽约市。“doi”：“10.1109\/CIME.2009.5202572”}，}，”key：“ref_39”，“doi-asserted-by“：”crossref“，”first page“：”846135“，”doi“：”10.1155\/2008\/846135“，”article-title“：”探戈还是华尔兹？：将舞厅舞蹈风格融入节奏检测”，“音量”：“2008”，“作者”：“舒勒”，“年份”：“08”，“新闻标题”：“EURASIP J.语音音乐过程。“}，{”key“：”ref_40“，”doi-asserted-by“：”crossref“，”first-page“：”735854“，”doi“：”10.1186\/1687-4722-2010-735854doi-asserted-by“：”crossref“，”unstructured“：”Widmayer，P.、Eidenbenz，S.、Triguero，F.、Morales，R.、Conejo，R.和Hennessy，M.（2002）。在数据流中查找常见项。自动化，语言与编程，施普林格。“，”DOI“：”10.1007\/3-540-45465-9“}，{”key“：”ref_42“，”unstructured“：”Huang，R.（2015）。台湾歌曲文化传播研究。[华中师范大学博士论文]。“}”，{“key”：“ref_43”，“unstructure”：“Durrani，N.和Hussain，S.（2010年1月2日\u20134）.乌尔都语分词。《人类语言技术会议录：计算语言学协会北美分会会议》，美国加利福尼亚州洛杉矶市“}，{“key”：“ref_44”，“unstructured”：“Yang，Y.（2003）探讨《台湾汉语在线词典》的构建技术和使用方法。台湾大学2003年第三届中国网络教育国际研讨会论文集。“}，{”key“：”ref_45“，”doi-asserted-by“：”crossref“，”unstructured“：”Eyben，F.，W\u00f6llmer，M.，and Schuler，B.（2010年1月25日\u201329）.openSMILE\u2014慕尼黑通用快速开放源音频特征提取程序.第九届ACM多媒体国际会议论文集，意大利费伦泽.“，”doi“：”10.1145\/1873951.1874246“}”，{“key”：“”ref_46”，“doi断言由”：“crossref”，“非结构化”：“Matsumoto，K.，Sasayama，M.，Yoshida，M.，Kita，K.和Ren，F.（2018年1月23日\u201325）。基于言语情感语料库的迁移学习用于抒情情感估计。2018年第五届IEEE云计算和智能系统国际会议（CCIS）会议记录，中国南京。“，”DOI“：”10.1109\/CCIS.2018.8691207“}，{”key“：”ref_47“，”DOI-asserted-by“：”crossref“，”unstructured“：”An，Y.，Sun，S.，and Wang，S.（2017年1月24日\u201326）。基于歌词的朴素贝叶斯音乐情感分类分类器。2017 IEEE\/ACIS第16届国际计算机与信息科学会议（ICIS）论文集中国武汉。“，”DOI“：”10.1109\/ICIS.2017.7960070“}，{”key“：”ref_48“，”DOI-asserted-by“：”crossref“，”unstructured“：”Lim，W.，Jang，D.，and Lee，T.（2016年1月13日\u201316）.使用卷积和递归神经网络进行语音情感识别。2016年亚洲太平洋信号和信息处理协会年度峰会和会议记录，韩国济州。“，”DOI“：”10.1109\/APSIPA.2016.7820699“}，{“key”：”ref_49“，”DOI-asserted-by“：”crossref“，”first page“：”60“，“DOI”：”10.1016\/j.neunet.2017.02.013“，”article-title“：”评估语音情感识别的深度学习架构“，”volume“：0“，”DOI-asserted-by“：”crossref“，“非结构化”：“Poria，S.，Chaturvedi，I.，Cambria，E.，and Hussain，A.（2016年1月12日\u201315）。基于卷积MKL的多模式情绪识别和情绪分析。2016年IEEE第16届数据挖掘国际会议（ICDM）会议记录，西班牙巴塞罗那。“，”DOI“：”10.1109\/ICDM.2016.0055“}，{“key”：“ref_51”，“unstructured”：“Jeon，B.，Kim，C.，Kim“”信息“]，”原始标题“：[]，”语言“：”en“，”链接“：[{”URL“：”https:\/\/www.mdpi.com//2078-2489\/11\/145\/pdf“，”内容类型“：”未指定“，”content-version“：”vor“，”intended-application“：”similarity-checking“}]，”存放“：{”日期部分“：[2024,6,25]]，”日期时间“：”2024-06-25T04:32:13Z“，”时间戳“：171929 89933000}，“分数”：1，“资源”：{“primary“：{”URL“：”https:\/\/www.mdpi.com//2078-2489\/11\/3\/145“}}，”subtitle“：[]，”shorttitle“：[]，”issued“：{date-parts”：[[2020,3,4]]}，“references-count”：51，“journal-issue”：{“issue”：“3”，“published-online”：{date-parts“：[2020,3]}}”，“alternative-id”：[“info11030145”]，“URL”：“http://\/dx.doi.org\/10.3390\/info11030145”，“关系”：{}，“ISSN”：[“2078-2489”]，“issn类型”：[｛“value”：“2078-2489”，“type”：“electronic”｝]，“subject”：[]，“published”：｛“date parts”：[[2020,3,4]]｝｝｝