{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{“日期-部件”：[[2024,5,22]]，“日期-时间”：“2024-05-22T09:45:35Z”，“时间戳”：1716371135555}，“参考-计数”：40，“出版商”：“工程技术学院（IET）”，“问题”：“6”，“许可证”：[{“开始”：}“日期-零件”：[2023,2,3]]，”日期-时间我“：“2023-02-03T00:00:00Z”，“timestamp”：1675382400000}，“content-version”：“vor”，“delay-in-days”：0，“URL”：“http://\/creativecommons.org\/licenses\/by-nc\/4.0\/”}]，“content-domain”：{“domain”:[“ietreesearch.onlinelibrary.wiley.com”]，“crossmark-restriction”：true}，”short-container-title“：[”IET图像处理“]，”published-print“：{”date-parts“：[2023,5]}，“抽象”：“摘要<\/jats:title>多模态人体行为识别是计算机视觉领域的一个研究热点。为了充分利用骨架数据和深度数据，本文结合自2010注意机制构建了一种新的多模态网络识别方案。该系统包括一个基于transformer的骨架self-u2010注意子网和一个基于CNN的深度self-u2010attention子网。在骨架自我\u2010注意子网络中，提出了一种运动协同空间特征，该特征可以根据人体运动的整体性和协同性整合每个关节点的信息，并提出了每个关节运动贡献度的量化标准。本文综合了骨架自2010注意子网络和深度自2010注意网络的结果，并在NTU RGB+D和UTD\u2010MHAD数据集上进行了验证。作者在UTD\u2010MHAD数据集上取得了90%的识别率，作者u2019方法在NTU RGB+D数据集上的CS识别率达到90.5%，CV识别率达到94.7%。实验结果表明，本文提出的网络结构实现了较高的识别率，其性能优于现有的大多数方法<\/jats:p>“，”DOI“：”10.1049\/ipr2.12754“，”type“：”journal-article“，”created“：{”date-parts“：[[2023,2,3]]，”date-time“：”2023-02-03T15:23:31Z“，”timestamp“：1675437811000}，”page“：：3，“标题”：[“多模式合作自我\u2010attention network for action recognition“]，”前缀“：”10.1049“，”卷“：”17“，”作者“：[{”ORCID“：”http://\/ORCID.org\/00000-0002-5290-084X“，”authenticated-ORCID“：false，”给定“：”卓坤“，”家族“：”钟“，”序列“：”第一“，”从属关系“：[}”名称“：”常州大学计算机与人工智能学院（中国常州）“}]}，{“given”：“Zhenjie”，“family”：“Hou”，“sequence”：“additional”，“affiliation”：[{“name”：“中国常州大学计算与人工智能院”}]}，{”ORCID“：”http://\/ORCID.org\/00000-0003-3511-3374“，”authenticated-ORCID“：false，”given“Jiuzhen”，“family”：“Liang”，“sequence”：“additional”，“affiliation”：[{“name”：“中国常州大学计算机与人工智能学院”}]}，{“given”：“En”，”family“：”Lin“，”sequence“：”additional“，”affiliation:[{”name“：”Goldcard Smart Group Co.，Ltd Hangzhou China“}]}.，{”given“：”Haiyong“，”faily“：“Shi”从属关系“：[{“name”：“中国常州大学计算机与人工智能学院”}]}]，“member”：“265”，“published-on-line”：{“date-parts”：[[2023,2,3]]}，“reference”：[{“issue”：“4”，“key”：“e_1_2_8_2_1”，“first page”：卷：“25”，“作者”：“赵十”，“年份”：“2020”，“新闻标题”：“J.图像图”。“}，{”key“：”e_1_2_8_3_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1109\/MMUL.2012.24”}，“key”：“e_1_i_8_4_1”，“doi-assert-by”：“publisher”，”doi“：”10.3390\/s20185180“}”，{“issue”：“11”，“卷”：“27”，“作者”：“王S.C.”，“年份”：“2022”，“journal-title“：”J.图像图表。“}，{”key“：”e_1_2_8_6_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1016\/j.neucom.2022.09.071”}，“key”：“e_1_i_8_7_1”，“doi-assert-by”：“publisher”，”doi“：”10.1109\/TPAMI.2012.59“}”，{。He M.：使用平移\u2010尺度不变图像映射和多\u2010尺度深度cnn的基于骨架的动作识别。收录于：2017 IEEE多媒体与展览研讨会国际会议（ICMEW）第601\u2013604页。IEEE Piscataway（2017）“}，{”key“：”e_1_2_8_9_1“，”doi-asserted-by“：”crossref“，“unstructured”：“Liu J.Shahroudy A.Xu D.Wang G.：Spatio\u2010temporal lstm with trust gates 3d human action recognition。In:European Conference on Computer Vision pp.816\u2013833。Springer Berlin（2016）“，”DOI“：”10.1007\/978-3-319-46487-9_50“}，{”key“：”e_1_2_8_10_1“，”DOI-asserted-by“：”publisher“，“DOI”：”10.1109\/TNNLS.2020.2978386“}”，{“key”：“e_1_i_8_11_1”，“article-title”：“注意力是你所需要的”，“卷”：“30”，“作者”：“Vaswani A.”，“年份”：“2017”，“日志标题”：“进展神经信息处理系统“}，{”key“：”e_1_2_8_12_1“，”doi-asserted-by“：”crossref“，”unstructured“：”Ott M.Edunov S.Grangier D.Auli M.：“缩放神经机器翻译（2018）”，“doi”：“10.18653\/v1_/W18-6301”}，{“key”：“e_1_i_8_13_1”，“doi-assert-by”：“crossreff”，“unstructure”：“Yan A.Wang Y.Li Z.”。乔毅：Pa3d：用于视频识别的Pose\u2010action 3d机器。收录：IEEE计算机视觉和模式识别会议论文集，第7922\u20137931页。IEEE Piscataway（2019）“，”DOI“：”10.1109\/CVPR.2019.00811“}，{”key“：”e_1_2_8_14_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“Caetano C.Br\u00e9mond F.Schwartz W.R.：基于树结构和参考关节的三维动作识别骨架图像表示。In:2019年第32届SIBGRAPI图形模式和图像会议（SIBGRACI）第16\u201323页。IEEE Piscataway（2019）“，“DOI”：“10.1109\/SIBGRAPI.2019.00011”}，{“key”：“e_1_2_8_15_1”，“DOI-asserted-by”：“交叉引用”，“非结构化”：“Caetano C.Sena J.Br\u00e9mond F.Dos Santos J.A。Schwartz W.R.：骨架运动：基于三维动作识别的运动信息的骨骼关节序列的新表示。In：2019第16届IEEE高级视频和信号监控国际会议（AVSS）pp.1\u20138。IEEE Piscataway（2019）“，”DOI“：”10.1109\/AVSS.2019.8909840“}，{”key“：”e_1_2_8_16_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“Yan S.Xiong Y.Lin D.：基于骨架的动作识别的时空图卷积网络。In：第三十届AAAI人工智能会议。AAAI Press Palo Alto CA（2018）”，“DOI”：“10.1609 \/aaai.v32i1.12328“}，{“key”：“e_1_2_8_17_1”，“doi-asserted-by”：“crossref”，”unstructured“：”Shi L.Zhang Y.Cheng J.Lu H.：基于骨架的动作识别的两个2010流自适应图卷积网络。摘自：IEEE \/CVF计算机视觉和模式识别会议论文集，第12026页\u201312035。IEEE Piscataway（2019）“，“DOI”：“10.1109\/CVPR.2019.01230”}，{“key”：“e_1_2_8_18_1”，“unstructured”：“Radford A.Narasimhan K.Salimans T.Sutskever I.et \u00a0al.：通过生成性2010年前培训提高语言理解（2018）”}、{“key”：。Toutanova K.：Bert：2010年前语言理解深度双向变形金刚培训。arXiv prepintarXiv:1810.04805（2018）“}，{“key”：“e_1_2_8_20_1”，“unstructured”：“Dosovitskiy A.Beyer L.Kolesnikov A.Weissenborn D.Zhai X.Unterthiner T.Dehghani M.Minderer M.Heigold G。Gelly S.等人：一幅图像值16个单词：变形金刚（Transformers for image recognition at scale）。IEEE Piscataway（2021）”，“DOI”：“10.1109\/ICCVW54120.2021.00355”}，｛“key”：“e_1_2_8_22_1”，“DOI断言”：“crossref”，“非结构化”：“Girdhar R.Carreira J.Doersch C.Zisserman A.：视频动作转换器网络。在：IEEE\/CFF计算机视觉和模式识别会议论文集第24\u2013253页。IEEE Piscataway（2019）“，”DOI“：”10.1109\/CVPR.2019.00033“}，{”key“：”e_1_2_8_23_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“Plizzari C.Cannici M.Matteuci M.：基于骨架的动作识别时空变换网络。In：模式识别国际会议第694\u2013701页。IEEE Piscataway（2021）“，”DOI“：”10.1007\/978-3-030-68796-0_50“}，{”key“：”e_1_2_8_24_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“Shahroudy A.Liu J.Ng T.\u2010T。Wang G.：Ntu rgb+d：三维人类活动分析的大规模数据集。摘自：IEEE计算机视觉和模式识别会议论文集，第1010\u20131019页。IEEE Piscataway（2016）“，”DOI“：”10.1109\/CVPR.2016.115“}，{”key“：”e_1_2_8_25_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“Hu J.Shen L.Sun G.：挤压\u2010和\u2010激励网络。摘自：IEEE计算机视觉和模式识别会议论文集第7132\u20137141页。IEEE Piscataway（2018）“，”DOI“：”10.1109\/CVPR.2018.00745“}，”key“：”e_1_2_8_26_1“，”DOI-asserted-by“：”publisher“，“DOI”：“10.1109\/TCSVT.2016.2628339”}，“key”：“e_1_i_8_27_1”，“DOI-assert-by”：“crossref”，”unstructured“：”McNally W.Wong A。McPhee J.：Star\u2010net：使用时空激活再投影进行动作识别。2019年第16届计算机和机器人视觉会议（CRV）第49\u201356页。IEEE Piscataway（2019）“，“DOI”：“10.1109\/CRV.2019.00015”}，{“key”：“e_1_2_8_28_1”，“unstructured”：“Zhu J.Zou W.Xu L.Hu Y.Zhu Z.Chang M.Huang G.Du D.：动作机器：重新思考修剪视频中的动作识别。arXiv prefintarXiv:1812.05770。Melo G.Liu X.Li Y.Li F.Wen S.：视频分类的多模态无钥匙注意力融合。摘自：AAAI人工智能会议记录第32卷。AAAI Press Palo Alto CA（2018）“，”DOI“：”10.1609 \/AAAI.v32i1.12319“}，{”key“：”e_1_2_8_30_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“赵R.Xu W.Su H.Ji Q.：人类行为识别的贝叶斯层次动态模型。摘自：IEEE \/CVF计算机视觉和模式识别会议论文集第773页\u20137742。IEEE Piscataway（2019）“，”DOI“：”10.1109\/CVPR.2019.00792“}，{“key”：“e_1_2_8_31_1”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1109\/JSEN.2018.2884443”}，“{”key“：”e_1_i_8_32_1“，”DOI-assert-by“：”crossref“，”unstructured“：”Memmesheimer R.Theisen N。Paulus D.：给我信号：多模态活动识别的鉴别信号编码。收录于：2020 IEEE\/RSJ智能机器人和系统国际会议（IROS）第10394\u201310401页。IEEE Piscataway（2020）“，”DOI“：”10.1109\/IROS45743.200.9341699“}，{”key“：”e_1_2_8_33_1“，”DOI-asserted-by“：”publisher“，“DOI”：“10.1109\/TMM.2018.2818329”}，“key”：“e_1_i_8_34_1”，“DOI-assert-by”：“publisher”，“DOI-asserted-by”：“crossref”，“unstructured”：“Li M.Chen S.Chen X.Zhang Y.Wang Y。田奇：基于骨架的动作识别的动作\u2010结构图卷积网络。收录：IEEE计算机视觉和模式识别会议论文集，第3595\u20133603页。IEEE Piscataway（2019）“，”DOI“：”10.1109\/CVPR.2019.00371“}，{”key“：”e_1_2_8_36_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“Shi L.Zhang Y.Cheng J.Lu H.：基于有向图神经网络的骨架\u2010动作识别。摘自：IEEE\/CVF计算机视觉与模式识别会议论文集，第7912\u20137921页。IEEE Piscataway（2019）“，”DOI“：”10.1109\/CVPR.2019.00810“}，{”key“：”e_1_2_8_37_1“，”DOI-asserted-by“：”publisher“，“DOI”：“10.1109\/TPAMI.2022.3157033”}，“key”：“e_1_i_8_38_1”，“DOI-assert-by”：“publisher”，serted-by“：”crossref“，”unstructured“：”Li L.Wang M.Ni B.Wang H.Yang J。张伟：通过跨\u2010视图一致性追求进行三维人体动作表示学习。在：《IEEE/CFF计算机视觉和模式识别会议论文集》第4741\u20134750页。IEEE Piscataway（2021）“，”DOI“：”10.1109\/CVPR46437.2021.00471“}，{”key“：”e_1_2_8_40_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“Wang Y.Xiao Y.Xiong F.Jiang W.Cao Z.Zhou J.T.”。袁J.:3dv：三维动态体素，用于深度视频中的动作识别。收录：IEEE计算机视觉和模式识别会议论文集，第511\u2013520页。IEEE Piscataway（2020）“，”DOI“：”10.1109\/CVPR42600.2020.00059“}，{”key“：”e_1_2_8_41_1“，”DOI-asserted-by“：”crossref“，“unstructured”：“Fan H.Yang Y.Kankanhalli M.：点云视频时空建模的点4d变压器网络。摘自：IEEE\/CVF计算机视觉和模式识别会议论文集，第14204\u201314213页。IEEE Piscataway（2021）“，”DOI“：”10.1109\/CVPR46437.2021.01398“}]，”container-title“：[”IET图像处理“]，”原始标题“：[]，”language“：”en“，”link“：[{”URL“：”https:\/\/onlinelibrary.wiley.com\/DOI\/pdf\/10.1049\/ipr2.12754“，”content-type“：”application\/pdf“，”content-version“：”vor“，”intended-application“：”text mining“}，{”URL“：”https:\/\/onlinelibrary.wiley.com/doi\/full-xml\/10.1049\/ipr2.12754“，”content-type“：”application\/xml“，”内容版本“：”vor“，”intended-application“：”text-mining“}，{”URL“：”https:\//onlinelibrary.wiley.com\/doi\/pdf\/10.10049\/ipr2.2754“，”content-type”：“unspecified”，“content-version”：“vor”，“intended-application”：“”相似性检查“}]，”存放“：{“date-parts”：[[2023,8,22]]，“date-time”：“2023-08-2T04:27:18Z”，“timestamp”：1692678438000}，“score”：1，“resource”：{（主要）：{”URL“：”https:\/\/ietresearch.onlinelibrary.wiley.com\/doi\/10.1049\/ipr2.12754“references-count”：40，“journal-issue”：{“issue”：“6”，“published-print“：{“date-parts”：[[2023,5]]}}，“alternative-id”：[“10.1049\/ipr2.12754”]，“URL”：“http://\/dx.doi.org\/10.1049\/ipr212754”，“archive”：[”Portico“]，“relationship”：{}，”ISSN“：[”1751-9659“，”1751-9967“]，”ISSN-type“：[{”value“：”1751-96059“，“type”：“print”}，{“值”：“1751-9667”，“类型”：“电子”}]，“主题”：[]，“发布”：{“日期部分”：[[2023,2,3]]}，“断言“：[{”value“：”2022-09-14“，”order“：0，”name“：”received“，”label“：”received“，“group”：{“name”：“publication_history”，“label”：“publication history”}}，{“value”：“2023-01-22”，“order”：1，“name”:“accepted”，“tabel”：”accepted“，“群发：{”name“:”publication_history“，”table“：”publication_histories“}}“，{”value“：”“2023-02-03”，“订单”：2，“name”：“published”，“label”：“发布”已发布“，”组“：{“name”：“publication_history”，“label”：“publication history”}}]}}