时空图卷积网络在人体异常行为识别中的应用

doi:10.3778/j.issn.1002-8331.2107-0441

摘要/摘要

摘要：在监控场景下，由于监控资源短缺，行人异常行为容易发生漏检。针对该问题，提出了一种视频监控场景下的人体异常行为识别的方法，辅助监控人员及时发现异常。使用OpenPose（打开姿势）对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题，融合了基于图注意力网络（图形注意力网络，GAT）的图注意力机制。在改进后的图卷积网络的基础上，利用时空图卷积神经网络（时空图卷积网络，ST-GCN）对行人关节点信息进行异常行为识别。实验结果表明，提出的识别算法对定义的行为识别准确率达85.48%，能够准确地识别监控视频中行人的异常行为。

关键词: 打开姿势，时空图卷积网络, 图注意力机制, 行为识别

摘要：在监控场景下，由于监控资源的不足，行人异常行为容易漏检。针对这一问题，提出了一种识别视频监控场景中异常人类行为的方法，以帮助监控人员及时发现异常行为。使用OpenPose从图像中的行人中提取人体骨架。集成了基于图注意网络（GAT）的图注意机制，解决了图卷积网络对节点特征的聚合方式单一的问题。在改进的图卷积网络的基础上，利用时空图卷积网（ST-GCN）识别行人关节点信息的异常行为。实验结果表明，本文提出的识别算法对定义的行为具有85.48%的准确率，能够准确识别监控视频中行人的异常行为。

关键词： OpenPose算法，时空图卷积网络（ST-GCN），图形注意机制， , 行为识别

张蔚澜, 齐华, 李胜. 时空图卷积网络在人体异常行为识别中的应用[J] ●●●●。计算机工程与应用, 2022, 58(12): 122-131.

张伟兰，齐华，李胜。时空图卷积网络在人类异常行为识别中的应用[J]。计算机工程与应用，2022，58（12）：122-131。

参考文献

[1] 裴利沈，刘少博，赵雪专.人体行为识别研究综述[J] ●●●●。计算机科学与探索，2022，16（2）：305-322.
裴力生，刘世斌，赵晓中。人类行为识别研究综述[J]。计算机科学与技术前沿杂志，2022,16（2）：305-322。
[2] 李扬志，袁家政，刘宏哲.基于时空注意力图卷积网络模型的人体骨架动作识别算法[J] 2021,41（7）：1915-1921。
李义中，袁建中，刘海中.基于时空注意图卷积网络模型的人体骨骼动作识别算法[J]。计算机应用杂志，2021,41（7）：1915-1921。
[3] SIMONYAN K，ZISSERMAN A.视频中动作识别的双流卷积网络[C]//神经信息处理系统的进展。蒙特利尔：麻省理工学院出版社，2014:568-576。
[4] SUN L，JIA K，YEUNG D Y，等.基于因子化时空卷积网络的人类行为识别[C]//IEEE国际计算机视觉会议论文集，2015:4597-4605。
[5] 王磊，乔毅，汤霞。基于轨迹池深度卷积描述符的动作识别[C]//IEEE计算机视觉与模式识别会议论文集。波士顿：IEEE，2015:4305-4314。
[6] 王磊，熊毅，王忠，等.时间段网络：深度行动识别的良好实践[C]//欧洲计算机视觉会议，2016:20-36。
[7] 赵毅，熊毅，王磊，等.基于结构化分段网络的时间行为检测[C]//IEEE国际计算机视觉会议论文集。威尼斯：IEEE，2017:2914-2923。
[8] 刘T，DONG X，WANG Y，et al.用于人类动作识别的双层条件随机场模型[J]。信号处理：图像通信，2020,80:115672。
[9] JI S，XU W，YANG M，等.三维卷积神经网络在人体行为识别中的应用[J]。IEEE模式分析与机器智能汇刊，2012，35（1）：221-231。
[10] TRAN D，BOURDEV L，FERGUS R，等.利用三维卷积网络学习时空特征[C]//IEEE国际计算机视觉会议论文集。智利圣地亚哥：IEEE，2015:4489-4497。
[11] JI X，WANG C，LI Y，等.基于隐马尔可夫模型的混合特征人体行为识别[J]。计算信息系统杂志，2013,9:3659-3666。
[12] ZHANG S，LIU X，XIAO J.关于使用多层LSTM网络进行基于骨架的动作识别的几何特征[C]//2017 IEEE计算机视觉应用冬季会议论文集。加利福尼亚：IEEE，2017:148-157。
[13] 李C，钟强，谢德，等.基于骨架的卷积神经网络动作识别[C]//2017 IEEE多媒体与博览会国际会议论文集。香港：IEEE，2017:597-600。
[14] KE Q，BENNAMOUN M，AN S，等.三维动作识别骨架序列的一种新表示方法[C]//IEEE计算机视觉与模式识别会议论文集。夏威夷：IEEE，2017:3288-3297。
[15] 曹毅，刘晨，盛永健，等.基于三维图卷积与注意力增强的行为识别模型[J] ●●●●。电子与信息学报，2021，43（7）：2071-2078.
CAO Y，LIU C，SHENG Y J，et al.基于三维图卷积和注意力增强的动作识别模型[J]。《电子与信息技术杂志》，2021,43（7）：2071-2078。
[16] 颜世杰，熊永杰，林德华。基于骨架行为的时空图卷积网络[C]//第三十二届AAAI人工智能会议论文集。路易斯安那州：AAAI，2018:7444-7452。
[17] KAY W，CARRERIA J，SIMONYAN K，等.动力学人体行为视频数据集[J].arXiv:1705.069502017。
[18] LIU J，SHAHROUDY A，PEREZ M，et al.NTU RGB+D 120:3D人类活动理解的大规模基准[C]//IEEE模式分析和机器智能事务（TPAMI），2020,42（10）：2684-2701。
[19] CAO Z，HIDALGO G，SIMON T，et al.OpenPose:使用部分亲和域的实时多人2D姿势估计[C]//IEEE计算机视觉和模式识别会议论文集。夏威夷：IEEE，2017:7291-7299。
[20] 陈皓，肖利雪，李广，等.基于人体关节点数据的攻击性行为识别[J] .《中国日报》，2019,39（8）：2235-2241。
陈华，肖立新，李刚，等.基于人体关节点数据的攻击行为识别[J]。计算机应用杂志，2019,39（8）：2235-2241。
[21] 李梦荷，许宏吉，石磊鑫，等.基于骨骼关键点检测的多人行为识别[J] .阿联酋，2021,48（4）：138-143。
李敏华，徐海杰，史立新，等.基于骨关键点检测的多人活动识别[J]。计算机科学，2021,48（4）：138-143。
[22]VELICKOVIC P，CUCURULL G，CASANOVA A，等.图形注意网络[J].arXiv:1710.109032017。