基于场景先验及注意力引导的跌倒检测算法

doi:10.11772/j.issn.1001-9081.2022010114

《计算机应用》唯一官方网站››2023,第43卷››问题（2）: 529-535.内政部：10.11772/j.issn.1001-9081.2022010114

• 多媒体计算与计算机仿真 • 上一篇

基于场景先验及注意力引导的跌倒检测算法

王萍¹^,²(),陈楠¹,鲁磊¹^,²

¹西安交通大学信息与通信工程学院, 西安 710049
²综合业务网理论及关键技术国家重点实验室(西安电子科技大学), 西安 710071

收稿日期:2022-01-28 修回日期:2022-04-26 接受日期:2022-04-27 发布日期:2022-05-16 出版日期:2023-02-10
通讯作者:王萍
作者简介:陈楠（1997—），女，陕西榆林人，硕士研究生，主要研究方向：深度学习、目标检测与识别
鲁磊（1988—），男，陕西西安人，讲师，博士，共因失效会员，主要研究方向：图像处理、深度学习、信号分析。

基于场景先验和注意力引导的跌倒检测算法

王平（Ping WANG）¹^,²(),陈楠（Nan CHEN）¹,雷璐¹^,²

¹西安交通大学信息与通信工程学院，陕西西安710049
²综合业务网络国家重点实验室（西电大学），陕西西安710071

收到：2022-01-28 修订过的：2022-04-26 认可的：2022-04-27 在线：2022-05-16 出版：2023-02-10
联系人：王平（Ping WANG）
关于作者：陈楠，1997年出生，硕士研究生。她的研究兴趣包括深度学习、目标检测和识别。
陆磊，1988年生，博士，讲师。他的研究兴趣包括图像处理、深度学习、信号分析。

摘要/摘要

摘要：

已有跌倒检测工作主要关注室内场景，且大多偏重对人员身体姿态特征进行建模，而忽略了场景背景信息以及人员与地面的交互信息。针对这个问题，从实际电梯场景应用入手，提出一种基于场景先验及注意力引导的跌倒检测算法。首先，利用电梯历史数据，以高斯概率分布建模的方式从人员的活动轨迹中自动化地学习场景先验信息；随后，把场景先验信息作为空间注意力掩膜与神经网络的全局特征融合，以此聚焦地面区域的局部信息；然后，将融合后的局部特征与全局特征采用自适应加权的方式进一步聚合，从而形成更具鲁棒性和判别力的特征；最后，将特征送入由全局平均池化层和全连接层构成的分类模块中进行跌倒类别预测。在自构建的电梯场景电梯坠落检测和UR坠落检测数据集上的实验结果表明，所提算法的检测准确率分别达到了95.36%和99.01%，相较于网络结构复杂的ResNet50公司算法，分别提高了3.52个百分点和0.61个百分点。可见所构建的高斯场景先验引导的注意力机制可使网络关注地面区域的特征，更有利于对跌倒的识别，由此得到的检测模型准确率高且算法满足实时性应用要求。

关键词: 跌倒检测, 注意力机制, 高斯先验, 特征融合, 卷积神经网络, 深度学习

摘要：

现有的跌倒检测工作主要针对室内场景，大多只对人的身体姿势特征进行建模，忽略了场景的背景信息以及人与地面的交互信息。针对这一问题，从电梯场景的实际应用角度出发，提出了一种基于场景先验和注意引导的坠落检测算法。首先，利用电梯历史数据，通过高斯概率分布建模，从人的轨迹中自动学习场景先验信息。然后，将场景信息作为空间注意掩码，并与神经网络的全局特征融合，聚焦地面区域的局部信息。之后，使用自适应加权方法对融合的局部和全局特征进行进一步聚合，以提高生成特征的鲁棒性和判别能力。最后，将特征输入由全局平均池层和完全连接层组成的分类器模块中，以进行跌落预测和分类。实验结果表明，在自建电梯场景数据集电梯坠落检测数据集和公共UR坠落检测数据集中，该算法的检测准确率分别达到95.36%和99.01%，与之相比，分别提高了3.52个百分点和0.61个百分点ResNet50具有复杂的网络结构。可以看出，所提出的高斯场景先验引导的注意机制可以使网络聚焦于地面区域的信息，这更有利于检测坠落事件。通过使用该模型，检测模型具有较高的准确性，算法满足实时应用要求。

关键词： 坠落检测，注意机制，高斯先验，特征融合，卷积神经网络（CNN），深度学习

中图分类号:

TP391.41型

王萍, 陈楠, 鲁磊. 基于场景先验及注意力引导的跌倒检测算法[J] ●●●●。计算机应用, 2023, 43(2): 529-535.

王平，陈楠，吕磊.基于场景先验和注意引导的跌倒检测算法[J]。计算机应用杂志，2023，43（2）：529-535。

图/表12

参考文献24

1	MATHIE M J，COSTER A C F，LOVELL N H，等.加速度测量：为长期动态监测人体运动提供一种综合实用的方法〔J〕。生理学测量，2004，25（2）：编号R1。10.1088/0967-3334/25/2/r01
2	赖春芳，张世毅，赵海川，等.多轴加速度计检测老年人跌倒时认知损伤部位〔J〕。IEEE传感器杂志，2011，11（3）： 763-770.10.1109/jsen.2010.2062501年10月10日
三	CHAITEP T，CHAWACHAT J.一种基于智能手机的坠落检测三相阈值算法〔C〕//第14届电气工程/电子、计算机、电信和信息技术国际会议论文集。皮斯卡塔韦：IEEE2017： 183-186.10.1109/ecticon.2017.8096203
4	ALWAN M，RAJENDRAN P J，KELL S，等.智能被动式地面振动老年人跌倒检测仪〔C〕//第二届信息与通信技术国际会议论文集。皮斯卡塔韦：IEEE2006： 1003-1007.
5	李毅，HO K C，POPESCU M.一种用于自动坠落检测的麦克风阵列系统〔J〕。生物医学工程汇刊，2012，59（5）： 1291-1301.10.1109/tbme.2012.2186449
6	王永X，吴克思，NI L M.WiFall：无线网络的无设备坠落检测〔J〕。IEEE移动计算汇刊，2017，16（2）： 581-594.10.1109/tmc.2016.557792
7	CHARFI I，MITERAN J，DUBOIS J，et al.基于SVM的鲁棒跌倒检测解决方案的定义和性能评估〔C〕//第八届信号图像技术与互联网系统国际会议论文集。皮斯卡塔韦：IEEE2012： 218-224.10.1109/日期：2012.155
8	YUN Y X，GU I Y H.通过黎曼流形上的形状分析检测人体跌倒及其在老年护理中的应用〔C〕//2015 IEEE图像处理国际会议论文集。皮斯卡塔韦：IEEE2015： 3280-3284.10.1109/icip.2015.7351410
9	张舒雅，吴科艳，黄炎子，等. 基于SVM_KNN公司的老人跌倒检测算法［记者：。计算机与现代化，2017（12）：49-55.10.3969/j.issn.1006-2475.2017.12.010
	ZHANG S Y，WU K Y，HUANG Y Z，et al.基于SVM_KNN的跌倒检测算法〔J〕。计算机与现代化，2017（12）：49-55.10.3969/j.issn.1006-2475.2017.12.010
10	陆磊，黄红.一种基于车辆正面图像的车辆制造和模型识别的分层方案〔J〕。IEEE智能交通系统汇刊，2019，20（5）： 1774-1786.10.1109/标题2018.2835471
11	卢磊，黄红.基于组件的汽车制造和模型识别特征提取与表示方案〔J〕。神经计算，2020，372： 92-99.2016年10月10日/j.neucom.2019.09.049
12	范永X，莱维因·M·D，温国杰，等.一种用于实时检测自然场景中坠落人员的深度神经网络〔J〕。神经计算，2017，260： 43-58.2016年10月10日/j.neucom.2017.02.082
13	MIN W D，CUI H，RAO H，等.基于深度学习和活动特征的场景分析在家具上的人体跌落检测〔J〕。IEEE接入，2018，6： 9324-9335.10.1109/访问2018.2795239
14	冯强，高春秋，王磊，等.基于注意引导的LSTM的复杂场景中的时空跌倒事件检测〔J〕。模式识别字母，2020，130： 242-249.2016年10月10日/j.patrec.2018.08.031
15	LIE W N，LE A T，LIN G H。基于2D骨架和深度学习方法的人体坠落事件检测〔C〕//2018年高级图像技术国际研讨会论文集。皮斯卡塔韦：IEEE2018： 1-4.10.1109/iwait.2018.8369778
16	伏娜娜，刘大铭，程晓婷，等. 基于轻量级OpenPose（打开姿势）模型的跌倒检测算法［记者：。传感器与微系统，2021，40（11）：131-134， 138.10.13873/J.1000-9787（2021）11-0131-04
	傅南，刘德明，程世通，等.基于轻量级OpenPose模型的跌倒检测算法〔J〕。传感器与微系统，2021，40（11）：131-134， 138.10.13873/J.1000-9787（2021）11-0131-04
17	何克明，张晓云，任世清，等.基于深度残差学习的图像识别〔C〕//2016 IEEE计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2016： 770-778.2016.90年10月10日/cvpr
18	HU J，SHEN L，SUN G.挤压和激励网络〔C〕//2018年IEEE/CFF计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2018： 7132-7141.10.1109/cvpr.2018.00745
19	KWOLEK B，KEPSKI M.基于深度图和无线加速度计的嵌入式平台人体坠落检测〔J〕。生物医学中的计算机方法和程序，2014，117（3）： 489-501.10.1016/j.cmpb.2014.09.05
20	WOO S，PARK J，LEE J Y，等.CBAM:卷积块注意模块〔C〕//2018年欧洲计算机视觉会议论文集，LNCS11211商会：施普林格，2018:3-19。
21	李晓光，庞天天，刘伟X，等.基于卷积神经网络的老年人跌倒检测〔C〕//第十届国际图像与信号处理、生物医学工程与信息学大会论文集。皮斯卡塔韦：IEEE2017： 1-6.10.1109/cisp-bmei.2017.8302004年
22	HARROU F，ZEROUKI N，SUN Y，等.基于视觉的坠落检测系统在提高老年人安全方面的应用〔J〕。IEEE仪器与测量杂志，2017，20（6）： 49-55.10.1109/分钟2017.8121952
23	陈毅，李文堂，王磊，等.基于视觉的注意力引导双向LSTM在复杂背景下的跌倒事件检测〔J〕。IEEE接入，2020，8： 161337-161348.10.1109/访问2020.3021795
24	王勃H，于杰，王凯，等.基于双通道特征集成的坠落检测〔J〕。IEEE接入，2020，8： 103443-103453.10.1109/访问.2020.2999503

数据集	跌倒样本数	非跌倒样本数
训练集	1 001	4 004
测试集	777	3 108

数据集	跌倒样本数	非跌倒样本数
训练集	1 001	4 004
测试集	777	3 108

算法	准确率	灵敏度	特异度
A类	83.66	18.66	99.90
B类	94.20	76.44	98.64
C	95.36	89.31	96.87

算法	准确率	灵敏度	特异度
A类	83.66	18.66	99.90
B类	94.20	76.44	98.64
C	95.36	89.31	96.87

卷积阶段序号	准确率	灵敏度	特异度
2	90.68	78.12	93.82
三	89.93	50.45	99.80
4	94.64	85.45	96.94
5	95.36	89.31	96.87

基于场景先验及注意力引导的跌倒检测算法

基于场景先验和注意力引导的跌倒检测算法

RichHTML格式

PDF格式

可视化

摘要/摘要

引用本文

使用本文

图/表12

参考文献24

相关文章15

编辑推荐

韵律学

注意力算法	准确率	灵敏度	特异度
ResNet18（基线）	83.66	18.66	99.90
基线+CBAM	88.08	42.72	99.42
基线+SAM	91.71	59.20	99.83
基线+SENet	92.15	62.67	99.51
基线+场景先验注意力	94.20	76.44	98.64

特征融合算法	准确率	灵敏度	特异度
特征逐元素相加	92.97	67.82	99.25
特征拼接	94.36	83.52	97.07
自适应特征融合	95.36	89.31	96.87

算法	准确率	灵敏度	特异度
AlexNet公司^［21］	82.08	11.06	99.83
ResNet34公司	89.32	47.87	99.67
ResNet50公司	91.84	61.13	99.51
本文算法	95.36	89.31	96.87

算法	准确率	灵敏度	特异度
AlexNet公司^［21］	88.20	34.30	99.60
ResNet34公司	96.80	82.10	100
ResNet50公司	98.40	90.90	100
配置总成-FD^［8］	94	98	89.40
MEWMA-FD公司^［22］	96.60	100	94.90
面罩RCNN-LSTM^［23］	96.70	91.80	100
DCFI-FD公司^［24］	97.33	97.78	96.67
本文算法	99.01	100	98.72

算法	参数量/MB（MB）	速度/FPS（FPS）		准确率/%
算法	参数量/MB（MB）	中央处理器	通用分组	准确率/%
ResNet18（ResNet18）	11.18	51	359	83.66
ResNet34公司	21.29	33	225	89.32
ResNet50公司	23.51	20	166	91.84
本文算法	11.19	48	354	95.36

[1]	倪苒岩, 张轶.基于视频时空特征的行为识别方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 521-528.
[2]	徐铭, 李林昊, 齐巧玲, 王利琴.基于注意力平衡列表的溯因推理模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 349-355.
[3]	刘聪, 万根顺, 高建清, 付中华.基于韵律特征辅助的端到端语音识别方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 380-384.
[4]	汪洋, 傅洪亮, 陶华伟, 杨静, 谢跃, 赵力.基于决策边界优化域自适应的跨库语音情感识别[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 374-379.
[5]	邵小萌, 张猛.融合注意力机制的时间卷积知识追踪模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 343-348.
[6]	王佑芯, 陈斌.基于深度对比网络的印刷缺陷检测方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 250-258.
[7]	申志军, 穆丽娜, 高静, 史远航, 刘志强.细粒度图像分类综述[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 51-60.
[8]	林洋平, 刘佳, 陈培, 张明书, 杨晓元.基于深度卷积生成对抗网络的半生成式视频隐写方案[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 169-175.
[9]	孙泽强, 陈炳才, 崔晓博, 王磊, 陆雅诺.融合频域注意力机制和解耦头的YOLOv5型带钢表面缺陷检测[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 242-249.
[10]	杨洪刚, 陈洁洁, 徐梦飞.双线性内卷神经网络用于眼底疾病图像分类[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 259-264.
[11]	林荐壮, 杨文忠, 谭思翔, 周乐鑫, 陈丹妮.融合滤波增强和反转注意力网络用于息肉分割[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 265-272.
[12]	吕玉超, 姜茜, 徐英豪, 朱习军.基于多尺度特征融合的改进臂丛神经分割方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 273-279.
[13]	张军, 吴朋莉, 石陆魁, 史进, 潘斌.联合模块11A1和地面气象站点数据的多站点温度预测深度学习模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 321-328.
[14]	邹斌, 张聪.基于更快的R-CNN的密集人群检测算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 61-66.
[15]	刘辉, 马祥, 张琳玉, 何如瑾.融合匹配长短时记忆网络和语法距离的方面级情感分析模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 45-50.