杂志的下一篇文章
物联网无人机智能网络安全框架：机器学习视角
期刊上的上一篇文章
基于光纤光栅传感技术的围岩三维应力监测方法研究
 
 
搜索用于文章:
标题/关键字
作者/附属机构/电子邮件
日记账
文章类型
 
 
高级搜索
 
章节
特别发行
体积
问题
编号
第页
 
期刊销售
传感器
第22卷
第7版
10.3390/22072631
传感器-徽标
提交到此日志 本期刊的评论 提出特殊问题
► 文章菜单

文章菜单

分享 分享 公告 帮助 format_quote格式 引用 问题_答案 在SciProfiles中讨论 竖起拇指（_U）
...
背书 短信
...
注释
第一页（_P）
设置
订购文章重印
字体类型：
宋体 佐治亚州 宋体，Verdana
字体大小：
澳大利亚 澳大利亚 澳大利亚
行距：
列宽：
背景：
第条

KinectGaitNet：基于动态的深度卷积神经网络步态识别

通过
A.S.M.侯赛因·巴里
*和
玛丽娜·加夫里洛娃
加拿大卡尔加里大学计算机科学系
*
信件应寄给的作者。
传感器 2022,22(7), 2631;https://doi.org/10.3390/s22072631
收到的提交文件：2022年2月25日/修订日期：2022年3月17日/接受日期：2022年3月21日/发布日期：2022年3月29日
（本条属于本节传感器网络)
浏览地物
版本注释

摘要

:
在过去的十年中，步态识别在各个研究和工业领域得到了广泛的关注。这些包括远程监控、边境控制、医疗康复、姿势情绪检测、跌倒检测和运动训练。通过步态识别一个人的主要优点包括不引人注目、易于接受和低成本。本文提出了一种卷积神经网络KinectGaitNet，用于基于Kinect的步态识别。步态周期中每个身体关节的3D坐标都会进行变换，以创建唯一的输入表示。提出的KinectGaitNet直接使用3D输入表示进行训练，而不需要手工制作的特征。KinectGaitNet设计可以避免步态周期重采样，而残差学习方法可以确保高精度，而不会出现退化问题。所提出的深度学习体系结构在UPCV上实现了96.91%的准确率，在KGB数据集上实现了99.33%的准确率。据我们所知，该方法是第一种基于深度学习的体系结构，它基于关节坐标的独特3D输入表示。与以往的传统和深度学习方法相比，该方法的性能更高，参数更少，推理时间更短。

1.简介

步态是人体不同关节所表现出的动态运动的重复模式[1]. 行走过程中反复出现脚跟着地、站立和脚跟离地的姿势[2]. 从身体关节反复运动中提取的独特特征在生物特征识别中用于识别人[1]. 从远处获得步态的普遍可接受性、低成本和各种数据采集传感器，以及通常从远处识别人的高精度，使步态识别成为最流行的行为生物识别技术之一[三]. 步态识别有许多应用，例如人员识别[4,5]，人类活动识别[6]，性别认同[7]，从人类姿势识别情感[8]搜索和救援行动[9,10]，访问控制[11]医疗诊断、治疗和康复[12,13].
使用从生物特征中提取的独特特征训练的有监督机器学习模型为自动模拟生物特征识别铺平了道路[14,15]. 在过去的十年中，借助传统的机器学习模型，人们对基于步态的人识别进行了大量研究[16]. 强大的深度学习方法的发展速度加快，为在许多领域利用它们提供了前所未有的机会。计算机视觉、计算智能、认知架构、人机交互、可信决策、防御、机器人和生物特征等领域受益于轻量级、多功能的强大深度学习架构的开发，它们提供了高性能而不会过度匹配。图像分类的性能[17]，人脸识别[18]，面部表情识别[19]，人员验证[20]、和其他[21,22]得到加强，利用深度学习的力量。然而，这类方法在生物识别领域还处于初级阶段，他们一直关注基于人体步态的基于运动学的身份识别[16].
将深度学习神经网络体系结构引入基于运动学的步态识别的首批成功作品之一出现在[23]. 除了深度学习方法外，在过去十年中，还设计了许多成功的方法，以促进基于运动学步态生物特征的人类成功识别[24,25,26]. 这些方法有一些缺陷。提出了手工分类特征，用于基于运动学的步态识别[5,23,25,26]. 手工特征的提取需要在目标域中进行专门化，并且难以选择不相关的显著特征。此外，传统的步态识别机器学习方法依赖于计算昂贵的预处理步骤和昂贵的特征选择方法。深度卷积神经网络为克服上述挑战，从而提高识别性能提供了新的机会。然而，当考虑深度卷积网络同时用于特征提取和识别时，由于收敛后训练中的错误率增加，可能会出现退化问题[27,28].
Microsoft Kinect通过2D彩色图像中的人体骨骼生成基于颜色的深度视频帧。提出的架构KinectGaitNet解决了上述挑战，同时克服了深度卷积神经网络的典型退化问题。拟议方法的主要贡献如下。首先，提出了步态周期中关节坐标的唯一三维输入表示。因此，在不提取手工特征的情况下，所提出的输入表示用作CNN体系结构的输入，用于分层特征提取。其次，设计了一种新的基于残差学习的卷积神经网络结构KinectGaitNet。引入了两种类型的剩余学习块，以缓解退化问题，且可训练参数的数量不会增加。第三，KinectGaitNet架构正在接受可变步态周期的训练，无需重新采样到固定长度。这是通过在决策层之前引入全局平均池层来实现的。最后，Adam优化方法[29]用于优化KinectGaitNet的权重，以便更快地训练模型并为模型提供鲁棒性，这与自适应学习率一起工作。两个公开可用的基准数据集，UPCV步态数据集[7]和Kinect步态生物力学数据集[24]，用于评估所提方法的性能。

2.文献综述

Microsoft Kinect传感器非常适合室内和室外环境，因为它具有无标记运动分析、传感器数据易于访问和成本效益。Kinect传感器可以以每秒30帧的速度生成3D骨骼数据[30]. 此外，Kinect传感器跟踪的人体关节提取结果显示，其精度和精确度小于2 mm[31]. Clark等人[32]通过对运动学、姿势和时空分析进行实验，验证了运动学传感器在步态分析中的适用性。
Preis等人开始使用Kinect传感器进行基于模型的步态识别[4]他使用基于规则的决策树（DTree）和朴素贝叶斯分类器引入了11个手工制作的静态和两个动态功能。同年，提取了从选定的人体关节计算出的18个角度的时间特征，用K-均值聚类方法研究步态属性[33]. 后来，在中提出了关节相对距离（JRD）和关节相对角度（JRA）特征[25]采用秩级融合技术对这些特征进行融合。安德森和阿劳霍[24]应用多层感知器（MLP）体系结构；然而，K-最近邻（KNN）和支持向量机（SVM）分类器的性能优于MLP结构。Yang等人[26]从选择性身体关节中提取相对距离特征，并确定其在步态周期帧上的平均和标准偏差。最近，通过从选定的身体关节执行特征提取，Sun等人[5]提取静态和动态特征来训练传统的KNN分类器。
从上述相关工作来看，很明显，之前的研究依赖手工特征来训练传统分类器。然而，传统的分类器无法从输入数据样本中学习分层特征表示。此外，不相关的手工特征提取需要特定于目标的知识。手工提取特征还需要一个特征选择步骤，以删除由于与其他特征相关而对性能产生负面影响的特征。2019年，首次尝试将深度学习与基于运动学的步态识别相结合。研究人员利用三个隐藏层来设计深层神经网络[34]. 他们的方法缺乏管理不同长度步态序列的解决方案，因此在确定步态序列每个帧的预测标签后，需要采用多数投票法的额外步骤。此外，由于特定帧与另一个人的步态模式相似，逐帧预测会导致预测错误。另一项工作提取了关节相对距离和关节相对角度特征，并确定了30帧以上手工特征的平均值和标准偏差[35]. 使用卷积神经网络训练累积特征，并使用随机梯度下降优化器进行优化。重新实施该方法后，UPCV和Kinect步态生物测量数据集的识别性能均低于15%。精度低有几个原因。首先，由于CNN体系结构是用手工特征训练的，所以不能使用统一的内核来提取CNN体系的层次特征。其次，模型存在过拟合问题。第三，人工特征不考虑步态周期。因此，该方法不包括在实验部分。
最近，巴里和加夫里洛娃[23]提出了一种深度学习神经网络架构，该架构使用更好的手工设计的联合相对余弦差异（JRCD）和联合相对三角形区域（JRTA）特征进行训练。在[23]，该方法取决于JRCD和JRTA特征的性能，并且由于使用多层感知器方法的神经网络设计而需要高模型参数。此外，方法[23]对步态周期进行重采样，生成一个固定大小的特征向量来训练网络。在本文中，我们解决了上述将深度学习用于步态识别的新兴研究的不足。我们的方法避免了从选择性身体关节中提取静态和动态手工特征，并且我们还确定，通过改进的卷积神经网络提取的特征可以优于使用个体之间步态周期可变长度的最新技术。由于手工特征不是该方法的输入，KinectGaitNet能够利用统一的卷积核来提取不同的特征。

3.建议方法

该方法提出了几个新的贡献。引入变换方法，将人体关节坐标变换为基于步态周期的二维矩阵。然后，合并2D矩阵以使用x个,年、和z协调。提出了一种卷积神经网络（CNN），用于提取低层到高层的独特层次特征图，并从三维矩阵样本中学习人的身份。由于CNN架构的输入是由人体关节生成的3D矩阵，因此避免了手工特征，直接从人体关节提取层次特征。所提出的CNN架构的设计方式是，CNN架构可以处理步态周期的可变长度，而无需将3D矩阵重采样到固定维度。剩余学习[27]引入块来设计CNN模型的体系结构，以减少模型参数的退化问题。Adam优化器用于最小化目标函数的损失。
基于运动学的步态识别分为两个阶段。在配准阶段，使用基于骨架的步态序列的残差学习，通过所提出的卷积神经网络提取特征。在注册阶段，对CNN模型不同层中提取的特征进行训练和优化。在识别阶段使用优化特征。在识别阶段，使用未知的基于运动学骨架的步态序列。将训练好的CNN模型应用于预测人的身份。拟议系统的流程图如所示图1.

3.1. 步态周期检测

行走时，从人体关节观察到循环运动模式。通过跟踪两个脚踝之间的欧氏距离来检测步态周期。由于行走序列可能会受到噪声的影响，因此需要使用降噪滤波器检测局部最大值以确定完整的步态周期。首先，应用移动平均滤波器，并进一步引入中值滤波器来抑制两个脚踝之间欧氏范数结果中的噪声。降噪后，检测三个连续的局部极大值，提取完整的步态周期。降噪信号的所有局部最大值都表示为图2。步态周期中每个身体关节的3D坐标用于准备拟议KinectGaitNet的输入。行走序列的每个步态周期都具有独特的步态属性，需要使用CNN模型进行提取和训练。

3.2. 基于人体关节坐标的三维矩阵生成

步态周期中每个身体关节的三维（3D）坐标用于生成唯一的3D矩阵。每个身体关节使用 ( x个 , 年 , z ) Kinect骨架模型中的向量。人体关节数和步态周期中的帧数表示为 N个 b 和 N个 （f） 分别为。这个x个的坐标 N个 b 人体关节是从步态周期的每一帧中提取出来的。以类似的方式， N个 b 数量年和z检索坐标。使用x个,年、和z步态周期帧上每个身体关节的坐标如所示图3由于步态周期中的帧数并非每个人都相同 N个 （f） 因人而异。

3.3. 提出的卷积神经网络

本文提出了一种基于残差学习的卷积神经网络用于基于运动的步态识别。建议的CNN模型的架构如所示图4设计基于残差学习的CNN体系结构的目的是以3D矩阵的可变维数为输入，提取层次分明的特征，同时避免退化问题。3D矩阵包括x个,年、和z步态周期中每个身体关节的坐标是建议的CNN架构的输入。如果有总计N个从所有人的基于骨骼的步态序列中提取出步态周期，提出的CNN模型的输入形状变为 N个 × N个 （f） × N个 b × 三 哪里 N个 （f） 不是固定值。每个人的识别标签都被转换为一个热编码格式。如果有总计P（P）数据集中有人的步态序列，一个热编码识别标签的形状为 N个 × P（P） 3D矩阵和一个热编码识别标签都被输入CNN模型的第一层。
卷积层、批处理归一化层和激活层是所提出CNN模型的前三层。人体关节之间的时空关系以及x个,年、和z使用卷积滤波器提取坐标。提取的特征需要进行归一化，以使训练更快收敛并具有稳定性。因此，随后包括批处理归一化层，以在卷积层之后以线性方式变换提取的特征。使用校正线性单位（ReLU）激活激活缩放的特征地图。选择ReLU激活函数是为了更快的计算、单调导数、减少消失梯度的可能性和更快的训练。前三层负责提取、缩放和激活底层特征。KinectGaitNet的其他层使用剩余学习基于低级特征提取高级特征。
为了提取层次化的高级特征图，在该架构中引入了两种类型的残差块。剩余块将前一层的输出、内核大小、过滤器数量和步长作为输入。如果剩余块中的步长设置为1，则剩余块的结构如所示图4选择了a。另一方面，如果剩余块中的步长设置为2，则剩余块的结构如所示图4b适用。当步长设置为1时，从输入矩阵到批次规范化层的结果引入跳跃连接（请参见图4a） ●●●●。为了实现跳跃连接，使用加法类型的合并层将原始输入矩阵添加到剩余块和批规范化层的输出中。合并的结果被输入ReLU激活层。当步长设置为2时，首先使用提供的滤波器数量应用卷积运算 1 × 1 内核。接下来，使用批处理规范化层对输出进行规范化。考虑此批处理规范化操作的结果表示为 B类 x个 1 。快捷连接是从添加的 B类 x个 1 根据批次归一化层的结果图4b、 使用加法类型的合并层。合并的结果被传递到激活层。的体系结构图4a、 由于高级特征提取块是一个较深的网络，因此KinectGaitNet中包含带有跳跃连接的b以解决降级问题。
传统上，最终卷积层的结果被展平到决策层之前的完全连接层。但是，不能在最后一个残差块后添加完全连接的层，因为提取的特征地图是在可变维度中。由于三维矩阵的可变维数是KinectGaitNet的输入，因此在每个步态周期中，残差块后提取的特征图的维数并不一致。需要以这样一种方式积累特征图，即可以生成一致的特征图，并且积累过程是可学习的。为了实现这一点，我们将最终剩余块的输出输入到全局平均池层[36]. 全局平均池层提供了KinectGaitNet支持3D矩阵可变维的能力。它还显著减少了可训练参数的数量。最后，对特征映射进行变换，使全局平均池操作的输出与分类类别密切相关。
在多类步态识别系统中，在决策层应用softmax激活函数对人的身份进行分类。使用Adam优化器优化分类对数损失目标函数，以利用AdaGrad和RMSProp的优化增益[37]. 此外，Adam优化器在以自适应学习速率优化超参数的同时提供了鲁棒性。

4.实验结果

使用两个公开可用的基准数据集评估拟议KinectGaitNet的性能。UPCV数据集[7]包含使用Microsoft Kinect传感器以每秒30帧的实时速度记录的30名参与者的五个步态序列。在30名参与者中，相同数量的男性和女性参与者参与了数据集。Kinect步态生物测定（KGB）数据集[24]包含164名参与者中每一位的五个步态序列，他们从左到右沿顺时针方向行走，然后返回相反的方向。使用X-Box 360 Kinect传感器收集17至45岁男性和女性的行走序列。大学生是克格勃数据集中的主要志愿者。
步态周期检测算法用于从两个数据集的步态序列中检测多个步态周期。三维矩阵生成方法用于准备步态周期的三维矩阵输入。提出的基于残差学习的KinectGaitNet模型使用3D矩阵样本进行训练，并在注册过程后存储优化的权重。识别阶段使用训练好的KinectGaitNet模型的优化权重。由于两个数据集的每个参与者都有五个步态序列，因此对这两个数据集中进行了五次交叉验证。因此，可以通过每个个体的每个步态序列来评估该模型，以显示模型对每个集合的公平性。

4.1. 优化方法的性能和批量

使用Adam优化方法优化所提出CNN体系结构的权重。此外，应用均方根传播（RMSProp）和随机梯度下降（SGD）优化方法对分类交叉熵目标函数进行优化。从识别准确度、准确度、召回率和F-score等方面比较了这三种优化方法的性能。表1显示了SGD、RMSProp和Adam优化方法在UPCV数据集上的平均识别结果。所提出的3D矩阵生成和KinectGaitNet（带有ReLU激活和SGD优化器）的最低识别准确率为80.63%。RMSProp比SGD提高了15%的准确性。使用Adam优化器，识别准确率、准确率、召回率和F得分分别达到96.91%、96.66%、96.17%和96.02%。因此，Adam优化器在UPCV数据集上提供了最佳的识别性能。
所提出的具有ReLU激活函数和不同优化方法的CNN模型在KGB数据集上的平均识别性能如所示表2。SGD、RMSProp和Adam优化器的性能非常接近。使用SGD、RMSProp和Adam优化方法分别获得了99.25%、99.27%和99.33%的识别准确率。Adam优化器再次确保了克格勃数据集上的最佳识别准确度、精确度、召回率和F-score。
值得指出的是，在中提到的实验中使用的批次大小为32表1和表2因此，在训练所提出的CNN体系结构时，需要进一步研究以确定批大小超参数的贡献。由于Adam优化器比SGD和RMSProp更好地最小化目标函数，因此使用Adam优素器和ReLU激活函数对批量大小进行了实验。表3显示了建议的CNN模型在使用不同批量大小训练的UPCV数据集上的平均识别性能。在克格勃数据集上也进行了使用不同批量大小的类似实验（参见表4). 很明显表3和表4当批大小从32增加到128时，识别性能逐渐降低。UPCV和KGB数据集的准确度分别降低了3.11%和0.14%。因此，当所建议的CNN模型由Adam优化器优化并使用32的批大小进行训练时，所建议CNN模型的性能最佳。

4.2. 池方法的性能

该方法避免了步态周期重采样到固定长度。建议在第五个残差块后添加全局平均池（GAP）方法，以处理可变维特征地图，并使特征地图的可变表示成为固定长度表示。使用GAP层累积不同特征地图的激活。GAP的性能与空间金字塔池（SPP）进行了比较[38]和全球最大池（GMP）[39]方法。在体系结构中使用SPP层时，我们添加了三个级别的金字塔状池区域，大小分别为1、2和4。UPCV数据集上SPP、GMP和GAP的性能如所示表5。在三种池方法中，SPP层的性能最低。GMP的识别率比SPP高5%左右。然而，GAP的最高识别准确率为96.91%，准确率为96.66%，召回率为96.17%，F评分为96.02%。
在KGB数据集上，KinectGaitNet对SPP和GMP层的识别准确率分别达到94.95%和98.85%。在KGB数据集的这三种池方法中，带有GAP层的拟议架构具有更高的准确性、精确度、召回率和F-score（参见表6). 因此，很明显，带有GAP层的KinectGaitNet在这两个数据集上提供了最佳性能。此外，KinectGaitNet具有处理个人可变维步态周期的特性，无需将步态周期重采样到固定长度。

4.3. 培训和验证分析

历代的训练损失和验证损失证明了模型是泛化还是记忆。如果训练损失和验证损失随着时间的推移逐渐减少，则模型将学习一个广义模式。因此，可以从学习曲线中识别模型过拟合。由于进行了五次交叉验证实验，KinectGaitNet在UPCV数据集上的平均训练损失和验证损失如所示图5a.随着训练损失和验证损失的减少，训练准确性和验证准确性逐渐提高。
图5b显示了KGB数据集上提议的CNN模型的平均训练损失和验证损失。发件人图5a、 b，可以指出，验证损失的趋势在各个时期都是下降的。此外，验证损失在达到平稳后不会增加，也不会出现过拟合。与验证损失类似，培训损失在两个数据集都达到稳定后并没有显示出上升趋势。因此，在所提出的深度学习架构中不存在降级问题。此外，实验结果支持KinectGaitNet对每个训练集和测试集都显示出公平性，并且不会出现过拟合现象。

4.4. 总体性能比较

使用累积匹配特征（CMC）曲线评估所提CNN模型的性能。建议方法在UPCV数据集上的CMC曲线如所示图6a.在UPCV数据集上，第一级识别准确率从96.91%开始，到第四级达到100%。另一方面，该方法在KGB数据集上的一级识别准确率为99.33%。在10级时接近99.97%（参见图6b） ●●●●。
将该方法与其他方法的性能进行了比较[4,5,23,26]. 将该方法的1级至10级CMC分数与之前对UPCV数据集和KGB数据集的研究结果进行了比较，如所示图6a、 b）。该方法在UPCV数据集的4级精度达到100%，而先前的研究在10级精度不可能达到100%。另一方面，在克格勃数据集上，一级识别准确率为99.33%。采用最先进的方法，在10级时识别准确率达到99.98%，而在10级达到88.95%、94.03%、97.42%和99.60%[4,5,23,26]分别是。总之，与两个数据集上的比较器相比，该方法在每个等级上都获得了更高的识别率。
接收机工作特性（ROC）是分类的性能指标。真阳性率（TPR）与假阳性率（FPR）的概率测量显示了类别之间的可分性。由于我们的实验中进行了五次交叉验证，因此计算宏观平均值以绘制ROC曲线。UPCV数据集上的ROC曲线如所示图7a.在UPCV数据集上，ROC曲线下的归一化面积（nAUC）为0.9936。另一方面，克格勃数据集的ROC曲线如所示图7b.在KGB数据集上，该方法的nAUC得分为0.9949。
另一方面，等错误率（EER）是生物特征安全的另一个性能指标。EER得分越小，验证系统越好。该方法在UPCV和KGB数据集上的EER得分分别为0.0202和0.0101。将提出的基于运动学的步态识别方法在两个数据集上的nAUC和EER分数与四个先前的工作进行了比较（参见表7和表8). 与本研究之前在这两个数据集上研究的所有研究相比，该方法确保了最高的nAUC分数和最低的EER分数。
确定可训练和非训练参数，以计算所建议CNN架构的总参数数。由于UPCV数据集中有30个参与者，KGB数据集中有164个参与者，因此在UPCV和KGB数据集中的全球平均池层之后添加了一个由30个节点和164个节点组成的完全连接层，以分别进行标识。两个数据集上的模型参数总数如所示表9.方法的参数总数[23]在UPCV数据集上是4496926，在KGB数据集上则是4514212。因此，提出的KinectGaitNet在方法上的参数比架构少九倍多[23].
用于确定所提出的CNN模型的推断时间的系统配置是3.20 GHz的Intel Core i7-8700 CPU、16 GB的RAM和NVIDIA GeForce GTX 1080的GPU。对人进行3D矩阵识别的运行时间为 3.30 × 10 − 4 s、 而该方法预测的运行时间[23]是 3.85 × 10 − 4 s.因此，建议的方法比方法快14.3%[23].

4.5. 与最先进作品的比较

之前的工作，如Ball等人的工作[33]，Preis等人[4]艾哈迈德等人[25]，Sun等人[5]和Yang等人[26]，提出了人工特征来训练机器学习模型，用于基于运动学的步态识别。最近，巴里和加夫里洛娃[23]引入两个独特的几何特征来训练他们提出的深度学习神经网络（DLNN）架构。我们提出的方法没有引入手工特征；相反，它引入了3D矩阵生成方法来准备人体关节的坐标，以用于基于残差学习的卷积神经网络的训练。所提出的CNN模型使用反向传播算法提取优化的层次特征。所提方法与先前对UPCV和KGB数据集的研究的性能比较如所示表10和表11分别是。
联合相对余弦相异（JRCD）和联合相对三角形面积（JRTA）[23]提供比先前研究更好的识别结果。KinectGaitNet获得的识别结果高于[23]在准确性、精确性、召回率和F-score方面。在UPCV和KGB数据集上，建议的CNN体系结构具有ReLU激活、全局平均池和Adam优化器，与[23]参数减少了9倍，推理速度提高了14.3%。它还提取了比中引入的传统机器学习模型更好的特征[4,5,23,26,33].表10和表11支持上述主张。KinectGaitNet在两个基准数据集上确保了最佳的识别性能。在UPCV数据集上，最高的识别准确率、准确率、召回率和F评分分别为96.91%、96.66%、96.17%和96.02%。在克格勃数据集上，最高的识别准确率、准确率、召回率和F得分分别为99.47%、99.49%、99.49%和99.48%。此外，CMC在各个等级上的得分都较好，曲线下的归一化面积较高，等误差率较低。

5.结论和未来工作

本文提出了基于残差学习的卷积神经网络KinectGaitNet用于基于Kinect的步态识别。提出了一种新的三维矩阵生成算法。使用KinectGaitNet中的全局平均池层可以避免将步态周期重采样为固定长度。该方法在基于运动学的步态识别的两个基准数据集上进行了评估。在UPCV和KGB数据集上，准确率分别达到96.91%和99.33%。所获得的识别性能优于所有最近提出的最先进的方法。与最新方法相比，预测的运行时间快了14.3%，参数计数减少了89.03%。由于提出的基于残差学习的CNN体系结构，无需对步态周期进行重采样，并且缺少手工制作的特征，所以实现了这一性能。未来，将研究缺失身体关节的影响，以开发适用于真实场景的步态识别系统。一种用于更好的分层特征提取的改进的CNN架构可以是所提出方法的扩展。最后，对不同的行走轨迹进行实验，并在不同的着装条件下测试该方法的性能，可以成为未来的另一个研究方向。

作者贡献

论文的两位作者贡献均等。所有作者都已阅读并同意手稿的出版版本。

基金

这项研究得到了NSERC Discovery Grant 10007544、NSERC Strategic Partnership Grant 10022972和Innovation for Defense Excellence and Security Network的部分支持。

机构审查委员会声明

不适用。

知情同意书

不适用。

数据可用性声明

不适用。

致谢

作者感谢自然科学与工程研究委员会（NSERC）的发现拨款，以及NSERC战略伙伴关系拨款（SPG）和国防卓越与安全网络创新（IDEaS）对该项目的部分资助。

利益冲突

作者声明没有利益冲突。

工具书类

  1. Jain，A.K。；A.罗斯。；Prabhakar，S.生物识别简介。IEEE传输。电路系统。视频技术。 2004,14, 4–20. [谷歌学者] [交叉参考] [绿色版本]
  2. Yoo，J.H。；Nixon，M.S.人类步态运动的无标记自动分析，用于识别和分类。埃特里·J。 2011,33, 259–266. [谷歌学者] [交叉参考] [绿色版本]
  3. Gafurov，D.生物特征步态识别调查：方法、安全性和挑战。2007年11月19日至21日在挪威奥斯陆举行的挪威计算机科学年度会议记录；第19-21页。[谷歌学者]
  4. Preis，J。；凯塞尔，M。；沃纳，M。；Linnhoff Popien，C.使用kinect识别步态。2012年6月18日，英国纽卡斯尔，第一届普及计算Kinect国际研讨会论文集；第1-4页。[谷歌学者]
  5. Sun，J。；Wang，Y。；李，J。；Wan，W。；Cheng，D。；Zhang，H.基于运动骨骼特征的视点非变异步态识别。多模式。工具应用程序。 2018,77, 24909–24935. [谷歌学者] [交叉参考]
  6. Gaglio，S。；关于G.L。；Morana，M.使用三维姿势数据的人类活动识别过程。IEEE传输。嗯-马赫。系统。 2014,45, 586–597. [谷歌学者] [交叉参考]
  7. Kastaniotis，D。；西奥多拉科普洛斯，I。；Theoharatos，C。；Economou，G.公司。；Fotopoulos，S.使用Kinect进行基于步态的识别的框架。模式识别。莱特。 2015,68, 327–335. [谷歌学者] [交叉参考]
  8. 巴蒂亚，Y。；A.巴里。；徐，G.S.J。；Gavrilova，M.使用双模块序列神经网络进行基于运动捕捉传感器的情感识别。传感器 2022,22, 403. [谷歌学者] [交叉参考] [公共医学]
  9. 苏亚雷斯，J。；Murphy，R.R.将Kinect用于搜索和救援机器人。2012年11月5日至8日，美国德克萨斯州大学城，安全、安保和救援机器人国际研讨会论文集；第1-2页。[谷歌学者]
  10. 加夫里洛娃，M.L。；艾哈迈德·F。；巴里，A.H。；刘，R。；刘，T。；马雷特，Y。；锡尤，B.K。；Sudhakar，T.紧急响应和患者康复的基于多模式运动捕捉的生物特征系统。在康复实践与治疗研究选集; IGI Global：好时，宾夕法尼亚州，美国，2021年；第653-678页。[谷歌学者]
  11. 蒙瓦尔，M.M。；加夫里洛娃，M。；Wang，Y.一种用于人类生物特征识别的新型模糊多模态信息融合技术。《IEEE第十届认知信息学和认知计算国际会议论文集》（ICCI-CC’11），加拿大班夫，AB，2011年8月18-20日；第112-119页。[谷歌学者]
  12. Chaaraoui，A.A。；Padilla-López，J.R。；Flórez-Revuelta，F.使用关节运动历史特征的RGB-D设备进行异常步态检测。2015年5月4日至8日在斯洛文尼亚卢布尔雅那举行的2015年IEEE第11届自动面部和手势识别国际会议和研讨会论文集；第7卷，第1-6页。[谷歌学者]
  13. 帕克，D.S。；Lee，D.G。；Lee，K。；Lee，G.使用Xbox Kinect进行虚拟现实训练对中风幸存者运动功能的影响：初步研究。中风脑血管杂志。数字化信息系统。 2017,26, 2313–2319. [谷歌学者] [交叉参考] [公共医学]
  14. 贝格·R。；Kamruzzaman，J.使用基本、动力学和运动学步态数据自动识别运动模式的机器学习方法。J.生物技术。 2005,38, 401–408. [谷歌学者] [交叉参考]
  15. 亚努什凯维奇，S.N。；斯托伊卡，A。；斯里哈里，S.N。；副总裁Shmerko。；Gavrilova，M.生物特征信息模拟：新一代生物特征系统。《生物识别技术建模与仿真国际研讨会论文集》，加拿大卡尔加里，AB，2004年6月14日至16日；第87-98页。[谷歌学者]
  16. Kececi，A。；Yildirak，A。；Ozyazici，K。；Ayluctarhan，G。；阿格布卢特，O。；Zincir，I.步态识别机器学习算法的实现。工程科学。Technol公司。国际期刊。 2020,23, 931–937. [谷歌学者] [交叉参考]
  17. 孙，Y。；薛，B。；张，M。；Yen，G.G。；Lv，J.使用图像分类的遗传算法自动设计CNN结构。IEEE传输。赛博。 2020,50, 3840–3854. [谷歌学者] [交叉参考] [绿色版本]
  18. Jin，B。；克鲁兹，L。；Gonçalves，N.深度面部诊断：从面部识别到面部诊断的深度转移学习。IEEE接入 2020,8, 123649–123661. [谷歌学者] [交叉参考]
  19. 杨，B。；曹，J。；镍，R。；Zhang，Y.基于双通道人脸图像的加权混合深度神经网络人脸表情识别。IEEE接入 2017,6, 4630–4640. [谷歌学者] [交叉参考]
  20. El-Fiqi，H。；王，M。；萨利米，N。；Kasmarik，K。；巴洛，M。；Abbas，H.卷积神经网络，用于使用稳态视觉诱发电位进行人员识别和验证。《IEEE系统、人与控制论国际会议论文集》，日本宫崎，2018年10月7日至10日；第1062-1069页。[谷歌学者]
  21. Sünderhauf，N。；O.布鲁克。；谢尔，W。；哈德塞尔，R。；福克斯博士。；莱特纳，J。；Upcroft，B。；阿贝尔，P。；伯加德，W。；米尔福德，M。；等。机器人深度学习的局限性和潜力。国际J机器人。物件。 2018,37, 405–420. [谷歌学者] [交叉参考] [绿色版本]
  22. 郭毅。；刘，Y。；奥尔勒曼斯，A。；老挝，S。；Wu，S。；Lew，M.S.视觉理解的深度学习：综述。神经计算 2016,187, 27–48. [谷歌学者] [交叉参考]
  23. 巴里，A.H。；Gavrilova，M.L.使用Kinect传感器基于人工神经网络的步态识别。IEEE接入 2019,7, 162708–162722. [谷歌学者] [交叉参考]
  24. Andersson，V.O。；de Araüjo，R.M.《使用Kinect传感器的人体测量和步态数据进行人的识别》。2015年1月25日至30日在美国德克萨斯州奥斯汀举行的第二十届AAAI人工智能会议记录；第425-431页。[谷歌学者]
  25. 艾哈迈德·F。；保罗，P.P。；Gavrilova，M.L.DTW-based kernel and rank-level fusion for 3D game recognition using Kinect基于DTW的内核和等级级融合。视觉。计算。 2015,31, 915–924. [谷歌学者] [交叉参考]
  26. Yang，K。；Dou，Y。；吕，S。；张，F。；Lv，Q.Kinect步态识别的相对距离特征。视觉杂志。Commun公司。图像表示。 2016,39, 209–217. [谷歌学者] [交叉参考] [绿色版本]
  27. He，K。；张，X。；任，S。；Sun，J.图像识别的深度残差学习。2016年6月27日至30日，美国内华达州拉斯维加斯，IEEE计算机视觉和模式识别会议记录；第770-778页。[谷歌学者]
  28. R.P.蒙蒂。；图图尼安，S。；Cao，R.通过逐步取消跳过连接来避免深度前馈网络的退化。在国际人工神经网络会议; 施普林格：德国柏林/海德堡，2018年；第447-456页。[谷歌学者]
  29. Kingma，D.P。；Ba，J.Adam：一种随机优化方法。arXiv公司 2014，arXiv:1412.6980。[谷歌学者]
  30. 施密茨，A。；Ye，M。；夏皮罗，R。；Yang，R。；Noehren，B.使用单摄像机无标记运动捕捉系统测量关节角度的准确性和可重复性。J.生物技术。 2014,47, 587–591. [谷歌学者] [交叉参考]
  31. Pöhlmann，S.T。；Harkness，E.F。；泰勒，C.J。；Astley，S.M.医疗成像用Kinect 3D传感器评估。医学生物学杂志。工程师。 2016,36, 857–870. [谷歌学者] [交叉参考]
  32. R.A.克拉克。；曼蒂普利，B.F。；Hough，E。；Pua，Y.H.《用于身体功能评估的三维相机和骨骼姿势跟踪：用途、有效性、当前发展和Kinect替代品综述》。步态姿势 2019,68, 193–200. [谷歌学者] [交叉参考] [公共医学]
  33. 鲍尔，A。；Rye，D。；拉莫斯，F。；Velonaki，M.从“骨架”数据中对人群进行无监督聚类。2012年3月5日至8日在美国马萨诸塞州波士顿举行的第七届年度ACM/IEEE人机交互国际会议论文集；第225-226页。[谷歌学者]
  34. Nattee，C。；Khamsemanan，N.基于模型步态识别的深度神经网络方法。泰语J.数学。 2019,17, 89–97. [谷歌学者]
  35. Huynh-The，T。；Hua，C.H。；图，N.A。；Kim，D.S.通过卷积网络学习三维时空步态特征，用于身份识别。神经计算 2020,397, 192–202. [谷歌学者] [交叉参考]
  36. 林，M。；陈，Q。；Yan，S.网络。arXiv公司 2013，arXiv:1312.4400。[谷歌学者]
  37. 古德费罗，I。；Y.本吉奥。；科尔维尔，A。；Y.本吉奥。深度学习; 麻省理工学院出版社：剑桥，马萨诸塞州，美国，2016年；第1卷。[谷歌学者]
  38. He，K。；张，X。；任，S。；Sun，J.视觉识别深卷积网络中的空间金字塔池。IEEE传输。模式分析。机器。智力。 2015,37, 1904–1916. [谷歌学者] [交叉参考] [绿色版本]
  39. I.J.古德费罗。；Warde-Farley，D。；米尔扎，M。；科尔维尔，A。；Bengio，Y.Maxout网络。arXiv公司 2013，arXiv:1302.4389。[谷歌学者]
传感器22 02631 g001 550
图1。拟议框架的总体系统流程图。
图1。拟议框架的总体系统流程图。
传感器22 02631 g001
传感器22 02631 g002 550
图2。脚踝之间的欧几里德规范以红色表示。降噪滤波器的结果以蓝色显示。局部最大值用*符号标记。
图2。脚踝之间的欧几里德规范以红色表示。降噪滤波器的结果以蓝色显示。局部最大值用*符号标记。
传感器22 02631 g002
传感器22 02631 g003 550
图3。步态周期帧上人体关节的3D矩阵生成流程图。
图3。步态周期帧上人体关节的3D矩阵生成流程图。
传感器22 02631 g003
传感器22 02631 g004 550
图4。剩余块（[内核= K（K） × K（K） ，筛选器=F类，跨步=S公司] × R（右） )表示剩余块一个接一个地堆叠R（右）时间和 K（K） × K（K） 的内核F类滤波器用于卷积层。基于S公司，其中一个残余块图4a、 b被选中。(一)步长设置为1时剩余块的结构。(b)步长设置为2时剩余块的结构。(c（c）)KinectGaitNet的体系结构。
图4。剩余块（[内核= K（K） × K（K） ，筛选器=F类，跨步=S公司] × R（右） )表示剩余块一个接一个地堆叠R（右）时间和 K（K） × K（K） 的内核F类在卷积层中使用滤波器。基于S公司，的剩余块之一图4a、 b被选中。(一)步长设置为1时剩余块的结构。(b)当步长设置为2时，剩余块的体系结构。(c（c）)KinectGaitNet的体系结构。
传感器22 02631 g004
传感器22 02631 g005 550
图5。KinectGaitNet在UPCV和KGB数据集上的平均训练精度和验证精度。(一)在UPCV数据集上。(b)在克格勃数据集上。
图5。KinectGaitNet在UPCV和KGB数据集上的平均训练精度和验证精度。(一)在UPCV数据集上。(b)在克格勃数据集上。
传感器22 02631 g005
传感器22 02631 g006 550
图6。所提方法和方法的CMC分数的性能比较[4,5,23,26]UPCV和KGB数据集。(一)在UPCV数据集上。(b)在克格勃数据集上。
图6。所提方法和方法的CMC分数的性能比较[4,5,23,26]UPCV和KGB数据集。(一)在UPCV数据集上。(b)在克格勃数据集上。
传感器22 02631 g006
传感器22 02631 g007 550
图7。UPCV和KGB数据集上的ROC曲线。(一)在UPCV数据集上。(b)在克格勃数据集上。
图7。UPCV和KGB数据集上的ROC曲线。(一)在UPCV数据集上。(b)在克格勃数据集上。
传感器22 02631 g007
表
表1。基于ReLU激活函数和不同优化方法的卷积神经网络对UPCV数据集的平均识别性能。最佳性能以粗体显示。
表1。所提出的具有ReLU激活函数和不同优化方法的卷积神经网络在UPCV数据集上的平均识别性能。最佳性能以粗体显示。
优化器准确性精密度召回成绩
新加坡元80.6373.8874.8772.69
RMSProp公司95.4194.8794.4394.01
亚当96.9196.6696.1796.02
表
表2。基于ReLU激活函数和不同优化方法的卷积神经网络在KGB数据集上的平均识别性能。最佳性能以粗体显示。
表2。基于ReLU激活函数和不同优化方法的卷积神经网络在KGB数据集上的平均识别性能。最佳性能以粗体显示。
优化器准确性精密度召回成绩
新加坡元99.2599.2799.2599.25
RMSProp公司99.2799.3199.3199.27
亚当99.3399.3699.3599.33
表
表3。使用ReLU激活函数、Adam优化器和UPCV数据集上不同批量大小的拟议KinectGaitNet的平均识别性能。最佳性能以粗体显示。
表3。使用ReLU激活函数、Adam优化器和UPCV数据集上不同批量大小的拟议KinectGaitNet的平均识别性能。最佳性能以粗体显示。
批量大小准确性精密度召回成绩
3296.9196.6696.1796.02
6494.7593.0292.0692.26
12893.8092.8891.6791.74
表
表4。使用ReLU激活函数、Adam优化器和KGB数据集上不同批量大小的拟议KinectGaitNet的平均识别性能。最佳性能以粗体显示。
表4。使用ReLU激活函数、Adam优化器和KGB数据集上不同批量大小的拟议KinectGaitNet的平均识别性能。最佳性能以粗体显示。
批量大小准确性精密度召回成绩
3299.3399.3699.3599.33
6499.3099.3499.3599.31
12899.1998.9698.9298.93
表
表5。KinectGaitNet在UPCV数据集上使用不同池方法的平均识别性能。最佳性能以粗体显示。
表5。KinectGaitNet在UPCV数据集上使用不同池方法的平均识别性能。最佳性能以粗体显示。
联营准确性精密度召回成绩
空间金字塔80.3780.7377.7676.74
全局最大值85.5883.4883.1581.56
全球平均值96.9196.6696.1796.02
表
表6。KinectGaitNet在KGB数据集上使用不同池方法的平均识别性能。最佳性能以粗体显示。
表6。KinectGaitNet在KGB数据集上使用不同池方法的平均识别性能。最佳性能以粗体显示。
联营准确性精密度召回成绩
空间金字塔94.9595.6895.6495.07
全局最大值98.8598.9298.9398.87
全球平均值99.3399.3699.3599.33
表
表7。所提方法的nAUC和EER以及UPCV数据集的先前工作。最佳性能以粗体显示。
表7。所提方法的nAUC和EER以及UPCV数据集的先前工作。最佳性能以粗体显示。
方法美国加利福尼亚州大学能效比
Sun等人[5]0.78660.2929
Yang等人[26]0.92850.1212
Preis等人[4]0.94750.1010
巴里和加夫里洛娃[23]0.99270.0202
建议的方法0.99390.0202
表
表8。建议方法的nAUC和EER以及之前在KGB数据集上的工作。最佳性能以粗体显示。
表8。建议方法的nAUC和EER以及之前在KGB数据集上的工作。最佳性能以粗体显示。
方法美国加利福尼亚州大学能效比
Sun等人[5]0.90380.1717
Preis等人[4]0.92790.1010
Yang等人[26]0.96960.0505
巴里和加夫里洛娃[23]0.99460.0101
建议的方法0.99490.0101
表
表9。KinectGaitNet的参数计数。
表9。KinectGaitNet的参数计数。
的类型
参数		UPCV公司
数据集		克格勃
数据集
可训练参数469438478148
不可训练参数24642464
总计471902480612
表
表10。该方法与先前对UPCV数据集的研究进行了性能比较。最佳性能以粗体显示。
表10。该方法与先前对UPCV数据集的研究进行了性能比较。最佳性能以粗体显示。
方法准确性精密度召回成绩
Ball等人[33]5753.1957.8751.32
Preis等人[4]7874.2773.4170.43
Sun等人[5]82.6780.5080.1979.67
Yang等人[26]86.6785.4883.7683.08
[25]+（DLNN+tanh+Adam[23])93.3391.1590.7089.73
巴里和加夫里洛娃[23]95.3094.4094.0293.27
KinectGaitNet+ReLU+Adam96.9196.6696.1796.02
表
表11。该方法与之前对KGB数据集的研究进行了性能比较。最佳性能以粗体显示。
表11。该方法与之前对KGB数据集的研究进行了性能比较。最佳性能以粗体显示。
方法准确性精密度召回成绩
Ball等人[33]37.5537.8438.1134.25
Preis等人[4]75.4677.7075.3473.71
Sun等人[5]79.7680.1279.3275.74
Yang等人[26]94.8894.6795.0293.92
[25]+（DLNN+tanh+Adam[23])95.6295.9295.9495.14
巴里和加夫里洛娃[23]98.089898.2697.81
KinectGaitNet+ReLU+Adam99.3399.3699.3599.33
出版商备注：MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

巴里，A.S.M.H。；加夫里洛娃，M.L。KinectGaitNet：使用深度卷积神经网络进行基于Kinect的步态识别。传感器 2022,22, 2631.https://doi.org/10.3390/s22072631

AMA风格

巴里ASMH，加夫里洛娃ML。KinectGaitNet：使用深度卷积神经网络进行基于Kinect的步态识别。传感器. 2022; 22(7):2631.https://doi.org/10.3390/s22072631

芝加哥/图拉宾风格

Bari、A.S.M.Hossain和Marina L.Gavrilova。2022.“KinectGaitNet:使用深度卷积神经网络进行基于Kinect的步态识别”传感器22，第7期：2631。https://doi.org/10.3390/s22072631

请注意，从2016年第一期开始，该杂志使用文章编号而不是页码。查看更多详细信息在这里.

文章指标

返回页首顶部