杂志的下一篇文章
随机干扰下交互式蚊子模型的动力学行为
下一篇特刊文章
基于Deep Kuhn–Munkres算法的优化双测反导兵力部署
期刊上的上一篇文章
基于因果推理和多专家FTOPJUDGE机制的决策预测方法研究
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
澳大利亚 澳大利亚 澳大利亚
行距:
列宽:
背景:
第条

基于混合深度学习网络的智能手机传感器步态数据的用户认证

1
北京工商大学电子商务与物流学院,北京100048
2
北京工商大学农产品质量溯源国家工程实验室,北京100048
北京航空航天大学计算机科学与工程学院,北京100191
*
信件应寄给的作者。
数学 2022,10(13), 2283;https://doi.org/10.3390/math10132283
收到的提交文件:2022年5月28日/修订日期:2022年6月22日/接受日期:2022年6月27日/发布日期:2022年6月29日

摘要

:
基于智能手机惯性传感器的步态数据的用户认证和验证由于其紧凑的尺寸、便携性和可负担性而逐渐受到越来越多的关注。然而,现有的方法通常要求用户以正常的步行速度在特定的道路上行走,以提高识别精度。为了在不受约束的条件下识别用户在何处以及如何行走的步态,我们提出了一种混合深度学习网络(HDLN),该网络结合了长短期记忆(LSTM)网络和卷积神经网络(CNN)的优点,从复杂的智能手机惯性数据中可靠地提取鉴别特征。HDLN的收敛层通过空间金字塔池和注意力机制进行了优化。前者确保从更多维度提取步态特征,而后者确保只处理重要的步态信息而忽略不重要的数据。此外,我们还开发了一个能够实现实时步态识别的APP。实验结果表明,HDLN的性能比CNN、LSTM、DeepConvLSTM和CNN+LSTM分别提高了1.9%、2.8%、2.0%和1.3%。实验结果表明,该模型具有较高的可扩展性和较强的适用性。
MSC公司:
68T07型

1.简介

人类步态是人类行走或运动的一种方式,由具有重复相同模式的周期性信号组成[1,2]. 每个人都有独特的步态,这使其成为一种适合身份识别的生物特征。与其他生物特征不同,步态可以从远距离获得而不被注意。因此,近十年来,步态识别逐渐引起人们的重视[,4,5,6].
根据不同的行走地形和行走模式,步态识别方法可分为三大类:基于计算机视觉的步态识别[7,8],基于地板传感器的步态识别[9]和基于惯性传感器的步态识别[10]. 基于计算机视觉的步态识别是一种先进的技术,它通过使用摄像机记录和分析受试者的步态,因为它具有多种不同的应用。然而,仍然存在一些局限性。首先,光线和视觉距离影响生物特征步态识别的准确性。其次,在基于计算机视觉的步态识别中,部署数据采集设备是非常耗时和费钱的。更重要的是,相机平面和用户矢状平面之间形成的视角是一个极其限制因素,限制了其广泛应用[11]. 基于地板传感器的步态识别通常将传感器直接集成到地板上或安装在垫子上,在门禁和智能家居中表现良好。然而,在一个持续可靠的系统中,它的性能并不十分令人满意,因为它对位置有很高的要求。随着微电子机械系统(MEMS)技术的出现,惯性传感器的应用日益成熟[12]. 此外,智能手机集成了许多先进的惯性传感器,包括加速计和陀螺仪,由于其体积小、便携性和低功耗,如今被广泛使用[13,14,15]. 因此,基于智能手机惯性传感器的步态识别(其中数据由行走身体的运动生成)逐渐引起了人们对人体识别和验证的重视[16,17,18,19,20,21]. 一个应用是通过分析智能手机传感器收集的步态信息来识别智能手机的主人。此外,从智能手机收集的复杂数据中提取有区别的特征成为一个重要问题。深度学习的最新进展促使研究人员将其应用于步态识别。为了实现准确的身份认证,现有方法通常要求受试者必须沿着指定道路和/或以正常速度行走,这严重限制了其应用范围。为了在对用户行走的位置和方式有宽松约束的情况下进行身份识别,我们提出了一种更健壮的步态识别混合深度学习模型(源代码见https://github.com/xfyy/Gait机器人识别.git(2022年4月15日访问)。
本文的主要贡献如下:
  • 首先,我们提出了一种混合深度学习模型(HDLN),该模型结合LSTM网络和CNN来识别步态以进行身份验证。信号被送入混合网络以生成特征向量。为了提高决策过程中重要特征在多维度中的比例,我们基于注意机制和空间金字塔池优化了HDLN的收敛层。该算法优化了HDLN的结构,从而提高了特征学习性能。
  • 其次,我们开发了一个APP,在不受限制的条件下收集用户在哪里以及如何行走的数据,摆脱了对路况和行走速度的限制。
  • 最后,针对数据分割中产生的步态周期问题,提出了一种新的数据分割算法。使用滑动窗口算法对数据进行分割,并使用改进的相关性算法估计分割步态数据中的相似性,以丢弃异常步态周期。
论文的其余部分组织如下。第2节介绍了相关工作。数据预处理在第3节.第4节详细介绍了该方法。第5节给出了实验结果,并讨论了用户识别系统的几种优化方法。结论如下第6节.

2.相关工作

基于步态分析的生物特征识别已经引起了许多研究人员的关注,推动了对该课题的大量研究。在本节中,我们回顾了与我们的研究相关的最新工作,主要分为两个方面,如下所示。

2.1. 步态识别的模式识别

在基于惯性的步态识别的早期研究中,Ailisto等人[22]首次提出使用惯性传感器进行步态识别。用户腰部装有一个小型加速度计,用于收集信号。他们使用基于模板匹配的解决方案,通过计算提取的循环和存储的模板之间的互相关,获得6.4%的EER。中的研究[23]实现了第一个基于智能手机的步态识别方案。他们使用佩戴在臀部的谷歌G1获取加速度数据,并分别获得5%和9%的直方图相似性和周期长度方法的EER。这两项研究在步态识别的早期发展中发挥了重要作用。
除上述研究外,还提出了许多其他的步态识别方法。Rong等人[24]选择了统计建模解决方案,而不是以前的模板匹配选项。他们旨在提供一种解决方案,避免了解传感器位置,而传感器位置在Android手机上实时运行。在他们的论文中,使用512个具有50%重叠的样本的滑动窗口来分割步态周期。然后训练一个GMM–UBM(高斯混合模型-通用背景模型)来验证用户的身份。最后,他们获得了14%的EER,这为步态识别的发展提供了进一步的促进。此外,上述研究的总结见表1.

2.2. 步态识别的深度学习

随着深度学习的快速发展,CNN和递归神经网络(RNN)逐渐取代了以往的步态识别特征学习方法。CNN用于处理阵列信号,如图像,并已被证明是图像识别中一种成功的特征提取器。RNN用于处理时间序列的输入信号。加速计和陀螺仪信号通常可以处理成二维时间序列[25]. 因此,CNN可以通过卷积特征映射来表示惯性数据,而RNN可以通过将步态数据处理为时间序列来利用其优势。
首次尝试将深度学习用于特征提取是Gadaleta和Rossi提出的方法[18]. 他们从智能手机上获得了运动信号,包括加速度计和陀螺仪。在他们的研究中,通过将步态矩阵视为图像,首次提出使用CNN作为特征提取器,以避免手动选择统计特征的主观性。最后,当使用一类支持向量机(OSVM)作为身份验证方法时,他们获得的误分类率小于0.15%。此外,他们的综合实验证明了神经网络在步态识别方面的出色特征学习性能。然而,细胞神经网络往往忽略了人类活动的时间信息。因此,许多CNN变体被用于解决这些问题。此外,RNN作为处理时间序列数据的有利工具,逐渐被引入到基于惯性传感器的步态识别中。
在[26],使用RNN在大阪大学数据库(OUDB)中生成特征向量以进行步态识别。研究人员探索了不同LSTM参数对步态识别的影响。然后,选择合适的参数进行分类,并与之前在同一数据库上测试的其他算法进行比较,最终发现RNN可以有效地提取步态特征。Bari等人[27]提出了一种用于基于Kinect的步态识别的CNN KinectGaitNet,其中转换步态周期中每个身体关节的三维坐标,以创建唯一的输入表示。它优于基于运动学的步态识别的所有最新方法。Huang等人[28]提出了一种基于轻量级注意的CNN模型,增强了提取的步态特征的清晰度,降低了网络参数。此外,他们还将在智能手机上进一步实现步态识别模型。
在最近的论文中,许多研究人员开始采用混合方法进行步态识别研究。Zou等人[19]提出了一种结合LSTM和CNN的特征学习方法,并报告了更高的身份识别和认证准确率。中的研究[29]提出了一种步态分割算法,将应变仪采集的载荷信息与角速度数据相结合,可靠、准确地分割步态事件。实验结果验证了该算法的性能。与本研究不同的是,我们的方法在分割粒度方面没有那么严格,因为我们专注于根据不同人的不同步态数据进行身份识别。
现有研究证明了深度学习在步态识别中的有效性;然而,仍然存在一些不足。首先,在数据采集过程中,考虑了许多步态采集因素。然而,大多数研究人员关注的是在有限的道路条件下以特定的步行速度收集的数据,或者将智能手机放置在固定位置。在无约束环境下,无论是自由计时还是无约束速度下,步态的识别仍然具有挑战性。其次,在特征表示方面,以前的研究在决策阶段使用相同的权重提取特征。了解如何提取更有效的步态特征以进行步态识别仍然是未知的。将深度学习应用于步态识别的一些研究列于表2.
针对以往步态识别研究的不足,提出了一种不受地点、时间和行走速度限制的数据采集方法。采用了一种具有改进的收敛层的混合网络来同时用于特征表示和分类,使得方法更加实用和准确。

3.数据预处理

数据预处理包括数据重采样、去噪和步态周期提取。这些预处理方法减少了数据采集中产生的误差以及所需的计算量。

3.1. 步态数据采集和预处理

我们使用Android Studio开发了一个Android应用程序,然后将其安装到不同品牌的智能手机上,如华为Mate 9、维梧Y17和三星S6。
数据采集包括两个部分,第一部分是数据采集应用程序的开发。在应用程序开发期间,我们使用了三个Android组件:Activity、Service和Broadcast Receiver[30]. 活动表示用户界面,用于显示来自加速计的数据并与服务组件通信。服务确保在后台持续进行数据收集。广播接收机是系统与用户之间的通信桥梁,负责将采集到的用户步态数据及时传输到用户界面。采集软件的后台交互如所示图1.
第二部分是使用我们开发的应用程序,在无限道路、时间或速度的条件下收集步态数据。数据是在日常生活中收集的,比如在饭后散步时。面积为10×25平方米的大厅、操场等都是可选的实验场地。采样频率为50Hz,每个志愿者的采样时间为10min,每个志愿者采样10次。收集了40名受试者的加速度计和陀螺仪步态数据,其中包括27名男性和13名女性,年龄为14至56岁。所有参与者都没有任何步态异常。安卓智能手机被放在参与者裤子的右前口袋里,没有方向限制。参与者没有经过任何特殊训练,也没有按照一定的顺序按照自己的方式行走,但所有人都走同一条路,因为当参与者走不同的路时,步态会发生很大变化。我们以.txt格式导出数据。.txt文件夹共包含8列,包括时间、x、y和z轴方向的加速度、x、y和z轴的陀螺仪以及用户名。数据采集的软件界面如所示图2此外,加速度计记录设备沿手机坐标系三轴的运动,方向传感器用于检测手机的方向,陀螺仪测量沿手机坐标系统三轴的旋转。行走前,准备时间设置为20秒,行走时间设置为10分钟,以获得足够的数据。

3.2. 噪声和定向消除的影响

由于Android SDK的限制[31],无法以固定的采样率记录数据,这会导致连续记录之间的时间间隔不同。为了解决这个问题,我们首先以100 Hz的频率重新采样数据。然后使用8 Hz的低通有限脉冲响应FIR(最终脉冲响应)滤波器对重采样数据进行去噪,以减少在较高频率下可能出现的运动伪影。
通过方向无关变换算法解决了器件方向不稳定性问题[32]. 该算法的基本原理是获得一个具有三个正交坐标轴的新参考系 (f) 1 , (f) 2 (f) . (f) 1 表示向上方向(与主体平行)。 (f) 2 指向前方(与运动方向一致)和 (f) 与…正交 (f) 1 (f) 2 .
假设 n个 k 是当前行走循环中的样本数k(k= 1, 2, 3, ……), A类 = [ x个 , , z(z) ] T型 尺寸为 × n个 k 描述加速度矩阵,同时 G公司 = [ x个 , , z(z) ] 尺寸与相同A类表示陀螺仪矩阵。 x个 , ,以及 z(z) 用于表示沿x个,,以及z(z)轴,其中 x个 = = z(z) = n个 k 与此同时, x个 , ,以及 z(z) 指示同一周期中的陀螺仪样本k、,哪里 x个 = = z(z) = n个 k .
具体步骤如下。首先,我们选择重心作为起点[33]. 因此,当前步行周期中的平均重力方向是新参考系的第一个轴。重力的平均方向 ρ 在期间内k计算公式(1)。
ρ = ( x个 ¯ , ¯ , z(z) ¯ )
第一个坐标轴 (f) 1 可通过方程式(2)计算。
(f) 1 = ρ ρ
矩阵的投影A类G公司在轴上 (f) 1 由方程式(3)得出。
(f) 1 = A类 (f) 1 , (f) 1 = G公司 (f) 1
其次,如方程(4)所示,我们得到 A类 (f) = [ x个 (f) , (f) , z(z) (f) ] T型 ,即水平加速度。然后我们确定 (f) 2 ,坐标轴可由式(5)求得,式中 v(v) 是最大方差的方向 A类 (f) 并通过主成分分析(PCA)进行计算。
A类 (f) = A类 (f) 2 (f) 2 T型
(f) 2 = v(v) v(v)
然后将来自加速计和陀螺仪的数据投影到 (f) 2 根据 (f) 2 = A类 (f) 2 (f) 2 = G公司 (f) 2 最后, (f) 通过等式(6)中所示的交叉乘积获得,因为这三个坐标轴是正交的。
(f) = (f) 1 × (f) 2
沿 (f) 轴,新的加速度计和陀螺仪数据是 (f) = A类 (f) (f) = G公司 (f) .
通过数据预处理,消除了设备方位对步态信号的影响,所有步态信号都在一个固定的坐标系中表示。图3说明了方向消除前后的加速度。显然,通过使用方向消除,不同位置的传感器信号的特征更加相似。

3.3. 步态周期分割

在接下来的步骤中,我们将连续数据划分为单独的段,这是指用同一只脚连续两次接触地面。在本文中,我们使用滑动窗口[34]由于这不会破坏步态模式的形态,因此具有固定长度而不重叠的分段步态周期。此外,通过计算数据段之间的相似度来丢弃异常数据段。
窗口分割方法可以表示为:假设样本矩阵为S公司,窗口大小为,窗口的步长为,窗口分割算法如等式(7)和(8)所示。
1 = 1 ( t吨 ) 2 ( t吨 ) ( t吨 ) 1 ( t吨 + 1 ) 2 ( t吨 + 1 ) ( t吨 + 1 ) 1 ( t吨 + ) 2 ( t吨 + ) ( t吨 + )
2 = 1 ( t吨 + t吨 e(电子) 第页 ) 2 ( t吨 + t吨 e(电子) 第页 ) ( t吨 + t吨 e(电子) 第页 ) 1 ( t吨 + t吨 e(电子) 第页 + 1 ) 2 ( t吨 + t吨 e(电子) 第页 + 1 ) ( t吨 + t吨 e(电子) 第页 + 1 ) 1 ( t吨 + t吨 e(电子) 第页 + ) 2 ( t吨 + t吨 e(电子) 第页 + ) ( t吨 + t吨 e(电子) 第页 + )
哪里 1 2 用大小表示两个相邻的数据窗口使用窗口分割方法从原始序列中提取。一般来说序列周期越多,理论上分类越好。
如等式(9)所示,相似性计算用于丢弃异常步态周期。在相似性计算过程中,我们将相同类型的数据集的第一段作为相似性计算的标准。
V(V) ( ) = ( Z轴 Z轴 ¯ 1 N个 ) T型 × ( C类 C类 ¯ 1 N个 ) T型 Z轴 Z轴 N个 ¯ C类 C类 N个 ¯
其中向量 Z轴 C类 大小相同N个. C类 是比较模板 Z轴 是步态部分需要进行比较。 Z轴 ¯ C类 ¯ 分别表示 Z轴 C类 .矢量 1 N个 = ( 1 , 1 , , 1 ) T型 具有 1 N个 = N个 . 是L2-norm运算符。 V(V) ( ) 不少于0.5保存为步态周期。
划分步态周期后,可以表示为 X(X) = ( (f) 1 , (f) 2 , (f) , (f) 1 , (f) 2 , (f) ) 然后,分割出的步态周期可以作为HDLN的输入。

4.方法

所提出的HDLN步态识别方法的框架如所示图4它由两个LSTM层L1和L2组成,LSTM单元数为64。有三个一维卷积层:C1、C2和C3,两个池层:P1和P2,一个空间金字塔池层:SSP,一个注意层:A1和一个softmax层。将L2层和SSP层的输出合并为CNN和LSTM提取的特征。在进入softmax层之前,注意层用于特征组合。
HDLN的第一部分是LSTM网络,这是一种特殊的RNN,旨在解决长期依赖问题。与基本RNN相比,LSTM具有更强的存储容量,并且在更广泛的序列信号数据中表现更好。
对于带有的LSTM网络L(左)隐藏层,状态 小时 t吨 将按以下方式为每个层生成t吨步态序列 x个 = ( x个 1 , x个 2 , , x个 T型 ) :
小时 t吨 = σ ( w个 x个 小时 x个 t吨 + 小时 t吨 1 w个 小时 小时 t吨 + 小时 t吨 1 w个 小时 小时 + b条 小时 )
哪里 小时 t吨 表示层的状态时间t吨,以及 x个 t吨 在时输入t吨.输入的权重矩阵 x个 t吨 -第个隐藏层表示为 w个 x个 小时 ,以及 w个 小时 小时 t吨 是状态在时间上的权重矩阵t吨-1至当时的状态t吨在同一层. w个 小时 小时 是层状态的权重矩阵-1至层状态同时t吨,以及 b条 小时 是层的偏差σ(·)是激活函数。
LSTM的核心是单元,三个门(忘记门、输入门和输出门)控制单元的状态。与RNN类似,LSTM网络的状态可以表示为 小时 t吨 .输入步态指信息添加到单元状态,并忘记门(f)决定需要丢弃的信息单元状态。输出门o个控制可以输出的信息。输入门,遗忘门(f),状态向量c(c),输出门o个 小时 t吨 可以根据方程(11)-(15)分别更新:
t吨 = σ ( w个 x个 x个 t吨 + w个 小时 t吨 小时 t吨 1 + w个 小时 小时 t吨 1 + w个 c(c) c(c) t吨 1 + b条 )
(f) t吨 = σ (f) ( w个 x个 (f) x个 t吨 + w个 小时 (f) t吨 小时 t吨 1 + w个 小时 (f) 小时 t吨 1 + w个 c(c) (f) c(c) t吨 1 + b条 (f) )
c(c) t吨 = (f) t吨 + c(c) t吨 1 σ ( w个 x个 c(c) x个 t吨 + w个 小时 c(c) t吨 小时 t吨 1 + w个 小时 c(c) 小时 t吨 1 + b条 c(c) )
o个 t吨 = σ o个 ( w个 x个 o个 x个 t吨 + w个 小时 o个 t吨 小时 t吨 1 + w个 小时 o个 小时 t吨 1 + w个 c(c) o个 c(c) t吨 1 + b条 o个 )
小时 t吨 = o个 t吨 σ 小时 ( c(c) t吨 )
哪里w个,σ, t吨 , (f) t吨 , c(c) t吨 ,以及 o个 t吨 是层的参数. w个 x个 是输入的权重矩阵 x个 t吨 到输入门。 σ 是输入门的激活功能,以及 b条 是输入门的偏置。 w个 x个 ,以及W公司,b条,以及σ可以据此推断。如果LSTM网络由L(左)隐藏层,每个层包含N个隐藏节点,用于每个输入 x个 = ( x个 1 , x个 2 , , x个 T型 ) ,输出特征可通过方程式(16)获得。
(f) o个 u个 t吨 t吨 = 小时 T型 L(左) = ( (f) 1 , (f) 2 , , (f) N个 )
LSTM的第二部分是CNN,它由卷积层、非线性层和池层组成。卷积层将滑动核应用于输入并提取特征。池层减少了特征点,并更好地保留了特征点的基本属性。非线性层在特征上应用一个激活函数,以便通过网络对非线性函数进行建模。与完全连接的前馈神经网络相比,CNN具有权重共享和计算复杂度较小的优点[35]. 同时,CNN已被证明是图像领域中一个成功的特征抽取器。

4.1. 汇聚层

事实上,并不是所有提取的步态特征都能用于步态识别,因此我们应用注意机制来提取重要的步态信息,而忽略不重要的信息。此外,为了从更多维度提取特征,我们添加了空间金字塔池[36]在注意力层之前。最后,将这些信息的向量组合为输出,以聚焦于关键特征点。通过空间金字塔池和注意层,提取出更多完整的特征点,用于识别操作。
假设 (f) = ( (f) 1 , (f) 2 , , (f) D类 ) 表示CNN提取的特征地图,以及 (f) 1 是特征向量之一,我们首先将特征向量放入空间金字塔池中,空间金字塔池的相应输出由方程(18)计算得出:
(f) o个 u个 t吨 c(c) n个 n个 = k = 1 , = 1 n个 ( C类 k × 1 , ) = [ C类 1 × 1 , , C类 2 × 1 , , C类 4 × 1 , ]
哪里k是空间金字塔池层的核心是步骤数。U(*)是特征采样的聚合。 (f) o个 u个 t吨 c(c) n个 n个 是空间金字塔池的输出值。之后 (f) o个 u个 t吨 c(c) n个 n个 获得,我们合并 (f) o个 u个 t吨 c(c) n个 n个 (f) o个 u个 t吨 t吨 作为最终特征向量 (f) o个 u个 t吨 然后利用注意机制提取重要的步态信息。在使用注意机制时,每个特征的隐藏变量需要按等式(18)计算。
β = V(V) T型 坦纳 ( w个 (f) o个 u个 t吨 ( ) + b条 )
哪里 β 是隐藏变量,并且 w个 b条 是注意力层的权重和偏差。 V(V) T型 是参数矩阵。在获得隐藏变量后,使用方程(19)对隐藏变量进行指数变换,以计算注意力值 α 每个功能的 (f) o个 u个 t吨 。值越大 α 也就是说,注意力分配得越多,特征向量在步态分类中的作用就越重要。
α = 经验 ( β ) = 1 n个 经验 ( β )
最后,注意力模型的输出向量计算为方程式(20):
ε = = 1 n个 α (f)

4.2. Softmax层

然后将计算出的特征图传递给一个完全连接的层,然后传递给softmax函数,最终输出是所有类别的概率分布。Softmax函数如式(21)所示:
( o个 ) = e(电子) o个 = 1 e(电子) o个
哪里 o个 是A1的特征之一,并且 ( o个 ) 是特定用户输入的softmax值。此外,利用交叉熵作为损失函数来衡量实际值与预测值之间的偏差,并通过迭代减少损失。

5.实验结果与讨论

5.1. 实验配置

实验环境设置如下:Intel Core i5-8250 U CPU@1.6 GHZ,8 GB内存,Windows 10操作系统。该示例是在PyCharm中计算的,使用了TensorFlow 2.0。中提到的40名志愿者第3.1节参加了实验。在步态数据采集和预处理部分给出了详细的步态数据收集。我们重复了十次实验,并报告了平均结果,以避免意外因素。

5.2. 实验结果

为了评估不同算法的识别准确度,我们在方程式(22)中定义了准确度。
c(c) c(c) u个 第页 c(c) = t吨 小时 e(电子)   n个 u个 b条 e(电子) 第页 属于 c(c) o个 第页 第页 e(电子) c(c) t吨 c(c) (f) e(电子) d日 t吨 c(c) c(c) e(电子) t吨 小时 e(电子) n个 u个 b条 e(电子) 第页 属于 t吨 o个 t吨 t吨 e(电子) t吨 n个 t吨 c(c) c(c) e(电子)

5.2.1. 不同模型与我们数据集的准确性比较

为了显示不同模型的用户识别准确性,我们使用我们的数据集将HDLN与几种高级网络进行了比较,结果如下所示表370%的志愿者用于培训,其余志愿者用于测试和验证。同时,通过改变训练和测试样本进行了一些实验。很明显,我们提出的HDLN获得了最好的性能。特别是,它比CNN、LSTM、CNN+LSTM具有更高的准确性[20]和DeepConvLSTM[21]分别下降1.9%、2.8%、1.3%和2.0%。
此外,我们评估了所有这些算法的运行时开销,如表3可以看出,对于每种算法,这40个参与者的平均识别时间分别为3.07 s、3.12 s、3.09 s、2.98 s和2.92 s,这表明我们的方法是有效的。

5.2.2. 模型在不同数据集上的鲁棒性验证

为了验证模型的稳健性,我们在数据集IDNet上进行了实验[18]和whuGAIT[19]. 对于whuGAIT,我们使用在真实场景中收集的数据集#1和数据集#2来评估我们的模型。
不同数据集上HDLN的识别精度如所示表4可以看出,IDNet数据集中的准确率甚至可以达到99.65%。这是因为IDNet是从标准行走方式中收集的,这使得分类不那么困难。对于whuGAIT,无论是数据集#1还是数据集#2,其准确性都高于原始方法[19]. 我们还可以得出结论,HDLN不仅适用于我们自己的数据集,还适用于IDNet和whuGAIT数据集。此外,实验结果表明,我们的模型在实际应用中更为实用。

5.3. 讨论

我们进行了进一步的实验来探索影响我们方法的因素。下面分别讨论了三个主要因素,即多传感器融合、方向变换和混合网络优化。

5.3.1. 加速度计与陀螺仪的融合

图5显示了从三名随机选择的志愿者提取的陀螺仪信号。上部、中部和底部信号分别来自1号、2号和3号志愿者。每个图中的蓝色、黄色和绿色线条表示陀螺仪数据的组成部分x个,z(z)轴。显然,这三个信号的曲线彼此之间存在显著差异。
首先,就振幅而言,1号、2号和3号志愿者的最大振幅范围分别为−2.0至2.0、−5.0至5.0和−1.0至1.0。其次,这三位志愿者的陀螺仪曲线不同,波峰和波谷位于不同的位置。同时,也观察到其他志愿者的差异。这表明陀螺仪数据也可以用于区分人与人之间的差异。
为了测试加速度计和陀螺仪在步态识别中的数据融合,我们比较了单独使用加速度计或陀螺仪与两者结合使用的准确性,结果如所示图6单独使用加速度计数据和陀螺仪数据的准确度分别为94.78%和93.10%,而融合的准确度为95.79%。显然,与单独使用陀螺仪或加速度计相比,陀螺仪和加速度计数据的融合提供了进一步的改进。

5.3.2. 定向转换的效果

收件人表5显示了使用或不使用方向变换算法时的精度,作为编号.原件表示没有算法,以及转化采用方向变换算法。可以看出,有方向变换的精度总是高于没有方向变换的精确度。一开始,随着编号增加。什么时候?编号达到40时,精度逐渐稳定。编号达到80。综上所述,方位变换算法在一定程度上提高了步态识别的准确性。
为了比较使用或不使用方向变换算法的准确性,我们使用我们的数据在用户识别系统上进行了实验。

5.3.3. 混合网络优化

在本节中,我们提出了一些混合网络优化,量化了分类性能。
首先,我们首先讨论超参数对HDLN的影响。值得注意的是,采用随机网格超参数选择来寻找性能最佳的混合参数。
在CNN中,卷积核的大小直接影响模型的性能。在本研究中,我们探索了HDLN在卷积层C1、C2和C3中使用不同滤波器尺寸时的精确度。图7说明了在C1、C2和C3的不同内核大小下HDLN的准确性。可以得出结论,HDLN在核大小为8的C1、核大小为9的C2和核大小为5的C3条件下达到了最高的精度。
对于LSTM,我们选择的参数列于表6。我们采用随机网格超参数选择,然后采用手动调整方法来确定最终超参数,结果如所示图8很明显,当LSTM单元的数量为16时,精度最低,但是,随着LSTM单元数量的增加,精度并不总是增加。LSTM层的最佳数量是两个,因此我们选择了两个LSTM层,每个层有64个单元。
如何结合CNN和LSTM:通过比较五种不同模型组合的混合网络,探索CNN和LSTM的最佳组合。不同的组合描述如下。
1.美国有线电视新闻网:它是从零开始训练的。
2.LSTM:它也是从零开始训练的。
3.(CNN+LSTM)_hor:CNN和LSTM分别从头开始训练。然后将CNN和LSTM的输出水平连接。
4.(CNN+LSTM)_ver:CNN和LSTM分别从头开始训练。然后将CNN和LSTM的输出垂直连接。
5.fix_CNN+LSTM:CNN由预训练的权重参数重构,而LSTM是从头开始训练的,它们的组合是垂直的。
6.CNN+fix_LSTM:LSTM由预训练的权重参数重建。CNN是从头开始训练的,他们的组合是垂直的。
不同组合的性能如所示图9结果表明,CNN的准确率比LSTM高约1.1%。CNN+LSTM的表现不如CNN,原因之一是CNN+LS TM使混合网络过于复杂,无法进行全面训练。换句话说,在训练过程中,从头开始训练的混合网络可能会出现过拟合。此外,我们可以看到,当一个预先训练的网络与另一个从头开始训练的网络相结合时,其准确度高于CNN或LSTM单独的准确度。因此,使用预训练网络将有助于提高性能。该方法将一个网络的权重参数设置为固定值,并对另一个网络进行训练,降低了训练复杂度,同时利用了CNN和LSTM。此外,可以看出,CNN+fix_LSTM网络达到了最佳性能。因此,我们选择CNN+fix_LSTM作为构建模型的最终结构。
学习率直接影响模型找到最优解的能力。如果将学习率设置为非常低,则模型参数的更新将非常缓慢,需要很长的训练时间。相反,如果学习率过大,则会导致损失函数振荡,无法收敛,分类能力差。表7表明在本实验中,当学习率为0.001时,准确率最高。

6.结论和未来工作

本文通过引入混合学习模型(HDLN),提出了一种智能手机步态识别系统的新方法。我们创建了一个Android应用程序来收集步态信号,没有场景和时间限制。与以往的特征学习方法相比,HDLN利用了CNN和LSTM的优点,改进了覆盖层。从实验结果中,我们可以得出以下结论:(1)同时使用加速度计和陀螺仪的方法可以获得比单独使用加速度计或陀螺仪更好的性能。(2) 方向变换通过减少传感器方向的影响来提高用户步态识别的准确性。此外,步态识别中适当的截止频率可以获得更好的性能。(3) 与其他竞争网络相比,HDLN在用户识别方面取得了性能改进,为步态识别提供了一种有前途的方法。
我们的工作在实际应用中有更多潜在的应用:(1)电话安全。当用户走路时,智能手机会记录下他们的动作。如果陌生人拿起这部手机,手机会验证持手机者的身份。如果验证失败,手机会发出警告。因此,它在指纹识别和人脸识别之上提供了额外的身份验证层。(2) 医疗领域。它还可以与医疗保健系统协同工作,为接入系统增加附加值,帮助区分用户欺骗。(3) 性别识别是一种利用步态特征的新应用。近年来,它在法医学领域越来越流行。例如,基于步态识别的性别识别可以用作视频、产品和应用程序的推荐系统。(4) 步态生物特征攻击及其对策需要进一步研究。在正常情况下,很难欺骗步态识别系统。然而,在某些特殊情况下,例如,在专门设计的跑步机的帮助下,步态生物特征可能很容易被欺骗。错误接受率甚至达到70%左右。因此,有效避免恶意攻击将是步态识别的一项具有挑战性的任务。
当然,我们的工作仍然有局限性。假设加速度计和陀螺仪的时间戳是同步的,应用步态周期分段点对陀螺仪信号进行分割。然而,由于Android系统的时间延迟,这在一些相关用例中不起作用。我们将在未来的时间戳对齐研究中解决这个问题。具体来说,首先获得两种数据时间戳的交集,然后对于时间戳开始较早的传感器,去除具有较早时间戳的部分数据。最后,为以下过程同步两个传感器信号的时间戳。

作者贡献

概念化、Q.C.和F.X。;方法,Q.C。;软件,F.X。;验证、Q.C.和F.X。;调查,H.L。;资源,F.X。;书面原稿编制、Q.C.和H.L。;项目管理,Q.C。;资助收购Q.C.所有作者都已阅读并同意手稿的出版版本。

基金

本研究由国家科技支撑计划(No.2019YFC1606401&No.2016YFD0401205)、国家自然科学基金(No.62076012)资助。

机构审查委员会声明

不适用。

知情同意书

不适用。

数据可用性声明

利益冲突

作者声明没有利益冲突。

工具书类

  1. 阿哈德,M.A.R。;Ngo,T.T。;公元安塔尔。;艾哈迈德,M。;侯赛因,T。;Muramatsu,D。;Makihara,Y。;井上,S。;Yagi,Y.基于穿戴式传感器的步态分析,用于年龄和性别估计。传感器 2020,20, 2424. [谷歌学者] [交叉参考] [公共医学]
  2. 金,M。;何毅。;方,D。;陈,X。;X孟。;Xing,T.iGuard:智能手机的实时防盗系统。IEEE标准。事务处理。暴徒。计算。 2018,17, 2307–2320. [谷歌学者] [交叉参考]
  3. Terrier,P.通过深度学习压力中心轨迹识别步态。申请。科学。 2020,10, 774. [谷歌学者] [交叉参考] [绿色版本]
  4. Prochazka,A。;多斯塔尔,O。;Cejnar,P。;I.H.穆罕默德。;Pavelek,Z。;瓦利什,M。;Vyšata,O.《加速度数据评估和共济失调步态监测的深度学习》。IEEE传输。诺尔。系统。Reh公司。工程师。 2021,29, 360–367. [谷歌学者] [交叉参考]
  5. 郭,C。;刘,Y。;宋,Q。;Liu,S.多步态模式转换的运动学参数研究。申请。科学。 2021,11, 6911. [谷歌学者] [交叉参考]
  6. Limcharoen,P。;Khamsemanan,N。;Nattee,C.基于区域LSTM的2秒钟步行步态识别和重新识别。IEEE接入 2021,9, 112057–112068. [谷歌学者] [交叉参考]
  7. 罗,J。;Tjahjadi,T.使用3D步态语义折叠的基于分层时间记忆的步态识别和理解。传感器 2020,20, 1646. [谷歌学者] [交叉参考] [公共医学] [绿色版本]
  8. 李,C。;Min,X。;孙,S。;Lin,W。;Tang,Z.DeepGait:一种使用联合贝叶斯的视图不变步态识别的学习深度卷积表示。申请。科学。 2017,7, 210. [谷歌学者] [交叉参考]
  9. 米维尔,L。;Audiffren,J.NurseNet:用压电地板监测老年人的活动水平。传感器 2019,19, 3851. [谷歌学者] [交叉参考] [绿色版本]
  10. Ngo,T.T。;Makihara,Y。;Nagahara,H。;Mukaigawa,Y。;Yagi,Y.使用惯性传感器进行类似步态动作识别。模式识别器。 2015,48, 1289–1301. [谷歌学者] [交叉参考]
  11. 波蒂略-波蒂略,J。;Leyva,R。;桑切斯,V。;桑切斯·佩雷斯,G。;Perez-Meana,H。;Olivares-Mercado,J。;托斯卡诺·梅迪纳,K。;Nakano-Miyatake,M.使用联合直接线性判别分析进行横视步态识别。传感器 2017,17, 6. [谷歌学者] [交叉参考] [公共医学] [绿色版本]
  12. Lee,S.H。;Lee,S.通过轮转凹版印刷制造梳状结构加速度传感器。国际精密杂志。工程制造-绿色技术。 2021,9, 409–420. [谷歌学者] [交叉参考]
  13. 米库奇,D。;莫利奥,M。;Napoletano,P.UniMiB SHAR:使用智能手机加速度数据进行人类活动识别的数据集。申请。科学。 2017,7, 1101. [谷歌学者] [交叉参考] [绿色版本]
  14. Tanno,M。;Tanno,H.激波风洞中自由飞行超燃冲压发动机飞行器的气动特性。实验流体 2021,62, 150. [谷歌学者] [交叉参考]
  15. Yan,L。;魏,G。;胡,Z。;休·H。;Ren,L.用于在线步行步态检测的低成本多传感器集成系统。传感器 2021,2021, 6378514. [谷歌学者] [交叉参考]
  16. 丁,X。;王凯。;王,C。;Lan,T。;Liu,L.序列卷积网络用于步态识别中的行为模式提取。神经计算 2021,463, 411–421. [谷歌学者] [交叉参考]
  17. 罗,J。;吴,H。;Lei,L.GCA-Net:用于视频步态识别的步态轮廓自动分割模型。Multimed公司。工具应用程序。 2021,4, 1–13. [谷歌学者] [交叉参考]
  18. Gadaleta,M。;Rossi,M.Idnet:基于智能手机的卷积神经网络步态识别。模式识别 2018,74, 25–37. [谷歌学者] [交叉参考] [绿色版本]
  19. 邹强。;Wang,Y。;王,Q。;Zhao,Y。;Li,Q.在野外使用智能手机进行基于深度学习的步态识别。IEEE传输。Inf.法医安全。 2020,15, 3197–3212. [谷歌学者] [交叉参考] [绿色版本]
  20. 高杰。;顾,P。;任奇。;张杰。;Song,X.基于LSTM-CNN融合网络的异常步态识别算法。IEEE接入 2019,7, 163180–163190. [谷歌学者] [交叉参考]
  21. 阿洛塔比,M。;Mahmood,A.基于专业深度卷积神经网络的改进步态识别。CVIU公司 2017,164, 103–110. [谷歌学者] [交叉参考]
  22. Mäntyjärvi,J。;Lindholm,M。;维尔吉奥奈特,E。;马克拉,S.M。;Ailisto,H.A.使用加速计从步态模式识别便携式设备的用户。2005年3月18日至23日,美国宾夕法尼亚州费城,IEEE声学、语音和信号处理国际会议论文集;第973–976页。[谷歌学者]
  23. Derawi,M.O。;镍,C。;布尔,P。;Busch,C.C.使用生物特征步态识别在手机上进行非侵入性用户身份验证。2010年10月15日至17日在德国达姆施塔特举行的2010年第六届智能信息隐藏和多媒体信号处理国际会议记录;第306–311页。[谷歌学者]
  24. 荣,L。;志国,D。;建中,Z。;Ming,L.使用步态加速度识别个体行走模式。《生物信息学与生物医学工程国际会议论文集》,中国武汉,2007年7月6日至8日;第543–546页。[谷歌学者]
  25. Omid,D。;莫伊塔巴,T。;Raghvendar,C.V.Imu基于卷积神经网络和多传感器融合的步态识别。传感器 2017,17, 2735. [谷歌学者]
  26. 费尔南德斯·洛佩兹,P。;刘希门尼斯,J。;Kiyokawa,K。;Wu,Y。;Sanchez-Reillo,R.智能手机惯性步态用户识别的递归神经网络。传感器 2019,19, 4054. [谷歌学者] [交叉参考] [绿色版本]
  27. 侯赛因·巴里,A.S.M。;Gavrilova,M.L.KinectGaitNet:使用深度卷积神经网络进行基于Kinect的步态识别。传感器 2022,22, 2631. [谷歌学者] [交叉参考] [公共医学]
  28. 黄,H。;周,P。;李毅。;Sun,F.使用可穿戴IMU传感器进行有效步态识别的基于轻量级注意力的CNN模型。传感器 2021,21, 2866. [谷歌学者] [交叉参考] [公共医学]
  29. 吉尔,S。;塞思,N。;方案E.一种用于辅助步态稳健分割的多传感器匹配滤波器方法。传感器 2018,18, 2970. [谷歌学者] [交叉参考] [绿色版本]
  30. 塞迪克,A。;俄勒冈州法拉格拉。;El-Sayed,H.S。;El-Banby,G.M。;El-Samie,F.E。;Khalaf,A。;El-Shafai,W.基于多模式深度学习的面部视频取证检测的高效网络安全框架。诺尔。公司。申请。 2022,34, 1251–1268. [谷歌学者] [交叉参考]
  31. 维兰托,G。;Kurniawan,D。;Maulana,Y。;赫米达,I.D.P。;Oktaviandi,D.高效水产养殖管理系统无线传感器和基于Android的应用程序的设计与实现。EMITTER国际工程技术杂志。 2020,8, 355–371. [谷歌学者] [交叉参考]
  32. 黄,S。;香港。;儿子,G。;Byun,H。从基于EEG的情绪识别的DE特征学习CNN特征。模式分析。申请。 2020,23, 1323–1335. [谷歌学者] [交叉参考]
  33. Oluwalade,B。;Neela,S。;Wawira,J。;阿德朱莫,T。;Purkayastha,S.在智能手机和智能手表传感器数据上使用深度学习模型进行人类活动识别。2021年2月11日至13日在奥地利维也纳举行的第十四届国际卫生信息学会议记录;第1-6页。[谷歌学者]
  34. 优素福股份有限公司。;Alshdadi,A.A。;阿拉斯萨菲,M.O。;阿尔甘迪,R。;Samad,A.通过CNN-LSTM回归机制根据过去的事件预测灾难性温度变化。诺尔。公司。申请。 2021,33, 9775–9790. [谷歌学者] [交叉参考]
  35. 苏甘地,K。;瓦希德,F.F。;Raju,G.人体步态识别的帧聚合统计特征和差异。Multimed公司。工具应用程序。 2021,80, 18345–18364. [谷歌学者]
  36. 俄亥俄州弗朗西斯科。;Daniel,R.Deep卷积和LSTM递归神经网络用于多模态可穿戴活动识别。传感器 2016,16, 11501–11525. [谷歌学者]
图1。采集软件的后台交互过程。
图1。采集软件的后台交互过程。
数学10 02283 g001
图2。用于数据采集的软件接口。
图2。用于数据采集的软件接口。
数学10 02283 g002
图3。定向消除前后加速度的比较。所有数据都是从一个人那里收集的。对于每列中的三个子图,横轴表示时间,纵轴表示加速度在x、y和z方向的投影。第一列和第二列的数据分别在两个不同的位置采集,而最后两列的数据在方向消除后采集。
图3。定向消除前后加速度的比较。所有数据都是从一个人那里收集的。对于每列中的三个子图,横轴表示时间,纵轴表示加速度在x、y和z方向的投影。第一列和第二列的数据分别在两个不同的位置采集,而最后两列的数据在方向消除后采集。
数学10 02283 g003
图4。HDLN的框架。
图4。HDLN的框架。
数学10 02283 g004
图5。对三名随机选择的志愿者的陀螺仪信号进行比较。
图5。比较三名随机选择的志愿者的陀螺仪信号。
数学10 02283 g005
图6。传感器融合与否的精度比较。Gyr表示仅使用陀螺仪,Acc表示仅使用加速计,Acc+Gyr意味着两者的融合。
图6。传感器融合与否的精度比较。Gyr表示仅使用陀螺仪,Acc表示仅使用加速计,Acc+Gyr意味着两者的融合。
数学10 02283 g006
图7。不同内核数下HDLN的精确度。
图7。不同内核数下HDLN的精确度。
数学10 02283 g007
图8。不同LSTM单位和层的精确度。LSTM_units表示LSTM单元的数量,不同颜色的曲线表示不同的层。
图8。不同LSTM单位和层的精确度。LSTM_units表示LSTM单元的数量,不同颜色的曲线表示不同的层。
数学10 02283 g008
图9。不同网络组合的准确性。
图9。不同网络组合的准确性。
数学10 02283 g009
表1。步态识别的模式识别研究综述。
表1。步态识别的模式识别研究综述。
方法方法性能限制
Ailisto等人[22]模板匹配
和互相关计算
6.4%能效比收集的数据
在有限的条件下
Derawi等人[23]直方图相似性和周期长度方法5%和9%EER收集的数据
在有限的条件下
Rong等人[24]GMM-UBM公司14%当量收集的数据
在有限的条件下
表2。步态识别的深度学习研究综述。
表2。步态识别的深度学习研究综述。
方法方法性能限制
加达列塔和罗西[18]美国有线电视新闻网0.15%误分类率仅使用CNN和在有限条件下收集的数据
Fernandez-Lopez等人[26]LSTM公司7.55%能效比仅使用LSTM和收集的数据
在有限的条件下
Zou等人[19]美国有线电视新闻网+LSTM步态识别准确率93.75%使用原始CNN+LSTM,没有任何改进
表3。不同先进网络的用户识别准确性。
表3。不同先进网络的用户识别准确性。
算法准确性运行时开销
美国有线电视新闻网94.03%3.07
LSTM公司93.17%3.12
深度转换LSTM93.91%3.09
美国有线电视新闻网+LSTM94.52%2.98
我们的模型95.79%2.92
表4。HDLN对不同数据集的鲁棒性。
表4。HDLN对不同数据集的鲁棒性。
数据集准确性
IDNet公司99.65%
whuGAIT(数据集#1)94.59%
whuGAIT(数据集#2)97.89%
表5。有无转换的用户识别准确性。
表5。有无转换的用户识别准确性。
编号原件转化
1090.45%91.86%
2092.76%93.88%
3093.54%94.23%
4093.81%94.28%
5094.41%94.62%
6094.41%94.67%
7094.51%94.67%
8094.62%94.72%
表6。LSTM超参数随机网格。
表6。LSTM超参数随机网格。
变量
LSTM层数[1, 3]
完全连接的层数[0, 3]
过滤器数量[21, 28]
特征向量大小[21, 28]
表7。不同学习率的准确性。
表7。不同学习率的准确性。
学习率准确性
0.00193.47%
0.00593.01%
0.0192.67%
0.189.27%
出版商备注:MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

曹琦。;徐,F。;李,H。使用混合深度学习网络通过智能手机传感器的步态数据进行用户认证。数学 2022,10, 2283.https://doi.org/10.3390/math10132283

AMA风格

曹Q、徐F、李H。使用混合深度学习网络通过智能手机传感器的步态数据进行用户认证。数学. 2022; 10(13):2283.https://doi.org/10.3390/math10132283

芝加哥/图拉宾风格

曹、钱、费旭和李惠永。2022.“使用混合深度学习网络通过智能手机传感器的步态数据进行用户认证”数学10,编号13:2283。https://doi.org/10.3390/math10132283

请注意,从2016年第一期开始,该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章指标

返回页首顶部