DeepFoG: An IMU-Based Detection of Freezing of Gait Episodes in Parkinson’s Disease Patients via Deep Learning

Bikias, Thomas; Iakovakis, Dimitrios; Hadjidimitriou, Stelios; Charisis, Vasileios; Hadjileontiadis, Leontios J.

doi:10.3389/frobt.2021.537384

原创研究文章

前面。机器人。AI，2021年5月7日
第二节智能传感器网络和自治
第8卷-2021年| https://doi.org/10.3389/frobt.2021.537384

DeepFoG：基于IMU的帕金森病患者步态冻结事件深度学习检测

托马斯·比基亚斯¹

迪米特里奥斯·伊科瓦基斯¹

斯特利奥斯·哈吉迪米特里奥¹

Vasileios Charisis公司¹

Leontios J.Hadjileontiadis先生^1,2*

¹希腊塞萨洛尼基亚里士多德塞萨洛尼基大学电气与计算机工程系
²阿拉伯联合酋长国阿布扎比哈里发科技大学电气与计算机工程系

步态冻结（FoG）是一种运动障碍，主要出现在帕金森病（PD）晚期。尽管帕金森病患者有意这样做，但它仍会导致步行障碍，导致协调性丧失，从而增加跌倒和受伤的风险，严重影响帕金森病病人的生活质量。压力、情绪刺激和多任务处理与FoG发作的出现有关，而患者的功能和自信心不断恶化。本研究通过分析惯性测量单元（IMU）数据，提出了一种无创检测FoG发作的方法。具体来说，11名PD受试者的加速度计和陀螺仪数据是在连续行走过程中从单个腕带IMU传感器捕获的，通过深度学习进行处理，以基于窗口检测FoG事件。所提出的方法，即DeepFoG，在Leave One Subject Out（LOSO）交叉验证（CV）和10倍CV时尚方案中，针对其在每个数据窗口正确估计是否存在FoG事件的能力进行了评估。实验结果表明，DeepFoG在LOSO CV和10倍CV方案中分别达到83%/88%和86%/90%的灵敏度/特异性，表现令人满意。所提出的DeepFoG的良好性能揭示了基于单臂IMU的实时FoG检测的潜力，该检测可以通过刺激来指导有效干预，例如节奏性听觉刺激（RAS）和手部振动。通过这种方式，DeepFoG可以消除帕金森病患者跌倒的风险，维持他们在日常生活活动中的生活质量。

1引言

帕金森氏病（PD）是一种与多种运动症状相关的渐进性神经系统疾病，影响患者的运动和稳定性。最常见和最令人不安的症状之一是步态僵硬（FoG）(Giladi等人，2001年). FoG的特点是无法穿过狭窄的走廊或采取短而快的步骤。这导致患者在行走时难以开始步态或转弯，尽管患者有这样的意图(Nutt等人，2011年;Heremans等人，2013年). 虽然FoG发作通常出现在PD或其他帕金森综合征的晚期，但在运动症状已经很严重的情况下，FoG发作也可能出现在早期(Hall等人，2015年). 后者是由于缺乏及时的药物治疗。FoG的病理特征表明额叶皮质区、基底神经节和中脑运动区的紊乱是最可能的起源(Nutt等人，2011年). FoG与小脑功能有关(Fasano等人，2017年)经常被描述为认知动力学的紊乱(Pozzi等人，2019年). 此外，FoG的发生依赖于PD患者的情绪状况、焦虑和/或压力水平(Witt等人，2019年). 尽管人们对寻找FoG事件的确切原因和特征的研究兴趣与日俱增，但FoG的生物学和神经学性质尚未完全被破译。重要的是，由于FoG的特征在患者之间可能存在显著差异，因此严重阻碍了对FoG的深入了解。

FoG发作的表现严重降低了PD患者的生活质量（QoL），并影响了他们的心理状态和自尊。具体来说，帕金森病患者被限制执行基本功能，例如开始行走和改变方向。此外，他们经历了情绪变化，逐渐导致严重的心理健康问题。加上情绪波动，与FoG一起生活的更大风险是突然和瞬时的运动障碍，这增加了摔倒和受伤的可能性(Bloem等人，2004年). 对于老年PD患者，尤其是无人看护的患者，这一问题更加严重，因为他们的骨骼更脆弱，因此发生FoG的可能性更高。

FoG事件的对峙是医学界关注的一个必要条件。已经提出了多种解决方案来消除FoG症状。药物治疗，包括使用左旋多巴(Fietzek等人，2013年)或单胺氧化酶B抑制剂，拉沙吉林(科里亚和科扎尔·桑提亚哥，2008年)通常用于处理运动症状的严重程度，尤其是FoG发作。尽管已经提出了几种潜在的药物治疗(Zhang等人，2016年)，药物摄入通常无法缓解症状，而在某些情况下，其效果仅在药物开启期间持续。此外，药物治疗往往会引起副作用(豪泽，2009)这会给患者带来进一步的不便。最后，估计的药物费用相当高，可能成为一个巨大的财政负担。在药物治疗失败或完全无法行走的极端情况下，也引入了脑深部刺激的侵入性解决方案(Huang等人，2018年). 尽管如此，由于直接脑干预会产生危险或致命的副作用，因此很少建议进行神经手术。

其他研究建议通过认知训练改善FoG发作的特征(Walton等人，2018年). 然而，鉴于帕金森病患者在文化、教育和认知特征方面存在差异，应考虑量身定制和个性化的认知训练。有节奏提示的运动和训练表明，当患者的运动与外部刺激同步时，FoG发作可以被逆转(Allen等人，2010年). 节律性听觉刺激（RAS）是大多数PD患者可以接受的解决方案。RAS改善了步态(Dalla Bella等人，2017年)通过将患者的步态与外部声音提示同步，有助于克服行走启动失败的问题。此外，据观察，当PD患者与刺激协调行走时，他们不太可能遇到FoG发作(Thaut等人，1996年;Lim等人，2005年;Hausdorff等人，2007年). 目前，此类解决方案需要医生和医务人员在场。然而，在医疗场所之外应用RAS可以恢复患者的独立性，同时会限制所需的医疗资源。这将是朝着有效促进越来越多的PD患者迈出的重要一步(Dorsey等人，2007年). 总的来说，及时检测FoG事件至关重要，因此，实时RAS过程对消除FoG很有价值就其本身而言及其相关风险。

从这个角度来看，多个研究小组已经使用依赖于患者身体不同部位的传感器放置的方法来研究雾气检测。从本质上讲，根据传感器是否放置在患者的上肢，这些方法可以分为两类。Jovanov等人（2009）;Niazmand等人（2011年）;Bachlin等人（2009年）他们建议使用连接在下半身和中半身的多个设备，利用加速度计和陀螺仪传感器捕捉FoG事件。Mazilu等人（2015a）提出了一种双踝传感器步态辅助系统，利用机器学习从四个快速傅里叶变换（FFT）特征检测FoG事件。总的来说，大多数先前的工作都使用了分配在患者脚踝、臀部或腰部的测量装置(表1).

表1

表1。将拟议的单腕方法FoG检测与利用一个或多个传感器捕捉运动的其他研究进行比较。

与上述工作相反，其他研究(Ziv等人（1999年）;Vercruysse等人（2012年）)据报道，FoG发作与上肢运动之间存在显著相关性。在这方面，已经引入了用于从放置在上肢上的传感器检测FoG发作的各种方法。明确地，科尔等人（2011）利用安装在手臂、小腿和大腿上的加速计传感器以及肌电传感器（EMG），利用动态神经网络计算检测FoG发作的实例。他们的方法达到了83%的灵敏度和97%的特异性。在另一项研究中，Tripoliti等人（2013）将FoG事件与腕部运动联系在一起。尽管准确度令人满意（82%/90%的灵敏度/特异性），但他们的方法需要使用五个额外的传感器（佩戴在脚踝、腰部和胸部），这给用户带来了不便，从而降低了用户接受度。

由于体积、重量、硬件放置困难和/或运动不便，在多个身体部位安装设备相当可疑。FoG和腕部运动之间的独家关联由Mazilu等人（2015b）他引入了机器学习模型，将FoG事件与步行过程中的其他事件（即转弯、停车、避障）区分开来。他们使用了来自加速计和陀螺仪数据的时间和频率特征，并使用了连接在手腕上的传感器。他们的分类管道达到了90%/83%的敏感性/特异性。

因此，利用智能手表传感器的日益增长，本研究研究了单个基于腕部的惯性测量单元（IMU）FoG分类的可行性，即DeepFoG，以促进FoG事件的实时检测。最初的假设是，仅从一只手腕收集的数据应能为有效预测FoG事件提供足够的信息。我们提出了一种非侵入性的以用户为中心的解决方案，可以轻松应用于日常生活。鉴于FoG是一项复杂的活动任务，并且该领域的研究知识仍在探索中，手动特征工程将相当复杂，因此深度学习的应用可能适合于单腕检测(Wang等人，2019年). DeepFoG基于深度学习模型的训练，该模型自动检测FoG事件，并将其与停车和转弯行走区分开来。DeepFoG的生态有效性旨在实现更高的用户接受度，同时提供与现有技术相比的比较检测性能。

2材料和方法

提出了一种深度学习方法，用于检测步态中停止和转弯时的FoG事件。我们提出的框架基于一个手腕的线性和角加速度数据，这些数据用作卷积神经网络（CNN）的输入。CNN使用CuPiD数据集进行训练和评估(Mazilu等人，2012年). 这些数据被输入CNN分类器，以滑动窗口的方式检测FoG事件（1级），包括Walking-with-Turns（2级）和Stops（3级）。首先，计算CNN实现的敏感性和特异性得分，并与传统机器学习分类器的相应得分进行比较。随后，将性能最佳的模型与最先进的方法进行比较。模型的性能在两个方案中进行了评估，即10倍交叉验证（CV）（10-CV）和Leave-One-Subject-Out（LOSO）交叉验证（LOSO-CV）。

2.1数据库描述

CuPiD IMU数据集(巴赫林等人，2009年)包含连接在患者手腕上的惯性传感器的三轴加速计和陀螺仪数据(Mazilu等人，2013年)，采样频率为128 Hz。来自18名患者的测量包括FoG、Stops和Walking with Turns的开始和结束时间戳。

CuPiD IMU数据集中的受试者年龄范围为49至89岁（平均值：68.9岁，标准差：10.2岁），被诊断为帕金森病的受试者年龄为2至18岁（平均值：8.8岁，标准差：4.6岁）。每个患者都进行了180°和360°转弯的步行训练，在有障碍物的宽小径或窄小径上，在受控环境中刺激FoG事件。在会议期间，受试者被要求执行任务，并在拥挤的医院房间里行走。总共，18名患者中有11名（称为S1-S11）的临床医生标记了184次FoG发作。在研究过程中没有出现任何事件的七名受试者的数据不包括在分析中。患者站立并与临床医生讨论或自愿停止的时间段也包括在数据集中，并标记为“停止”。数据集中标记的FoG事件可能发生在0.11秒到98.8秒之间（平均值：9.12秒，标准偏差：15.35秒）。大多数插曲都很短，50.8%的插曲持续时间不到3秒，64.7%的插曲不到5秒。FoG持续时间范围是检测事件的一个重要因素，因为它在定义窗口和滑动步长的间隔中起着重要作用。

从S2获取的加速度计和陀螺仪数据摘录如所示图1在后一种情况下，FoG事件（用灰色区域表示）在35秒附近明显发生，在行走活动期间表现出明显的模式，同时出现在35秒的两种IMU数据中。

图1

图1三轴陀螺仪的示例数据流（A）和加速计（B）IMU录制。灰色区域表示FoG事件。

2.2预处理

从CuPiD数据集中提取每个PD患者的三维（3D）IMU测量数据。特别是，对于每个PD患者，相应的N个-采样加速度计和陀螺仪数据（采样位置 ${（f）}_{秒} = 128$ Hz），即({一_x个: $[一_{x个} [1]$ , $一_{x个} [2]$ ,…, $一_{x个} [N个]$ ]^T型}, {一_年: $[一_{年} [1]$ , $一_{年} [2]$ ,…, $一_{年} [N个]$ ]^T型}, {一_z（z）: $[一_{z（z）} [1]$ , $一_{z（z）} [2]$ …, $一_{z（z）} [N个]$ ]^T型})和({克_x个: $[克_{x个} [1]$ , $克_{x个} [2]$ ,…, $克_{x个} [N个]$ ]^T型}, {克_年: $[克_{年} [1]$ , $克_{年} [2]$ ,…, $克_{年} [N个]$ ]^T型}, {克_z（z）: $[克_{z（z）} [1]$ , $克_{z（z）} [2]$ …, $克_{z（z）} [N个]$ ]^T型})分别构建。数据被处理并格式化为 $N个 \times 6$ 每个PD患者的矩阵，即。， ${S公司}_{j}$ = [一_x个,一_年,一_z（z）,克_x个,克_年,克_z（z）], $j = 1, \dots, 11$ （PD患者）。

此外，三秒钟( ${W公司}_{我}$ =3 s）选择0.25 s重叠的滑动窗口来处理 ${S公司}_{j}$ 数据。窗口的持续时间和重叠被选为FoG事件持续时间和检测腕部运动差异所需的时间分辨率之间的权衡(Mazilu等人，2015年a). 的每个元素 ${S公司}_{j}$ 正在使用所有PD患者的每个向量的最大值进行标准化，并四舍五入到4位十进制数字以实现较小的位存储。

2.3细分和训练集构建

结果 ${S公司}_{j}$ 正在将矩阵重塑为 $K（K） \times {W公司}_{我} \times 6$ ，其中 $K（K） = \frac{N个 - {W公司}_{我}}{{S公司}_{我}} + 1$ 是创建的段数。这些片段用于构建CNN的训练集，标记为“FoG”，无论FoG事件是否存在于窗口内，以及FoG事件是否在该窗口内开始和结束。采用这种方法是为了捕捉短时间的FoG事件( $\leq {W公司}_{我} / 2$ ). 如果FoG事件没有完全集成在窗口中，只有当FoG持续时间为 $\geq {W公司}_{我} / 2$ .图2说明了训练集的构建过程。

图2

图2.滑动窗口和标签程序。黄色区域是带有转弯记录的行走区域；红色区域表示停止事件；灰色的描述了FoG事件。

2.4 CNN的超参数调节和训练

通过搜索最佳超参数集来评估不同的CNN架构。优化的超参数包括网络深度{2,3,4,5}、不同的核大小[3-12]和过滤器数量[10-100]。由此产生的CNN架构，如图3，由处理矩阵的两层一维（1D）卷积组成 ${S公司}_{j}$ 分别使用100和40个过滤器，内核大小为10，然后是输出三个节点（即“FoG”、“Stop”、“Walking-with-turns”）的完全连接层。第一个卷积层之后是最大池层，每三个权重保持最大值，以降低复杂性并避免过拟合。对于第二个池层，使用平均池而不是最大池，并取两个权重的值。在这方面，每个特征检测器只剩下一个重量，进一步防止了过度装配(库克，2017年). 在致密层之前，应用50%的衰减，使模型不能容忍数据的微小异常(Srivastava等人，2014年). 使用ADAM优化器对CNN网络进行优化，以最小化类别交叉熵损失(Kingma和Ba，2014年). 为了减少过拟合，对模型进行了最佳时段值的训练。为了选择epoch的最佳值，计算了每个CNN模型的序列和验证损失。通过提前停止回叫功能监测损失值。当观察到损失值增加时，训练停止，相应的历元值表示最佳选择。

图3

图3提出的CNN架构，其中三轴加速度计和陀螺仪流通过两层1D卷积层进行处理，六个通道输出关于可能结果的预测。

2.5评估方案

为了评估该模型的性能，研究了两种方法。考虑到无论何时对单个窗口进行分类，该模型都会检测到FoG事件，因此FoG类的敏感性和特异性以10-CV和LOSO-CV的方式进行计算，以测试网络根据未发现的数据检测FoG事件的能力。在10-CV的情况下，数据集被洗牌，然后分为10组。一组充当测试数据集，而其他组用于培训。对每组重复该程序10次，并计算平均指标来描述评估方法的结果。所采用的LOSO CV方案遵循与10-CV相同的程序，不同之处在于数据集不是随机分割的，但每组都保存一名患者的数据，相应地，S1–S11的每组为11组。

3结果

图4聚合了两种评估方案（即10-CV和LOSO-CV）的性能评估指标。CNN和传统分类器之间的比较也在下面的表2据报道，LOSO-CV的特异性和敏感性分别为88%和83%，10-CV为90%和86%。患者特异性敏感性/特异性的结果见图4从后者可以看出，一些患者的FoG在加速度计和陀螺仪数据中呈现出不同的趋势；因此，CNN在识别它们方面表现不佳（61%的灵敏度，S8为图4).

图4

图4根据LOSO CV得出每位患者的敏感性和特异性得分，以及基于单窗口检测的LOSO-CV和10-CV得出的平均得分。

表2

表2不同分析方法的灵敏度/特异性对的单线比较。F：由以下特征组成的特征向量Mazilu等人（2015b）.

3.1传统分类器的性能

为了验证深度学习方法在检测窗口是否为FoG时比传统机器学习分类器具有更好的性能这一假设，本研究将建议的CNN在训练/测试中的性能与决策树和极限提升（XGboost）的性能进行了比较分类算法，结合了Mazilu等人（2015b）但来自单腕数据。CNN架构的性能更高(看见敏感性/特异性对表2)因此，它更适合用于单腕检测。

3.2美国有线电视新闻网与最新技术的比较

DeepFoG性能与之前公布的方法（患者手腕上安装和不安装传感器）之间的比较见表1直接比较与上肢使用传感器的方法更相关(科尔等人，2011年;Tripoliti等人，2013年;Mazilu等人，2015年b). 结果表明，DeepFoG与文献中使用多个传感器的相关工作具有可比的分类性能。坎普斯等人的工作很重要。作者首次介绍了一种深度学习方法，用于检测PD患者的FoG发作(Camps等人，2018年). 在他们的方法中，他们使用了腰部IMU收集的数据（21名PD患者）。他们提出的方法的敏感性/特异性达到92.6/88.7%。这项研究为深度学习在精确的基于传感器的FoG发作检测中的应用树立了一个良好的榜样。尽管如此，使用腰部传感器可能会对运动伪影造成限制，给用户带来不便。需要强调的是，由于所需输入的性质不同，我们提出的方法与现有技术的比较不能是直接和绝对的。具体来说，之前的工作要么依赖于多个关节传感器，要么依赖于单个腰部镀膜传感器。

4讨论

数字健康是一个新兴领域，可以通过实现检测和监测疾病的可访问工具来帮助PD管理。此外，FoG发作与PD患者跌倒和虚弱风险的增加密切相关。最终，根据当前研究中提出的经过训练的DeepFoG的输出，可以及时应用RAS并结合手部振动刺激，以帮助PD患者克服FoG事件。智能手表的使用以及FoG事件和用户不同自然运动之间的区别，使得解决方案能够转移到真实环境中。后者加强了结果在捕捉PD FoG发作方面的附加值，并向医生提供关于FoG事件发生频率的客观信息，以实现对PD患者的客观监测。此外，DeepFoG数据采集的不引人注目的特性有助于实现对所提出解决方案的长期坚持，并使药物的监管能够降低PD相关风险。

DeepFoG在敏感性和特异性指标方面可能无法超过相关的最新方法(表1). 然而，当其他设备至少需要两个才能达到类似的灵敏度/特异性时，只使用一个设备（即智能手表）就可以实现高性能。FoG事件可视为行走过程中传感器流中的罕见事件，因此DeepFoG的高度特异性使解决方案具有生态有效性。此外，DeepFoG推断FoG事件的延迟接近实时（考虑到每个决策结果的0.25 s时间窗口）；因此，即使是这项回顾性研究，也可以设想及时的自动RAS/手部振动干预。通过基于模糊逻辑的模型，DeepFoG可以与更多与PD风险相关的变量（如心率变异性特征、年龄或跌倒史和FoG）集成在一个融合方案中(Iakovakis等人，2016年)这可以制定一个针对高危PD患者日常生活活动的辅助反馈机制。

从深度学习的角度来看，使用LOSO评估方案可以让我们了解CNN检测新受试者FoG事件的通用性。还可以观察到，与LOSO评估相比，10-CV结果的特异性和敏感性分别提高了3%和2%。此外，根据中描述的患者特定敏感性/特异性对图4可以观察到，可以通过使用个性化训练来调整网络参数来检测个性化提示和FoG发作，以捕获患者的特定特征。DeepFoG的拟议版本被设计为分为三类，即“转弯行走”、“停止”和“FoG”F类-得分0.81；而不是仅仅区分“FoG”和“Non-FoG”。这使得DeepFoG不受故意停止导致的错误报警FoG事件的影响，从而增强了其用户友好性和可接受性。

尽管相对较高的特异性和敏感性估计指标，但用于训练和评估CNN的数据集相当有限（11名FoG患者），FoG发作很少（184）。因此，应谨慎地对结果进行概括。然而，当天的记录是纵向的，检测结果可以被视为相关且重要，以鼓励继续研究，利用可穿戴设备的数据评估FoG检测干扰。重要的是，我们认识到测试模型泛化能力的最佳方法是使用全新的数据集对模型进行外部测试。鉴于目前没有此类数据，我们选择在进行更大规模的研究之前对拟议框架进行初步验证。如果初步评估给出了有希望的结果，我们希望在未来的研究中继续使用更多的人群。此外，一些患者较低的预测结果可能会对检查病例中存在的各种FoG模式提出疑问，因此，不同的步态模式及其随PD严重程度的变化需要进一步调查。应对PD患者进行初步测试，以评估拟议系统在家庭日常环境中的质量和效率。朝着这个方向的研究工作已经在进行中。

5结论

目前的研究引入了一种基于单腕的FoG检测方案，该方案结合了来自商业智能手表和CNN的IMU数据，以促进基于家庭的跌倒预防和FoG管理。即时风险评估能够降低与PD相关的风险，并能维持患者的QoL。基于深度学习的单臂方法可能达到与先前发布的方法类似的精度，但使用的传感器较少。我们提出的方法的主要优点是简化和方便，因为使用了单个智能手表，而不是提高了准确性。然而，与目前最先进的特征提取和分类方法相比，我们的方法可能更可取，更容易被患者接受。针对高危人群中大型PD队列的拟议方法的进一步评估仍有待进行。在成功的临床验证后，这项工作可以提供一种客观的方法，告知医生FoG事件的频率，并可以测试及时RAS/手部振动干预的有效性。

数据可用性声明

本研究生成的数据集可向相应作者索取。

作者贡献

TB、DI和LH构思了管道；TB开发了算法，分析了数据，生成了数字和表格。TB、DI和LH对手稿做出了贡献。所有作者都讨论了结果。

基金

导致这些结果的研究获得了欧盟地平线2020研究和创新计划的资助，该计划的赠款协议编号为690494-i-PROGNOSIS：指导新型支持性干预措施的智能帕金森早期检测。

利益冲突

作者声明，该研究是在没有任何可能被解释为潜在利益冲突的商业或金融关系的情况下进行的。

工具书类

Allen，N.E.、Canning，C.G.、Sherington，C.、Lord，S.R.、Latt，M.D.、Close，J.C.等人（2010年）。运动项目对帕金森病患者跌倒危险因素的影响：一项随机对照试验。运动障碍。25 (9), 1217–1225. doi:10.1002/mds.23082