1.简介
睡意是一种“低警觉状态”[1]即“介于睡眠和清醒之间的疲劳状态”[2]. 先前的研究表明，嗜睡是导致严重受伤或死亡的交通事故的主要原因[三,4,5]. 根据AAA交通安全基金会的一份报告，从2009年到2013年，21%的致命车祸都是由嗜睡的司机引起的[6]. 在最近的一项自然主义研究中，超过3500名司机在驾驶汽车时被车内摄像头和传感器监控了数月。结果表明，在造成重大财产损失或伤害的10.6–10.8%的撞车事故中，睡意是由闭目百分比（PERCLOS）量化的[7]. 为了提高道路安全，各种车内传感技术被用于实时检测驾驶员的睡意[8,9,10]. 最值得注意的是，研究人员经常使用基于摄像头的解决方案，这些解决方案依赖眼睛、嘴巴、头部或身体的各种视觉特征来评估驾驶员的状态，例如疲劳或注意力分散[11,12,13]. 用于检测睡意的摄像头通常安装在车内（例如，仪表板上），提供与驾驶员没有身体接触的遥感解决方案。这种远程摄像头解决方案比EEG和ECG等可穿戴传感器更便于驾驶；然而，摄像头是一个附加组件，很难集成到现有车辆的控制台中。虽然汽车制造商正在着手安装基于摄像头的远程睡意检测设备，作为其高级驾驶辅助系统（ADAS）的一部分，但该解决方案的直接影响有限，因为在估计已在公路上行驶的14.46亿辆汽车中，有相当大一部分无法安装此类设备[14]. 此外，依赖于车内远程摄像头的睡意检测设备需要在复杂且快速变化的驾驶环境中处理人脸、眼睛、头部和身体特征，其中照明条件会不时变化。算法复杂，机载计算机所需的计算能力很高。最后但并非最不重要的一点是，基于摄像头的睡意检测设备不可避免地会引起隐私问题，并可能会阻碍司机的使用。 当考虑到用户舒适度时，可佩戴的睡意检测设备就不那么理想了；然而，眼镜等可穿戴设备与机舱内远程摄像头解决方案相比确实具有一些优势。最重要的是，可穿戴设备上的传感器（例如相机或接近传感器）靠近眼睛，因此可以轻松获得高质量数据，我们可以使用这些数据来提取眼睛状态（例如眨眼）或凝视信息。这大大简化了睡意检测算法。此外，传感器只监测人脸的一部分（主要是眼睛），不太容易出现隐私问题。与EEG和EOG等可穿戴设备相比，眼镜更容易被接受，因为许多人在开车时都戴着太阳镜以防眩光。
本文报道了一种可穿戴式睡意检测系统，该系统通过热镜成像眼睛区域，并使用轻量级卷积神经网络测量眼睛区域。眼睛面积用于估计对睡意敏感的广泛使用的闭目测量，即PERCLOS和眨眼率。我们还将该可穿戴设备的输出与工业黄金标准EyeLink眼球追踪器进行了比较。本工作的主要贡献总结如下：
构建了一个可穿戴玻璃，可用于提取日常驾驶中具有挑战性的照明条件下的睡意指标，如PERCLOS和眨眼率；
创建了一个实时轻量级玻璃网络（LGN），能够通过廉价的摄像头和价格合理的可穿戴计算设备可靠地监测眼睛的睁开；
基准测试表明，基于LGN的可穿戴眼镜可以检测眨眼，其准确度可与工业认可的EyeLink眼动仪相媲美。
本文的其余部分组织如下：第2节简要回顾了与本文研究主题密切相关的两条研究路线。第3节描述了玻璃原型的硬件设计和轻量级玻璃网络（LGN）的体系结构。用于验证系统输出的实验如所述第4节，中给出并讨论了实验结果第5节.第6节最后，对未来的研究工作进行了讨论。 2.相关工作
以前的研究已经检查了三类检测睡意的方法，即生理学方法（如脑电图；有关综述，请参阅[15])，基于视觉的测量（闭眼、打呵欠、头部姿势等；有关综述，请参阅[8])，和行驶动力学（车道位置、速度控制等；有关详细信息，请参阅[16]). 驾驶动态可以从车内或智能手机传感器中提取。然而，这些测量是对驾驶员状态的间接测量。另一方面，生理和视觉测量通过可穿戴（如脑电图电极）或远程传感器（如跟踪眼睛的摄像头）提供直接的睡意测量。生理指标（如脑电图中的α波）是最敏感的；然而，基于视觉的措施对于大规模消费者的采用更有希望。与当前工作相关，生理和基于视觉的方法都可以用于测量对驾驶员困倦敏感的眼睛特征（例如眨眼率和PERCLOS）。 2.1. 基于EOG的睡意检测
在基于视频的眼球追踪广泛应用之前，眼电描记术（EOG）是心理学家用来追踪人类眼球运动的一种技术（参见[17]，查看）。除了凝视信息外，EOG信号还包含有关眼睑运动的丰富信息，这些信息可用于推导对驾驶员睡意敏感的测量值，例如眨眼或PERCLOS（有关最新综述，请参阅[18]). 例如，在Xue等人最近的一项研究中[19]使用EOG电极提取眼睛闭合测量值，然后将其用作评估驾驶员疲劳的关键参数。Schmidt等人[20]为EOG信号中的眨眼检测开发了一种非常详细的算法，并将基于EOG的眨眼测量与手动和自动驾驶场景中从追踪眼睛的摄像头中提取的眨眼度量进行了比较。基于EOG的眼动测量在实验室测试中已被证明是有用的；然而，由于环境噪音和用户接受度的原因，此类设备在实际驾驶场景中难以实现。 2.2. 基于摄像头的睡意检测
与基于EOG的眼睛特征测量相比，基于摄像头的设备可以安装在驾驶室内，以提供无需与驾驶员进行身体接触的遥感解决方案（请参见[21]用于最近的审查）。在过去的二十年里，已经开发了各种算法来检索对驾驶员睡意敏感的视觉特征。例如，Maior等人[22]开发了一种深度学习的面部表情分析算法，该算法使用眼睛和嘴的特征来检测驾驶员疲劳。通过从面部标志提取眼睛长宽比和嘴巴长宽比，Cheng等人[23]用logistic回归建立疲劳评估模型。Bamidele等人[24]设计了一种基于人脸和眼睛跟踪的非侵入式低成本驾驶员睡意检测解决方案。Madiredy等人[25]构建了一个基于树莓Pi和OpenCV的非侵入式睡意检测系统。在他们的系统中，使用SVM提取视觉特征，例如眼睛和嘴巴的长宽比、眨眼率和打呵欠率。Kumar等人[26]利用摄像机和Harr的特征分类器提取驾驶员睡意检测的眼睛区域。 眼睛和嘴巴特征是基于摄像头的远程睡意检测最常用的特征[22,23,24,25,26,27,28]. 在这种类型的系统中，首先提取人脸地标来识别眼睛和嘴巴特征。让司机使用实时摄像头将不可避免地带来隐私问题。此外，眼睛通常占据相机拍摄的图像的一小部分，使得检测眼睛特征的算法容易受到头部运动、快速变化的照明条件和眼镜上的眩光的影响。这些问题可以通过头戴式设备轻松解决，该设备为没有内置摄像头的现有汽车提供了一种即插即用的解决方案。在这一系列研究工作中，头戴式目测眼镜长期以来一直被用于在实验室和自然驾驶场景中检测驾驶员的睡意[29]. Gao等人使用SMI（SensoMotoric Instruments）眼镜[30]使用支持向量机（SVM）分析PERCLOS[31]用时间序列数据评估驾驶疲劳。Paletta等人使用SMI眼镜[32]通过融合场景摄像机图像和凝视信息来评估驾驶员的注意力分散，得到凝视密度映射。除了相机之外，还可以使用其他类型的传感器通过眼镜监测眼睛状态。例如，He等人[33]用谷歌眼镜内置的接近传感器监测司机的眨眼。他们研究了眨眼频率与驾驶动态的关系，如制动响应时间和车道保持。这些研究工作表明，佩戴式玻璃可以成为驾驶员睡意检测的实用解决方案。 3.方法
如前所述，睡意可以通过从眼睛、嘴巴、头部姿势等提取的各种视觉特征进行有效监测[33]. 本文介绍了一种基于可穿戴玻璃原型的睡意监测系统，该系统利用轻量级网络实时监测眼睛闭合状态。该系统的三个核心模块如所示图1. 耐磨玻璃原型：这个系统的核心是一个可穿戴的玻璃设备，可以实时捕捉眼睛区域的图像。玻璃的透镜被热镜取代，以便安装在玻璃太阳穴上的RGB相机捕捉眼睛的图像（参见图2). RGB相机有一个红外滤光片，很像传统的基于视频的眼睛跟踪器，只是相机靠近眼睛，坐在旁边而不是眼睛前面。 轻质玻璃网络：眼睛图像由一个紧凑的数据处理单元处理，然后转发到一个轻量级深度学习网络。为了方便起见，我们将此网络称为轻量级玻璃网络，简称LGN。出于隐私考虑，RGB相机被设置为记录低分辨率图像，因此无法清晰地看到虹膜。LGN输出6个标记眼睑边界的关键点，用这些关键点估计眼睑未覆盖的眼睛区域，并将其作为时间序列数据流。
闭眼检测器：闭眼状态，尤其是眨眼，是基于眼睛区域的大小或纵横比来监测的。
算法1中简要总结了该系统的工作流程。如算法1所示，首先对RGB相机和热镜获得的实时图像进行大小调整和归一化，以满足LGN的输入要求。LGN将输出高斯概率图(E类G公司)和眼睑关键点(E类k个)基于E类G公司然后，睁眼区域(秒k个)与时间标签一起计算和存储(秒千吨). 最后，闭目措施，例如眨眼(E类b条)，可以从睁眼区域序列中提取。| 算法1玻璃原型的工作流程 |
输入：实时眼睛图像，E类我;
输出：闭目措施，E类b条; |
1最初的 E类我 =Ø,E类b条 =Ø;
2E类1← 处理眼睛图像以满足LGN的输入需求；
3E类G公司 ← 获得高斯概率图E类1;
4E类k个 ← 从概率最高的像素中提取眼睑关键点E类G公司;
5秒k个 ← 使用关键点计算睁眼面积E类k个;
6秒千吨 ← (秒k个，吨)；
7E类b条 ← 从睁眼区域序列中提取闭眼措施秒千吨;
8返回 E类b条; |
玻璃原型的结构、LGN网络的体系结构和眼睛闭合检测的算法将在以下小节中详细描述。
3.1. 耐磨玻璃原型
该玻璃由一个框架、一个替代镜头的热镜、一个红外光源（LED）、一个RGB摄像头和一个数据处理单元（Raspberry Pi Zero W）组成。之所以使用热镜，主要是因为安装在轮辋上（眼睛的正下方或前方）的摄像头不可避免地需要穿过铰链的电线，这使得硬件设计复杂化。这就是为什么在商业眼镜中，太阳穴不能像普通眼镜那样折叠的原因之一。使用热镜的另一个原因是，它有助于阻止环境中的红外线干扰相机拍摄的眼睛图像。然而，热镜允许可见光通过，因此眼镜不会挡住驾驶员的视线。
为了保持热镜上反射的眼睛图像的良好对比度，相机安装了一个红外LED，以在各种照明条件下提供足够的照明（例如，在夜间或阳光直射下）。此外，红外光源可用于控制相机拍摄的图像质量。如果打开红外光，相机将捕捉热镜上反射的清晰红外图像。否则，相机将失去对眼睛的跟踪，因为捕获的图像将是模糊的并且不适合于眼睑关键点检测。之所以选择Raspberry Pi Zero作为数据处理单元，是因为I/O选项允许快速原型制作。该数据处理单元可以由任何具有图像处理和神经网络功能的芯片取代。
3.2. 轻质玻璃网络（LGN）
如所示图1，相机拍摄的眼睛图像被发送到轻量级深度学习网络（LGN）以提取眼睑关键点，LGN的结构如所示图3。如所示图3LGN有两个模块：特征提取模块和关键点回归模块。特征提取模块使用四阶网络提取眼睛区域的多尺度特征；这些特征被发送到关键点回归模块以检索眼睑关键点的像素坐标。 3.2.1. 特征提取模块
如所示图2眼睛的图像是由安装在玻璃太阳穴上的相机拍摄的。由于相机的视线以一定角度到达热镜，因此捕获的眼睛图像不可避免地会发生畸变，从而难以估计眼睑关键点。为了解决这个问题，沙漏网络[34]在特征提取模块中用于从眼睛图像中提取特征，并随后将特征与不同尺度的原始眼睛图像融合。特征提取模块将输出6个特征地图，每个地图包含眼睑关键点的位置信息。 功能提取模块如所示图3改编自沙漏网络，这是一个四阶残差[35]模块的本质。将单个残差网络嵌套到另一个残差网络中可以将要素图的比例减少一半。获取不同尺度的特征并从粗到细估计关键点[36]将3个剩余网络模块（Res_1~Res_3）嵌套到LGN的特征提取模块中。 单个剩余网络的结构如所示图4单个剩余网络包含一个上分支和一个平行的下分支。当一幅图像被上分支中的三个卷积模块处理时，特征通道的数量根据输出设置而改变，同时，输入特征图的大小保持不变。在下部分支中，输入的特征映射由最大池层进行下采样，从而将特征映射减少一半。下采样的特征映射也被发送到三个卷积模块，这三个模块与上分支具有相同的结构。对于下分支的输出，通过最近邻插值进行上采样处理，以使特征通道的数量与上分支中的对应通道相匹配。在最后一步中，以像素方式添加上下分支输出的特征映射，并使用融合的特征来补偿梯度消失。 3.2.2. 关键点回归模块
特征提取模块的输出是一批6个特征地图。基于这些特征图，关键点回归模块将通过监督训练为每个眼睑关键点生成高斯概率图[37]. 然后用概率最高的像素位置估计眼睑关键点。带有提取的关键点的眼睛图像如所示图5（左侧面板）。红点是模型预测的关键点，蓝点是实际标签。用于估计眼睑关键点的高斯概率图显示在右侧面板中。 对于模型训练，使用均方误差（MSE）损失函数将预测的热图与地面热图进行比较，地面热图由以眼睑关键点为中心的二维高斯热图组成。基于MSE的损失函数如方程式（1）所示，其中x个我(小时,w个)是特征概率图，我代表我-第个预测关键点，是的特征概率图我-第个地面关键点。在等式（1）中，N个是眼睑关键点的总数，以及N个在目前的工作中是6。 3.2.3. 数据集和培训设置
如所示图2，相机被连接到玻璃镜腿上，并从一个极端的角度对眼睛区域进行成像。这种独特的设置意味着必须首先创建一个新的数据集，以训练LGN网络进行闭眼估计。LGN网络旨在成为一个轻量级且易于部署的网络，因此一个小数据集足以确保模型收敛。不幸的是，据我们所知，所有可自由访问的近眼数据集都不能用于训练LGN网络，因为这些开源数据集的摄像机视图与我们内部的玻璃系统的摄像机视图截然不同（请参阅图5相机图像示例）。因此，我们从7名参与者（4名男性和3名女性）总共收集了4400张图像，以创建小样本数据集。然后，我们开发了一个基于OpenCV的标签工具，用六个眼睑关键点手动注释记录的眼睛图像（请参见图6). 利用标记图像和眼睑关键点构造高斯概率图以提高模型性能。在训练期间，从图像中随机选择1000张女性和1000张男性眼睛图像作为模型评估的子集。 使用该数据集，我们使用基于MSE的损失函数（方程式（1））训练LGN网络。培训过程涉及在一定时期内将损失函数最小化。对原始眼睛图像进行预处理并发送到LGN网络，由输入图像构建的高斯概率图作为模型训练的监督。使用随机梯度下降（SGD）优化器，初始学习率设置为0.001。在训练期间，学习率每10个阶段降低0.1倍。培训平台是一台配备Nvidia GeForce RTX 2080图形卡的Dell Precision 3050工作站（美国加利福尼亚州圣克拉拉市Nvidia），培训过程大约需要1小时才能完成。
4.实验
进行了一个实验来验证我们的硬件原型和LGN网络。如所示图3，轻量级网络的输出是一组标记眼睑边界的关键点。有了这些关键点，人们可以很容易地推导出眼睛纵横比或眼睛面积测量值，然后可以用它来检测眨眼或计算PERCLOS测量值。眨眼率和PERCLOS是检测睡意的敏感指标。这里的实验检验了从网络输出中得出的眼睛闭合测量值（眨眼率和PERCLOS）是否与工业认可的EyeLink眼球追踪仪的测量值密切相关。 4.1. 测试设置
实验装置如所示图7在实验中，人类参与者戴着玻璃原型，在65英寸的显示器上观看视觉内容。该玻璃样机由便携式手机充电器供电，并与路由器无线连接，以将捕获的眼睛图像流式传输至Dell Precision 3050工作站。工作站使用轻量级LGN网络处理图像，实时检索眼睑关键点和眼睛区域。使用EyeLink眼球追踪仪同时记录瞳孔和凝视数据。这种基于视频的眼球跟踪器的跟踪延迟低于2毫秒，实时眼球跟踪数据，即凝视位置和瞳孔大小，可以通过与玻璃原型连接的同一路由器的以太网连接从工作站访问。 EyeLink眼球追踪仪记录的数据包含有关瞳孔区域的信息；然而，它只在红外相机看不到瞳孔时检测闪烁。因此，EyeLink报告的眨眼是眼睛完全闭合的时间段。跟踪器报告的眨眼持续时间比眼睑运动的实际持续时间短得多。热镜阻挡了红外光，因此EyeLink跟踪器无法看到受试者的左眼。在实验中，EyeLink跟踪器只跟踪右眼。
4.2. 测试协议
这个实验的目的是证明一个概念。招募三名受试者（实验室成员）参与实验，每个受试者接受15分钟的测试。测试开始时，EyeLink跟踪器采用标准的9点校准程序进行校准。一旦EyeLink跟踪器和玻璃样机的记录开始，受试者闭上眼睛约15秒。这段闭眼时间有助于调整玻璃和EyeLink数据，以便进行离线分析和比较。
4.3. 测量眼部闭合度
使用两种闭目测量来验证玻璃原型和LGN输出，尤其是眨眼率和PERCLOS。眨眼率定义为每分钟眨眼次数[38]. 该字段显示了PERCLOS的几种不同定义[39,40]，但它经常被估计为每分钟闭眼的百分比。这里，闭目是指眼睑在1分钟内覆盖80%以上眼睛区域的持续时间[40]. 4.3.1. 基于EyeLink瞳孔数据的闭目测量
闪烁是EyeLink跟踪器中缺少样本的周期。为了估计眨眼频率，我们使用了一个1分钟的移动窗口，并统计EyeLink跟踪器检测到的眨眼次数。然而，跟踪器无法准确估计闪烁的开始和结束时间。因此，PERCLOS测量不能直接从跟踪器报告的闪烁持续时间中得出。为了更好地估计眨眼的开始和结束时间，本研究使用直观而稳健的算法重新检查了瞳孔面积数据[41,42]. 在眨眼期间，上眼睑向下移动，不会立即遮挡瞳孔，而是会看到瞳孔区域迅速缩小为零，并在眼睛重新打开时反弹。眨眼开始和结束时间是EyeLink跟踪器开始和停止以报告“无瞳孔”的时间点。然而，实际的眼睑运动比“无瞳孔”期开始得早，停止得晚。该算法首先在时间上向后搜索，以找到瞳孔不再增大的样本，并将其标记为真实开始时间，然后在时间上向前搜索，以查找瞳孔不再增加的样本并将其标识为真实结束时间。为了计算PERCLOS，我们使用了新估计的眨眼持续时间的20%作为眨眼“闭合”时间的近似值。 4.3.2. 基于玻璃数据的闭眼措施
LGN网络输出包含标记眼睑边界的关键点，使用这些关键点可以轻松估计眼睛的“面积”。利用眼睑关键点，还可以推导出用于睡意检测的高宽比（即眼睛纵横比或简称EAR）[43]. 在本研究中，面积测量用于与EyeLink跟踪器记录的瞳孔面积数据进行简单比较。LGN网络以30 Hz的频率输出眼睛区域，这些时间序列看起来很像用放置在眼睛上方和下方的电极记录的EOG信号（参见图8左侧面板）。当上眼睑向下移动时，信号下降，当眼睛完全闭合时，信号达到局部最小值，当眼睑向上移动时信号反弹。因此，本研究借用了先前EOG研究中的算法[44]检测闪烁。该算法的工作原理与我们在EyeLink瞳孔大小数据上用于眨眼检测的算法类似。简单地说，该算法首先将眼睛区域信号的采样频率提高到250 Hz，然后查找局部最小值，然后搜索附近的样本以查找眼睛区域信号不再增加的稳定点，并将这些样本标记为闪烁开始点和结束点。为了估计眨眼率，我们使用了一个1分钟的移动窗口，并计算了算法检测到的眨眼次数。为了估计PERCLOS，我们还使用了估计眨眼持续时间的20%作为眨眼“闭合”时间的近似值。 5.结果和讨论
5.1. 闪烁检测算法的性能
使用两种稍有不同的算法估计EyeLink瞳孔面积数据和玻璃眼面积数据的眨眼开始和结束时间。图8显示了从受试者#2记录的玻璃眼区域数据（左侧面板）和EyeLink瞳孔区域数据（右侧面板）中检测到的闪烁（参见图9和图A1例如，从受试者#3和#1记录的数据中检测到闪烁）。这三行包含在录制会话开始时以及7.5和14.5分钟时录制的数据。垂直条带图8表示眨眼。如图所示，从玻璃输出检测到的闪烁与从EyeLink瞳孔数据检测到的闪光基本一致。 很明显，从玻璃数据中检测到的眨眼比从Eyelink瞳孔面积数据中检测出的眨眼要长得多。这并不奇怪，因为玻璃原型测量的是眼睛区域，EyeLink跟踪器只测量瞳孔区域。当上眼睑向下移动时，相机将在眼睑到达底部之前看不到瞳孔；当眼睑向上移动时，瞳孔可能会在眼睑停止移动之前完全可见。设备之间的差异不会影响闪烁速率测量，但PERCLOS测量值可能会因设备而异。图中最重要的信息是，玻璃原型和LGN网络输出可用于正确检测眨眼。
从玻璃和EyeLink数据中检测到的眨眼总数以及平均眨眼持续时间如所示表1总体而言，该玻璃样机平均检测到了Eyelink跟踪器报告的93.9%的眨眼次数。然而，请记住，EyeLink跟踪器和玻璃原型都有错误的眨眼检测。例如，EyeLink跟踪器根据丢失的数据样本检测闪烁；然而，缺少样本也可能是设备故障或磁头移动到可跟踪范围之外的结果。一些闪烁检测故障如所示图9。在第一行中，从EyeLink数据中检测到20–22秒之间的两次临时相邻闪烁；然而，从玻璃眼区域数据中只检测到一次眨眼。玻璃侧的故障最有可能是因为玻璃原型的采样率低得多（30 Hz），因此玻璃对非常短的闪烁不敏感。然而，情况并非总是如此。请注意，在图9（第三排，左面板）玻璃还记录了EyeLink瞳孔信号中出现的两个短而连续的信号波谷，表明LGN网络对眼睛闭合非常敏感。 5.2. 闪烁速率和PERCLOS
为了验证从LGN网络输出导出的PERCLOS和闪烁率测量值，使用了一个1分钟的移动窗口来计算时间序列数据上的PERCLOS和闪烁速率，步长为0.1秒。三个记录会话中的PERCLOS（左面板）和闪烁率（右面板）如所示图10. PERCLOS没有统一的定义。然而，大多数人将眼睛的“闭合”定义为覆盖80%以上瞳孔或眼睛区域的眼睑。作为近似值，本研究将闭眼定义为眨眼持续时间的20%，而PERCLOS是1分钟内闭眼时间的百分比。
如所示图10PERCLOS测量值源自两个设备，在某些时间窗口中会同时变化。已经开发了几种方法来量化时间序列之间的相似性或距离[45]. 我们选择皮尔逊相关性来量化两个设备之间PERCLOS的时间相似性，因为相关系数很容易解释。具体来说，相关系数为0和1.0分别表示两个时间序列之间没有相似性和完美匹配。在该分析中，我们首先计算了每个受试者的两个设备之间的PERCLOS相关性，然后用一个样本对相关系数进行了测试t吨-测试。A相关系数(第页)0.10、0.30和0.50分别被视为小、中和大[46]. 结果显示，这两种设备之间存在中等程度的相关性(第页意思是= 0.286,第页标准偏差=0.118），t吨(2) = 4.194,第页= 0.052. 这两种设备之间的适度相关性是可以理解的，因为两种设备对闭眼的定义不同。瞳孔只占眼睛区域的一小部分。对于玻璃原型，闭目测量眼睑覆盖眼球的时间；对于EyeLink跟踪器，闭眼是指眼睑遮盖瞳孔的时间。 从中可以清楚地看出图10，根据玻璃输出估计的眨眼率与EyeLink跟踪器估计的眨眼率基本一致。统计分析显示，这两种设备之间的眨眼频率有很强的相关性(第页意思是= 0.729,第页标准偏差=0.110），也大于0，t吨（2） =11.511，第页= 0.007. 如前一节所述，从玻璃输出中识别出的闪烁总数平均约为EyeLink跟踪器识别出的总数的93.9%。考虑到玻璃的输出速度（30 Hz）约为EyeLink跟踪器速度（500 Hz）的1/17，这种检测闪烁的性能非常出色。 这些结果清楚地表明，玻璃原型是一种敏感的眼闭合测量装置。PERCLOS和眨眼率测量在睡意检测中的有效性应通过操纵车辆驾驶员睡意水平的实证研究进一步验证。然而，目前的结果清楚地表明，玻璃原型和LGN网络提供了一个可行的解决方案，用于推导对驾驶员睡意敏感的测量值。
6.结论
本研究关注交通安全中的一个关键问题，即开发一个可穿戴、可靠、用户可接受的睡意检测系统。基于远程摄像头的系统依赖于车内摄像头，用于监控驾驶员的面部和身体特征；驱动程序之间的隐私问题和所需的硬件修改可能会严重阻碍市场的采用。
与传统的基于远程摄像头的系统相比，所提出的可佩戴眼镜利用眼睛的特写图像，而不是依赖驾驶员的面部和身体特征。此方法允许使用PERCLOS和眨眼率等敏感测量值精确量化眼睛闭合，有效地规避了与传统方法相关的隐私问题。
本工作中开发的玻璃原型通过热镜对眼睛区域进行成像，并使用轻量级深度学习网络（LGN）测量眼睛闭合度。LGN网络提取标记眼睑之间眼睛区域的关键点。实验结果表明，以LGN网络为核心的可穿戴式玻璃样机在检测眨眼方面非常有效；它平均检测到金标准EyeLink眼球追踪仪报告的93.9%的眨眼次数。更重要的是，从玻璃输出中得出的眨眼率与EyeLink跟踪器高度一致，表明LGN框架是一种计算效率高但适用于实际应用的可行解决方案。
综上所述，本文提出的可穿戴玻璃是一种高效可靠的驾驶员闭眼监测解决方案。在未来的工作中，可以用小系数芯片取代Raspberry Pi Zero板，以提高电源效率。此外，还将努力使玻璃更轻，佩戴更舒适。还将进行一项实验，以验证我们的玻璃在自然驾驶场景中的睡意检测性能。
