杂志的下一篇文章
一种新型智能鞋,配有传感器,用于量化楼梯通过过程中的脚部位置和间隙
下一篇特刊文章
基于规则字体的中国历史书法风格分类CNN模型
期刊上的上一篇文章
一种利用无线充电测量电动汽车传递功率的方法
特刊上一篇文章
贝塞尔曲线:基于零参考贝塞尔曲线估计的微光图像增强
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
Aa公司 Aa公司 Aa公司
行距:
列宽:
背景:
第条

基于多尺度时空图和Light-ViT模型的手指静脉活度检测系统

1
重庆科技大学智能技术与工程学院,重庆401331,中国
2
武汉海事通信研究所,中国武汉430202
*
信件应寄给的作者。
传感器 2023,23(24), 9637;https://doi.org/10.3390/s23249637
收到的申请:2023年10月22日/修订日期:2023年11月12日/接受日期:2023年11月24日/发布日期:2023年12月5日

摘要

:
假肢攻击是当前手指静脉识别应用中必须防止的问题。为了解决这一问题,本研究建立了手指静脉活性检测系统。该系统首先使用均匀的近红外照明捕获短期静态手指静脉视频。随后,它使用没有直流分量的Gabor滤波器进行静脉区域分割。然后将静脉区域划分为多个块来计算多尺度时空图(MSTmap),这有助于提取粗略的活性特征。最后,对这些特征进行细化训练,并使用所提出的Light-ViT模型预测活跃度检测结果,该模型配备了增强的Light-ViT主干,通过交错多个MN块和Light-Vi T块精心设计,确保任务中的性能得到改善。该架构有效地平衡了局部图像特征的学习,控制了网络参数的复杂度,并大大提高了活跃度检测的准确性。在自制的活体/假体手指静脉视频数据集上,Light-ViT模型的准确性验证为99.63%。在模型变得轻量级之后,该系统还可以直接应用于手指静脉识别终端。

1.简介

基于生物特征的识别技术[1,2]已被广泛采用;然而,信息安全至关重要,假肢攻击带来了特别显著的挑战。以人脸和指纹为目标的假肢攻击事件已经有了很好的记录[]. 尽管手指静脉识别具有固有的生命力,但当原始静脉线信息受损时,假肢攻击的风险仍然存在。尽管还没有报道因暴露原始静脉模式信息而导致假体攻击的案例,Tome等人[4]已经对能够欺骗现有手静脉识别系统的假体静脉攻击进行了仿真,成功率非常高。生物特征识别系统中活性的检测已成为其安全部署的一个关键方面,因此评估手指静脉识别中的活性已成为一个基本前提和研究重点[5].
与其他身体表面特征相比,手指静脉是体内特征,在日常活动中不会留下痕迹。虽然盗窃原始静脉图案信息具有挑战性,但这些信息仍有泄露的风险。首先,一家现有公司的手纹识别技术演示了在可见光条件下手纹图案信息的采集和提取[6]. 其次,使用自制设备未经授权收集手静脉图案存在相关风险。为了解决这些风险,有必要对体内检测技术进行进一步研究,以应用该技术[7]. 在本文中,我们建议使用手指静脉的短视频来驱动活静脉识别系统。与一幅静态静脉图像相比,提取的静脉视频提供了更多的时空信息,可以提供更健壮的实时特征用于检测。
活性检测技术的关键在于活性特征的提取。传统的图像处理方法和深度学习模型被用于静脉活性检测。特别是,在静态图像纹理特征和动态视频时空特征提取方面,神经网络比人工设计的特征具有更好的性能[8,9]而深度学习方法已经成为生物特征活性检测领域的一个研究热点。灵感来自远程光体积描记术(rPPG)[10]和多尺度时空图[11]与Vision Transformer(ViT)体系结构相结合[12]本文提出了一种改进的Light-ViT网络用于手指静脉短帧视频活性检测。
本文的其余部分组织如下。第2节概述了手指静脉活性检测的相关研究工作。第3节介绍了手指静脉活性检测系统的各个模块,如手指静脉视频采集、静脉分割和块选择、MSTmap生成,以及提出的Light-ViT模型设计。第4节介绍了假体的制作方法,并通过对比实验检验了该模型的性能。最后,结论如下第5节.

2.相关研究

近年来,假体攻击逐渐成为破坏生物特征识别系统的主要手段。这类攻击包括使用打印图片、假肢、视频和其他手段欺骗生物特征识别系统,并将未经授权的人认证为真实用户。攻击者使用图片、假肢和视频等工具作为演示攻击工具[13]. 用于一般生物识别的活体检测技术利用了个体的生理特征。例如,活度指纹检测可以基于手指温度、出汗、电导率和其他信息。活人面部检测可以基于头部运动、呼吸、红眼效应和其他信息。活体虹膜检测依赖于虹膜振动特性、睫毛和眼睑的运动信息以及瞳孔对可见光强度变化的动态响应。针对单帧静态图像和多帧视频,相应的活性检测过程可分为传统活性特征提取和深度学习活性特征提取方法。指纹识别技术的主要攻击方法是打印攻击。攻击者可以使用被盗的手指静脉图像,将其打印到纸张或胶片等材料上,或附加到真实手指上,以完成生物特征伪造攻击。
2011年,Maatta等人[14]提出了一种基于纹理的分析方法,使用彩色纹理作为表示攻击检测(PAD)线索。通过从不同颜色空间中提取互补的低层特征来描述亮度和色度通道的联合纹理信息,结合离散傅里叶分析,利用假体图像光谱中的能量分布特征作为PAD线索,对于打印的假体图像具有较高的准确性。
2012年,Chingovska等人[15]提出了一种基于加权邻域差分量化局部二值模式的PAD图像攻击纹理分析方法,用于对抗打印图像和视频回放的攻击。在三个人脸反欺诈数据库上取得了良好的效果。
2015年,GRIP-PRIAMUS团队[16]利用打印机总是在某个方向上打印的事实,从频域变换中找到相对于垂直方向更大的能量,以便检测是否存在活静脉。在预防第一指静脉欺骗攻击的尝试中,提出了一种基于局部描述符的方法。首先利用局部相位量化(LPQ)对完整图像的空域信息进行编码,然后利用局部二值模式(LBP)提取分割后的静脉区域图像的纹理特征。融合两者的特征后,将其发送到支持向量机(SVM)进行分类。
2018年,Fang等人[17]提出了一种新的手指静脉识别方法。该方法首先利用全变分正则化技术将原始手指静脉图像分解为两个分量:结构和噪声。然后,使用块局部二值模式描述符对分解后的图像分量中的结构和噪声信息进行编码。最后,使用级联支持向量机模型进行分类,以实现手指静脉的精确识别。该方法不仅减少了图像噪声和其他干扰因素对识别的影响,而且提高了识别的准确性和鲁棒性。
2019年,Lee等人[18]利用rPPG原理,通过傅里叶分析和小波变换,有效地提取手指静脉的活性特征。然后使用SVM对这些特征进行分类,以实现静脉活性检测。该技术通过在多个方向和宽度上增强静脉视频来提取频率数据。所得频率信号通过小波变换获得,能够以非接触、准确和鲁棒的方式检测生物特征攻击。
虽然这种基于频域的方法在易于实现方面具有优势,但它有几个缺点,包括计算复杂度高、对噪声敏感和鲁棒性差。此外,它依赖于预定义的特征参数,限制了其泛化能力。深度学习方法已成功应用于各个领域,尤其是卷积神经网络(CNN),在计算机视觉领域,尤其在生物特征识别领域取得了重大进展[19]. 深度学习及其固有的特征学习能力为生物特征PAD系统的开发铺平了一条新的道路。
2017年,Assim等人[20]提出了一种称为GA-CNN的方法,该方法将遗传算法和卷积神经网络(CNN)相结合,在准确性和灵敏度方面都有显著提高。该方法的核心思想是使用遗传算法优化神经网络的超参数,从而提高模型的性能和鲁棒性。GA-CNN不仅在检测活体静脉方面表现出色,而且在处理不同尺度的静脉图像方面也表现出色,使其在实际应用中更具适应性和实用性。
2020年,Baweja等人[21]介绍了一种新的异常检测训练方法。由于缺乏负样本,因此在一类分类中端到端学习是不切实际的。因此,作者提出了一个“伪负”样本特征空间,这有助于模型更有效地理解真假样本之间的决策边界。伪负类使用高斯分布建模。与其他现有的单类分类(OCC)模型相比,该方法的分类器和特征表示都经历了端到端的学习。
2020年,Zeng等人[22]设计了一种端到端模型,该模型将全卷积神经网络(FCNN)与条件随机场(CRF)相结合,以提取用于手指静脉验证的静脉模式网络。2021年,Tao等人[23]采用基于掩模区域的卷积神经网络(mask-RCNNs)获得精确的感兴趣区域(ROI)图像,并开发了基于softmax的决策算法进行验证。Gionfrida等人[24]提出了一种利用连续帧的外观和时空参数从视频中识别手势序列的模型,并将卷积网络与长短记忆单元相结合,实验表明该模型优于以往的时间分割模型。Sandouka等人[25]提出了一种基于变压器和生成对抗网络(GAN)的活性指纹检测方案,实验结果表明,该结构将自适应平均分类准确率从68.52%提高到83.12%。Adam等人[26]分析了检测指纹欺骗的方法,并提出了一种集成分类器模型,与现有方法相比,该模型的错误率降低了2.5%,正确分类的准确率为90.34%。2022年,Zhou等人[27]提出了一种基于SIFT流的虚拟样本生成方法。该方法使用尺度不变特征变换流(SIFT-flow)算法获得具有多个注册样本的每个类别的位移矩阵。然后,该过程涉及从每个矩阵中提取关键位移,去除噪声和冗余位移,并最终生成最终的全局变化矩阵。实验结果证明了该方法在提高单样本手指静脉识别性能方面的有效性。
基于深度学习的方法利用神经网络学习数据分布,而无需手动设计特征提取算法。根据大量数据训练的网络显示出高精度。然而,该方法存在缺点,例如难以获得训练数据,并且需要验证针对特定问题的网络泛化。此外,一些网络可能结构复杂,参数众多,缺乏实时能力,并且在可移植到移动平台方面存在挑战。

3.我们的方法和系统

本文中,系统使用手指静脉静态短期视频作为体内检测的数据源。皮下浅静脉内有血流,会有轻微的扩张和收缩,导致吸收率略有变化。在血管造影成像过程中,当近红外(NIR)光穿透静脉时,静脉区域会出现轻微的灰度变化,这可以通过视频图像处理方法检测到[28,29]当假体中的“血管”中没有液体流动时,静脉区域将不会出现灰度变化。然而,轻微的灰度变换会淹没在近红外血管造影的斑点噪声中。为了解决这一问题,本文提出了一种基于深度学习模型的人工浅层特征提取方法,用于手指活度检测。该系统的流程图如所示图1第一步是获取一段短时静态手指静脉视频。下一步是静脉区域分割,这属于预处理。第三步是选择并切割静脉边缘上的小块。第四步是为这些经过排序的小块构建MST图。第五步是使用MSTmap训练拟议的Light-ViT模型。最后一步是输出活性检测结果。
我们自制的手指静脉短期视频采集平台如图所示图2。外壳采用3D打印技术制造,上部光源支架设计用于将光源组牢固固定到位。这种布置确保了光源的稳定性和均匀性。相比之下,外壳主体由黑色不透明材料制成,驱动电路板调整光强,以最小化环境光的影响,提高图像采集的准确性。外壳顶部的开口用作观察窗口,可放置手指进行图像采集。此位置有助于在后处理期间提取感兴趣区域(ROI)。底部内侧设计的凹槽可以稳定相机和NIR滤波器的位置。
当用户将手指放在设备的光源和观察窗口之间时,图像抓取器开始捕捉手指静脉的图像。在此过程中,控制器不断监视和分析捕获图像的质量,并根据图像的亮度、对比度和其他参数的变化快速调整光源的光强,从而捕获图像的亮度和清晰度始终保持在预设范围内。智能控制的应用可以根据实际情况快速调整,以确保捕获图像的质量相似,从而提高设备的识别精度和稳定性。

3.1. 短期静态手指静脉图像的获取

本文采用均匀照明的方法获得短期静态手指静脉图像。导光板用作光源板。导光板的前后面板具有反射层。侧面近红外LED珠发出的近红外光在背板和前面板之间反射。反射后,通过前面板的预分布导光孔发射。光学模拟软件(lighttools v8.6)可用于计算导光孔的孔径和分布,最终形成均匀照明,如所示图3.使用导光板的优点是避免眩光引起的过度曝光。经过多次反射后,光线以较少的能量通过小导光孔,不会产生眩光。传统的LED灯珠阵列光源采集静脉图像时,如果手指不遮挡灯珠,灯珠的直射光进入相机时会造成大面积过度曝光。均匀近红外照明透射式手指静脉造影的图像/视频具有相同的照明条件。手指静脉图像各区域的噪声分布是一致的,后续建模更简单、更方便。

3.2. 视频帧的预处理

为了满足静脉活性检测的实时应用和方便使用,在采集手指静脉视频时,我们使用了三帧差分方法[30]提取短时视频中手指保持静止的帧。该方法有效地检测运动目标并捕获其细微的运动变化,无需稍后对手指静脉进行多帧像素级配准,以减少和防止过度的计算负载。用户的手指只需在采集设备中停留1.5秒。相机使用高速相机,每秒拍摄120帧,像素分辨率为640×480。相机采集RGB三通道图像。虽然镜头前有近红外(NIR)滤光片,但仍可以采集相应的近红外对比度图像。每个通道的噪声是不同的,可以用来提高静脉区域小灰度变化的信噪比。
采用多尺度多方向Gabor滤波方法对静脉区域进行分割。本文提出了一种消除直流分量的快速Gabor滤波器设计方法,该方法与参考文献中的方法等效[31]. 传统Gabor滤波器的实际部分设计如下:
G公司 x个 , = 经验 x个 1 2 + γ 2 1 2 2 σ 2 余弦 2 π x个 1 λ + φ e(电子) x个 第页 ν 2 2 + φ .
  x个 1 = x个 c(c) o个 θ + n个 θ .
1 = x个 n个 θ + c(c) o个 θ .
在这里, γ   表示空间的纵横比,它决定了高斯核函数曲线形状的椭圆度。什么时候? γ = 1 ,形状为正圆;σ是高斯函数的标准偏差,其值不能直接设置,但与带宽有关。 λ   是正弦函数的波长; φ   是正弦函数相位; θ   是旋转角度。方程(2)和(3)说明Gabor函数可以在 x个 ,   任何方向上的平面由 θ .
为了快速去除滤波器模板中的直流分量,本文提出在去除直流分量时直接计算Gabor滤波器的平均值。公式可以表示为:
G公司 x个 , = 经验 x个 1 2 + γ 2 1 2 2 σ 2 余弦 2 π x个 1 λ φ .
G公司 = G公司 e(电子) n个 G公司 .

3.3. 静脉边缘图像块的选择

对分割后的二值静脉图像进行形态学腐蚀运算,通过从二值原始图像中减去腐蚀图像来获得静脉边缘区域,如方程(6)所示:
e(电子) d日 e(电子) = b条 w个 e(电子) 第页 o个 d日 e(电子) ( b条 w个 , H(H) ) .
在公式(6)中, b条 w个 是从前一个静脉分割的二值图像,erode是二值图像的腐蚀操作函数,H是形态学算子,这里取3×3的大小。

3.4. 多尺度时空地图计算

为了突出血流引起的静脉灰度变化,观察静脉块的平均变化比观察一个像素的灰度变化更具抗噪性。本文沿着主静脉从手指根部到指尖选取静脉边缘的图像块,并选取p块。获取视频中每个帧图像块的平均灰度值,从中可以获得图像块随时间的灰度变化。图像中呈现的三条不同颜色的线表示提取的手指静脉图像在RGB的三个颜色通道中的灰度随时间变化的曲线。多个图像块随时间变化的灰度均值形成时间-空间图,如所示图4.

3.5. 构建Light-ViT模型

我们构建的手指静脉MST图在保留特征的同时包含不同的灰度信息,这对假肢来说是一个挑战。将静态手指静脉视频转换为MSTmap需要网络具有有效管理远程像素关系的能力。同时,静脉边缘位置特征的转换需要专注于局部特征。卷积神经网络(CNN)在特征提取方面一直表现出卓越的能力[32]. 然而,当处理包含全局和局部特征的多尺度时空地图时,CNN在综合全局特征提取方面仍然存在局限性。相比之下,ViT网络利用其多头部注意机制在本地特征处理方面表现出色,并通过位置编码实现远程像素到像素特征提取。经实践证明,ViT网络具有卓越的性能,但它也面临着诸如大参数范围、训练复杂性和较小数据集的次优性能等挑战。此外,手指静脉呈现攻击检测(PAD)是生物特征识别的关键技术,其中精度和实时响应性是基本要求。考虑到生物识别设备通常尺寸紧凑,并且在计算机芯片提供的有限计算资源的限制下运行,因此必须维护紧凑的系统架构。因此,我们引入了Light-ViT模型,该模型不仅能够熟练地捕获全球和本地数据特征,而且有助于无缝集成到我们的系统中,以显著降低的成本实现高精度手指静脉假冒检测。
Light-ViT网络的基本概念包括创建L-ViT块,以取代MobileNet中使用的传统卷积。L-ViT主干构成Light-ViT的核心。该网络由多个MobileNet块(MN块)和交替堆叠的L-ViT块组成。具体而言,MN块采用深度可分离卷积运算,目的是学习局部图像特征,同时控制网络的参数计数,从而更好地适应大规模数据集。另一方面,L-ViT块采用Transformer结构捕获全局图像特征,并将其与通过卷积获得的局部提取特征相结合。
MN块是网络中的卷积模块,用于学习图像偏差和局部特征。其结构如图所示。对于输入功能 X(X) ,它最初经历了1×1卷积层,通过逐点卷积有效地映射到更高维。随后,它通过批处理归一化(BN)层和SiLU激活函数获得 X(X) 1 ,其中 X(X) 1 ,可以根据网络需求进行调整。在此之后,它进行群卷积,然后是另一个BN层和SiLU激活函数,以获得 X(X) 1 这里,T表示步幅,调整此参数将控制生成张量的尺寸。通过反向残差结构与输入特征合并后 X(X) 1 映射到 X(X) 2 使用逐点卷积(PW),然后使用BN层产生输出 Y(Y) 。MN块的结构如所示图5.
如前所述,该方法的优点是显著减少了卷积所需的参数和计算资源的数量,同时保持卷积核的相同卷积核感应场[33]. 此外,为了使CNN具备学习全局特征的能力,我们引入了L-ViT模块,如图6.给定输入 X(X) ( H(H) , W公司 , C类 ) 首先,我们通过3×3标准卷积层对局部空间信息进行编码。随后,我们利用1×1卷积层将特征维数投影到更高的空间,从而 X(X) 1 ( H(H) , W公司 , D类 ) 为了使Light-ViT能够获得具有空间感应偏置的全局表示,我们展开了 X(X) 1 并将其聚合为N块 X(X) 2 ( P(P) , N个 , D类 ) ,其中 P(P) = w个 小时 ,使用 w个 小时 表示补丁的宽度和高度,以及 N个 = H(H) W公司 / P(P) .
的后续空间编码 X(X) 2 生产 X(X) ( P(P) , N个 , D类 ) 保留了每个补丁之间的排序信息和每个补丁内像素的空间细节。然后, X(X)   进行1×1卷积投影以返回到低维空间。然后将其与 X(X) 通过残差结构,然后使用标准卷积运算进行特征融合。
L-ViT块主要用于学习特征地图的全局特征。我们使用展开操作处理输入张量,将位置信息引入特征图,同时保留引入注意机制的编码器部分。然而,我们用卷积操作替换解码器部分来调整输出特征映射的大小。增强的Light-ViT进一步加强了网络对图像的理解,并通过全面提取和融合本地和全局特征提供了更强大的性能。结构如所示图7.
输入图像首先通过标准卷积层,主要用于生成浅层特征图和调整输入尺寸。随后,将特征地图输入到Light-ViT主干中,该主干由多个MN块和L-ViT块交替堆叠而成。这使网络能够学习集成本地和全局特征的新高级特征地图。这些特征可以更准确地捕获图像细节和全局信息,从而为后续分类任务提供更丰富、更全面的信息。然后,用1×1卷积层将特征映射到高维空间。最后,通过全局池和线性层获得网络输出。在全局池中,网络可以对整个要素图执行统计操作,以获取更全面和丰富的信息。最后,通过线性层的变换,网络将特征地图转化为具有相应类别概率分布的向量。
我们提出的Light-ViT通过引入MN块和改进L-ViT块,显著降低了对计算资源的需求,并大大增强了网络的特征学习能力。当集成到系统中时,此轻量级网络显示出较高的识别准确性。

4.实验与讨论

4.1. 实验数据介绍

目前互联网上还没有公开的手指静脉假体或活体短视频。本实验制作了三种手指静脉假体,利用自制设备采集了近红外手指静脉的短视频,并进行了模拟伪造攻击实验。该数据集由400个短视频组成,其中包括来自100个不同手指的200个实时手指静脉视频。假体材料分为A4纸、PVC塑料和激光膜。收集了100个人工手指静脉视频。这些视频样本涵盖不同的角度和不同的照明条件。在实验中,将数据集按照8:2的比例随机划分为训练集和测试集,并确保没有重复样本。因此,训练集包含320个视频,验证集包含80个视频。早期的方法[34]在本章介绍的数据采集设备中,假体制造的成像质量不太理想。常见的问题包括采集图像、人造假体和采集图像中存在明显的噪音、过度的静脉对比度和过度模糊的区域,如图8.
真实静脉在非静脉区域的颜色和纹理上表现出一致性。为了在假体中模拟这一特性,我们首先应用高斯滤波来模糊真实静脉图像并消除噪声。随后,我们通过对比度限制直方图均衡化来增强静脉特征。在此之后,我们执行了自适应区域阈值分割,将结果图像用作对原始图像应用局部幂律变换的掩码。实验结果证明了我们制造的假体的采集图像的质量,如图所示图9如下所示。
在模型训练之前,对所有视频样本进行预处理,并将其转换为MSTmap表示作为输入数据。MSTmap图像的大小为(2241803)。最后,400幅MSTmap图像被发送到网络或用于实验。

4.2. 模型参数

在网络训练过程中,设置了以下参数:批量大小为32;并行任务数为8个;训练轮数设为300轮;初始学习率为0.0001,根据余弦退火策略进行动态调整。优化器采用自适应矩估计方法,损失函数为交叉熵损失。
损失函数用于测量网络输出和标签错误。神经网络反向传播的目的是减少输出和标签之间的误差。本文的主要任务是对网络进行分类。

4.3. 评价指标

为了客观评价手指静脉PAD算法的性能并比较实现的算法之间的性能,研究人员通常使用国际标准中的相关评价指标[35]. 评估活性检测系统检测效果的指标通常包括准确率(ACR)、攻击呈现分类错误率( P(P) C类 E类 R(右) )和真实呈现分类错误率( B类 P(P) C类 E类 R(右) ).
的计算公式 P(P) C类 E类 R(右) B类 P(P) C类 E类 R(右) 如下所示:
P(P) C类 E类 R(右) P(P) S公司 = 1 1 N个 P(P) S公司 = 1 N个 P(P) S公司 R(右) E类 S公司 .
B类 P(P) C类 E类 R(右) = = 1 N个 P(P) S公司 R(右) E类 S公司 N个 B类 F类 .
其中,假体样本的数量是真实样本的数量。如果 样本被归类为假体,它是1,反之亦然,它是0。生物特征防伪系统应该追求更高的安全性,因此 P(P) C类 E类 R(右) 考虑到ACR和 B类 P(P) C类 E类 R(右) .

4.4. 实验

首先,我们将视频样本转换为MSTmap图像,以提取动态活性特征。随后,这些MSTmap图像被送入增强的ViT网络进行分类,以确定样本是否代表真实的手指静脉模式。与DFT+SVM方法相比[13],我们的方法消除了复杂的频域变换的需要,并展示了卓越的泛化能力。与EVM+MPR方法相比[36],我们的技术不依赖于滤波频率的选择,并且表现出了对噪声干扰的更高抵抗力。此外,与LBP+WLD方法相比[37]我们的方法更有效地利用了视频中的动态信息,避免了与纹理特征提取相关的信息丢失。实验结果如所示表1.
基于我们的实验结果,生存度特征提取方法MSTmap与Light ViT分类相结合,获得了99.63%的最高准确率。相比之下,DFT+SVM和EVM+MPR方法的准确率分别为91.04%和82.92%。采用LBP+WLD的方法在数据集上的精确度最低,仅为78.75%。
轻量级网络的出现为生物特征识别系统提供了关键的技术支持。通过将这些轻量级网络集成到生物特征系统中,我们可以显著减少计算资源的消耗,同时仍然可以识别和捕获生物特征中的基本细节。为了进一步评估Light-ViT网络在本任务中的性能,并与该领域其他有影响力和代表性的网络进行比较,本研究选择以下网络进行比较分析:(1)VGG-16是一个基于CNN的图像分类网络,由16层深度和紧凑卷积核的使用组成[38]. (2) ResNet50是一种基于剩余学习原理的CNN架构,能够训练50层深度的网络,同时缓解梯度消失和退化等问题[39]. (3) ViT是一种基于视觉变换器的图像分类网络,它利用自注意机制来捕捉全局特征,与传统的细胞神经网络相比,显示出卓越的计算效率和准确性[12]. (4) MobileNetV2是轻量级卷积神经网络的一个示例,它通过深度可分离卷积等技术大幅降低了网络参数[40]. 测试集的精度见表2.
从实验结果可以看出,Light-ViT在MFVD数据集上是最优的,准确率为99.63%,错误接受率为0。在测试的网络中,MobileNetV2、ResNet50和ViT表现出最高的性能,分别达到97.25%、97.22%和96.87%的准确率。相比之下,VGG16作为最不有效的选项落后,准确率达到92.47%。这些结果强调了Light-ViT网络在有效融合CNN和ViT架构的优点方面的功效,从而能够学习图像中的全局和局部特征,从而提高检测准确性。上述实验中网络损耗函数的变化如所示图10.
每个网络的参数和计算负载详见表3在网络规模和计算需求方面,Light-ViT具有显著优势。它的轻量级架构可以显著减少系统的响应时间。
为了评估我们的网络结构改进对最终结果的影响,我们将Light-ViT网络架构中的L-ViT块替换为大小为3×3的标准卷积层,修改卷积通道数,并删除线性瓶颈结构,从而形成基线网络(Basenet)。实验结果如所示表4.
实验结果表明,该L-ViT块显著提高了网络性能。通过引入ViT结构,网络获得了学习全局特征的能力。为了验证MSTmap在帮助后续网络特征识别中的作用,我们设计了以下对比实验。首先,我们直接使用从静脉视频中提取的帧,从每个视频样本中随机选择四个帧,共计7056个训练图像。然后使用Light-ViT网络对其进行训练。下图显示了消融研究的损失曲线。损失图如所示图11.
为了评估本研究中提出的静脉防伪识别系统的性能,该系统集成了一个轻量级网络,我们选择手指静脉识别作为一个特定的应用场景,并将其与其他具有代表性的网络结构进行了比较。我们使用了MFVD数据集、FV-USM数据集和VERA数据集,对它们进行了数据增强,并将它们按比例拆分为训练和验证集,详见表5.
我们还对其他轻量级网络进行了比较实验,实验表明,我们提出的Light-ViT在三个不同的数据集上取得了更好的性能。表6用于说明与ACR的比较结果。
本文介绍的Light ViT网络在识别任务中表现出了值得称赞的性能,在MFVD数据集上达到了98.81%的准确率。这一成就超过了其他传统的CNN和ViT网络。值得注意的是,尽管所有替代网络架构在MFVD数据集上实现了超过95%的准确率,但Light-ViT网络通过提供更紧凑的参数大小和更少的计算工作量而独树一帜。这些属性使其非常适合在移动设备上进行部署和操作。因此,Light-ViT成为一种能够有效利用全球信息处理能力的神经网络,在身份识别任务中具有显著优势。

5.结论

本文提出了一种用于静脉图案防伪识别的视频检测系统。在这个系统中,我们提出了一个轻量级网络,并通过引入L-ViT块来增强其学习全局特征的能力。此外,我们用深度可分离卷积代替标准卷积来构建MN块,降低了卷积运算的计算成本,从而降低了网络的大小和计算负载。我们将此轻量级网络嵌入到系统中,并将视频数据转换为多尺度时空图,以便网络提取更多特征信息。实验结果表明,与其他轻量级网络相比,Light-ViT具有计算速度快、参数占用空间小、识别精度高等优点。与该网络集成的检测系统具有卓越的实时性能和可用性。假肢攻击一直是生物信息安全领域的一个突出问题。手指静脉活体解剖面临的挑战在于出现了更复杂的攻击类型。尽管我们提出的系统在实验中表现出了出色的性能,但我们计划在两个关键领域进行进一步的研究。首先,我们旨在增强设备,以应对各种场景中的假肢攻击。其次,我们将继续加强深度学习网络从手指静脉的MSTmap中提取特征的能力。我们未来的工作还将深入研究生物信息安全领域。

作者贡献

概念化、L.C.和T.G。;方法论,L.C.和H.J。;软件、H.J.和T.G。;验证、W.L.和L.L。;形式分析,L.C.和Z.L。;数据管理,W.L.和L.L。;书面原稿编制,T.G。;书面审查和编辑,L.C.和T.G。;监理、L.C.和Z.L.所有作者均已阅读并同意手稿的出版版本。

基金

本论文的研究得到了以下基金的支持:(1)重庆市自然科学基金项目cstc2020jcyj-msxmX0818、CSTB2023NSCQ-MSX0760和cstc2021ycjh-bgzxm0071。(2) 重庆市教委科技研究计划项目(编号:KJZD-M202301502、KJQN201901530、KJQN202300225、KJQ N202101513)和重庆研究生教育“课程思想政治”示范工程(编号:YKCSZ23193)。(3) 重庆科技大学研究生创新计划项目,编号:YKJCX2220803、ZNYKJCX2022008、ZNYKJCX2022017。(4) 中国船舶工业总公司武汉海事通信研究所基金,编号KCJJ2020-6。

机构审查委员会声明

不适用。

知情同意书

不适用。

数据可用性声明

数据包含在文章中。

利益冲突

作者声明没有利益冲突。

工具书类

  1. 阿里,S.F。;Khan,文学硕士。;Aslam,A.S.指纹匹配、恶作剧和活性检测:分类和文献综述。前面。计算。科学。 2021,15, 151310. [谷歌学者] [交叉参考]
  2. Himaga,M。;Kou,K.手指静脉认证技术和金融应用。生物计量学进展; 施普林格:英国伦敦,2008年;第89–105页。[谷歌学者]
  3. 于,Z。;秦,Y。;李,X。;赵,C。;雷,Z。;Zhao,G.深度学习面部防滑:一项调查。IEEE传输。模式分析。机器。智力。 2021,45, 5609–5631. [谷歌学者] [交叉参考] [公共医学]
  4. 托姆,P。;瓦诺尼,M。;Marcel,S.论手指静脉识别对欺骗的脆弱性。2014年9月10日至12日,在德国达姆施塔特举行的2014年生物计量学特别利益集团国际会议记录;第1-10页。[谷歌学者]
  5. Krishnan,R.假冒生物特征检测的图像质量评估:应用于指纹图像。国际期刊高级研究。 2016,4, 2015–2021. [谷歌学者] [交叉参考] [公共医学]
  6. Ke,K.日立在中文中首次推出静脉识别技术智能手机,搜狐,2016.10.30。在线可用:https://www.sohu.com/a/117647702_122331(2023年8月3日访问)。
  7. 圣多美和普林西比。;Raghavendra,R。;Busch,C.关于手掌静脉识别对欺骗攻击的脆弱性。2015年5月19日至22日,泰国普吉岛,《2015年国际生物计量会议论文集》;第319-325页。[谷歌学者]
  8. 拉马钱德拉(Ramachandra,R.)。;Busch,C.人脸识别系统的演示攻击检测方法:综合综述。ACM计算。Surv公司。 2017,50, 1–37. [谷歌学者] [交叉参考]
  9. Rehman,Y。;Po,L。;Liu,M.LiveNet:使用卷积神经网络改进人脸活性检测的特征泛化。专家系统。申请。 2018,108, 159–169. [谷歌学者] [交叉参考]
  10. 胡,M。;钱,F。;郭,D。;王,X。;He,L。;Ren,F.ETA-rPPGNet:远程心率测量的有效时域注意网络。IEEE传输。仪器。测量。 2021,99, 1–12. [谷歌学者] [交叉参考]
  11. Yu,L。;杜,B。;胡,X。;Sun,L。;Han,L.等人。;Lv,W.用于交通事故预测的深时空图卷积网络。神经计算 2021,423, 135–147. [谷歌学者] [交叉参考]
  12. Dosovitskiy,A。;Beyer,L。;Kolesnikov,A。;韦森伯恩,D。;翟,X。;Unterthiner,T。;Dehghani,M。;Minderer,M。;Heigold,G。;盖利,S。;等。一幅图像值16×16个单词:用于大规模图像识别的变形金刚。arXiv公司 2020,arXiv:2010.11929。[谷歌学者]
  13. 陈,X。;黄,M。;Fu,Y.同时采集手静脉和脉搏的近红外图像,以识别手背静脉的活性。红外物理。Technol公司。 2021,115, 103688. [谷歌学者] [交叉参考]
  14. Määttä,J。;哈迪德,A。;Pietikäinen,M.使用微纹理分析从单个图像进行人脸欺骗检测。2011年10月11日至13日,美国华盛顿特区,2011年国际生物计量学联合会议(IJCB)会议记录;第1-7页。[谷歌学者]
  15. 钦戈夫斯卡,I。;Anjos,A。;Marcel,S.论局部二进制模式在人脸反泄密中的有效性。2012年9月6日至7日在德国达姆施塔特举行的国际生物计量学特别兴趣小组会议记录;第1-7页。[谷歌学者]
  16. 托姆,P。;Raghavendra,R。;布希,C。;Tirunagari,S。;Poh,N。;谢卡尔,B.H。;Gragnaniello,D。;Sansone,C。;Verdoliva,L。;Marcel,S.第一届手指静脉欺骗攻击对策竞赛。2015年5月19日至22日,泰国普吉岛,《2015年国际生物计量会议论文集》;第513-518页。[谷歌学者]
  17. 方,Y。;吴琼。;Kang,W.基于两流卷积网络学习的新型手指静脉验证系统。神经计算 2018,290, 100–107. [谷歌学者] [交叉参考]
  18. Bok,J.Y。;苏,K.H。;Lee,E.C.使用远程光体积描记术检测假指骨数据。数码产品 2019,8, 1016. [谷歌学者] [交叉参考]
  19. Pouyanfar,S。;Sadiq,S。;Yan,Y。;田,H。;Tao,Y。;Reyes,医学博士。;Shyu,M.-L。;Chen,S.-C。;Iyengar,S.S.深度学习调查:算法、技术和应用。ACM计算。Surv公司。 2018,51, 1–36. [谷歌学者] [交叉参考]
  20. 阿西姆,O.M。;Alkababji,A.M.CNN和用于生姜静脉识别的遗传算法。2021年12月7日至10日在阿拉伯联合酋长国沙迦举行的2021年第14届电子系统工程发展国际会议(DeSE)会议记录;第503-508页。[谷歌学者]
  21. Y.Baweja。;Oza,P。;佩雷拉,P。;Patel,V.M.基于异常检测的未知人脸呈现攻击检测。2020年9月28日至10月1日,美国德克萨斯州休斯顿,IEEE国际生物计量联合会议(IJCB)会议记录;第1–9页。[谷歌学者]
  22. 曾,J。;Wang,F。;邓,J。;秦,C。;翟毅。;甘·J。;Piuri,V.基于完全卷积神经网络和条件随机场的手指静脉验证算法。IEEE接入 2020,8, 65402–65419. [谷歌学者] [交叉参考]
  23. 陶,Z。;王,H。;胡,Y。;韩,Y。;Lin,S。;Liu,Y.DGLFV:指纹识别的深度广义标记算法。IEEE接入 2021,9, 78594–78606. [谷歌学者] [交叉参考]
  24. Gionfrida,L。;鲁斯利,W.M.R。;阿联酋凯奇利。;Bharath,A.A.,用于手势识别的3DCNN-LSTM多类时间分割。数码产品 2022,11, 2427. [谷歌学者] [交叉参考]
  25. Sandouka,S.B.公司。;Bazi,Y。;Alajlan,N.多目标指纹传感器中用于活体检测的变形金刚和生成对抗网络。传感器 2021,21, 699. [谷歌学者] [交叉参考]
  26. 亚当,E.E.B。;Sathesh,A.用机器学习方法评估指纹活力检测——系统观点。爱尔兰共和国J。 2021,, 16–30. [谷歌学者]
  27. 周,L。;Yang,L。;Fu博士。;Yang,G.SIFT-基于流的单样本手指静脉识别虚拟样本生成。数码产品 2022,11, 3382. [谷歌学者] [交叉参考]
  28. 科诺,M。;Ueki,H。;Umemura,S.用于个人识别的近红外手指静脉模式。申请。选择。 2002,41, 7429–7436. [谷歌学者] [交叉参考]
  29. Yang,J.等人。;Zhang,X.用于个人识别的指纹和手指静脉的特征级融合。模式识别。莱特。 2012,33, 623–628. [谷歌学者] [交叉参考]
  30. Sengar,S.S.公司。;Susanta,M.通过背景减法和改进的三帧差分进行前景检测。阿拉伯的。科学杂志。工程师。 2017,42, 3621–3633. [谷歌学者] [交叉参考]
  31. 萨瓦尔,S.S。;熊猫,P。;Roy,K.Gabor滤波辅助节能快速学习卷积神经网络。2017年7月24日至26日在台湾台北举行的2017 IEEE/ACM低功耗电子与设计国际研讨会(ISLPED)会议记录;第1-6页。[谷歌学者]
  32. 盖罗斯,R。;Rubisch,P。;Michaelis,C。;Bethge,M。;F.A.Wichman。;Brendel,W.ImageNet训练的CNN偏向于纹理;增加形状偏差可以提高准确性和鲁棒性。arXiv公司 2018,arXiv:1811.12231。[谷歌学者]
  33. Boughida,A。;M.N.库亚拉。;Lafifi,Y.一种基于Gabor滤波器和遗传算法的面部表情识别新方法。进化。系统。 2022,13, 331–345. [谷歌学者] [交叉参考]
  34. A.G.霍华德。;朱,M。;陈,B。;Kalenichenko,D。;Wang,W。;韦扬德,T。;安德烈托,M。;Adam,H.Mobilenets:移动视觉应用的高效卷积神经网络。arXiv公司 2017,arXiv:1704.04861。[谷歌学者]
  35. ISO/IEC 30107-3-2017;信息技术-生物特征表示攻击检测-第3部分:测试和报告。在线可用:https://www.iso.org/standard/53227.html(2023年8月7日访问)。
  36. Lin,B。;李,X。;于,Z。;Zhao,G.通过rppg特征和基于上下文补丁的CNN进行人脸活性检测。2019年5月29日至31日在瑞典斯德哥尔摩举行的2019年第三届国际生物特征工程与应用会议记录;第61-68页。[谷歌学者]
  37. Park,K.R.基于SVM的全局和局部特征相结合的手指静脉识别。计算。通知。 2011,30, 295–309. [谷歌学者]
  38. 宋,J.M。;Kim,W。;Park,K.R.基于deep DenseNet的复合图像指纹识别。IEEE接入 2019,7, 66845–66863. [谷歌学者] [交叉参考]
  39. Chen,L。;李,S。;Bai,Q。;Yang,J.等人。;江,S。;Miao,Y.基于卷积神经网络的图像分类算法综述。远程传感器。 2021,13, 4712. [谷歌学者] [交叉参考]
  40. 桑德勒,M。;A.霍华德。;朱,M。;Zhmoginov,A。;Chen,L.C.Mobilenetv2:倒置残差和线性瓶颈。2018年6月18日至23日,美国犹他州盐湖城,IEEE计算机视觉和模式识别会议记录;第4510–4520页。[谷歌学者]
图1。指静脉静态短期视频活性检测系统流程图。
图1。手指静脉静态短期视频活体检测系统流程图。
传感器23 09637 g001
图2。硬件设备:()住房形象;(b条)内部结构图;(c(c))采集过程图像。
图2。硬件设备:()住房形象;(b条)内部结构图;(c(c))采集过程图像。
传感器23 09637 g002
图3。低图手指静脉静态短期视频实时检测系统。
图3。低图手指静脉静态短期视频实时检测系统。
传感器23 09637 g003
图4。多尺度时空地图的构建。
图4。多尺度时空地图的构建。
传感器23 09637 g004
图5。MN块的结构。
图5。MN块的结构。
传感器23 09637 g005
图6。L-ViT块结构图。
图6。L-ViT块结构图。
传感器23 09637 g006
图7。Light-ViT网络结构。
图7。轻型ViT网络结构。
传感器23 09637 g007
图8。假体由三种不同材料制成:()A4纸;(b条)PVC塑料;(c(c))激光胶片。
图8。假体由三种不同材料制成:()A4纸;(b条)PVC塑料;(c(c))激光胶片。
传感器23 09637 g008
图9。体内和假体的捕获图像:()活样本;(b条)A4纸;(c(c))PVC塑料;(d日)激光打印胶片。
图9。体内和假体的捕获图像:()活样本;(b条)A4纸;(c(c))PVC塑料;(d日)激光打印胶片。
传感器23 09637 g009
图10。损失曲线。
图10。损失曲线。
传感器23 09637 g010
图11。Light-ViT的烧蚀实验损耗曲线。()烧蚀实验损失曲线;(b条)MSTmap实验损失曲线。
图11。Light-ViT的烧蚀实验损耗曲线。()烧蚀实验损失曲线;(b条)MSTmap实验损失曲线。
传感器23 09637 g011
表1。常用PAD方法的对比试验。
表1。常用PAD方法的对比试验。
实验方法ACR公司APCER公司BPCER公司
LBP+WLD0.78750.3250.2861
EVM+MPR0.82920.20830.1583
DFT+SVM0.91040.08330.0917
MST地图+Light-ViT0.996300.0037
表2。比较实验结果。
表2。比较实验结果。
网络名称ACR公司APCER公司BPCER公司
VGG16型0.92470.08030.0712
ResNet50公司0.96870.03640.0367
ViT公司0.97220.02940.0299
MobileNetV2手机0.97250.02810.0307
轻型车辆0.996300.0037
表3。网络参数。
表3。网络参数。
网络名称总参数(M)参数大小(MB)GFLOPS(米)
VGG-16型134.269512.1930,932
ResNet公司23.51289.698263
ViT公司85.648326.7233,726
MobileNetV2手机2.2268.49652.419
轻型车辆1.1074.22690.217
表4。烧蚀实验结果。
表4。烧蚀实验结果。
网络结构ACR公司APCER公司BPCER公司
基线0.90900.09280.1005
Basenet+L-ViT块0.98090.01470.0239
Basenet+瓶颈0.92870.06030.0716
基线+全部0.996300.0037
表5。数据集组成。
表5。数据集组成。
数据集数量(图片)等级比例
MFVD公司17,2802888:2
FV-USM公司23,6164928:2
维拉14,0802208:2
表6。身份识别实验结果和网络参数。
表6。身份识别实验结果和网络参数。
网络结构ACR公司
MFVD公司维拉FV-USM公司
VGG16型0.95880.91720.9285
ResNet50公司0.96870.94260.9428
ViT-160.96990.93590.9471
MobileNetV2手机0.96840.94280.9452
轻型车辆0.98810.96120.9702
免责声明/出版商注释:所有出版物中包含的声明、意见和数据仅为个人作者和贡献者的声明、观点和数据,而非MDPI和/或编辑的声明、看法和数据。MDPI和/或编辑对内容中提及的任何想法、方法、说明或产品造成的任何人员或财产伤害不承担任何责任。

分享和引用

MDPI和ACS样式

Chen,L。;郭,T。;李,L。;姜浩。;罗,W。;李,Z。基于多尺度时空图和Light-ViT模型的手指静脉活度检测系统。传感器 2023,23, 9637.https://doi.org/10.3390/s23249637

AMA风格

陈磊,郭T,李磊,姜浩,罗伟,李姿。基于多尺度时空图和Light-ViT模型的手指静脉活度检测系统。传感器. 2023; 23(24):9637.https://doi.org/10.3390/s23249637

芝加哥/图拉宾风格

陈、刘奎、郭腾文、李丽、姜海阳、罗文福和李左金。2023.“基于多尺度时空图和Light-ViT模型的手指静脉活度检测系统”传感器23,24号:9637。https://doi.org/10.3390/s23249637

请注意,从2016年第一期开始,该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章指标

返回页首顶部