1.简介
仅限授权人员访问资源的问题是一个快速发展的技术领域。这适用于访问机密资源，但也适用于访问银行账户、保险箱和其他限制访问且仅限于特定人员访问的地方。如今，现代安全解决方案应用于多个阶段，即您需要一些东西（例如，卡、硬件令牌、手机或其他可以访问互联网的电子设备），然后您需要知道一些东西（如pin码、密码、标志或符号）。选定的生物特征还用作进一步的验证步骤[1,2]. 生物特征可分为两组：（1）行为特征，例如可以包括手写签名、行走方式或特征眼动、声音、击键动力学等；（2）生理特征，例如包括指纹线、手的几何特征、面部特征几何特征、声音颜色、，耳朵几何形状、虹膜和视网膜特征、手指的血管系统等等[三]. 这本质上使生物识别系统发挥模式识别系统的功能。 身份验证系统容易受到攻击，因此可能会发生试图操纵数据的行为。提高生物特征识别系统安全性的一个解决方案是使用多个生物特征识别，这称为多模式方法[4]. 当使用两个或多个生物特征时，可以增强生物特征系统的安全性和有效性[三,5]. 对于生物特征的选择，应考虑到特征解决方案应具有以下特征：
可靠性——解决方案必须产生最小的错误检测；
独特性——没有两个人应该具有相同的特征；
可接受性——无用户反对测量/使用；
解决方案的合理成本。
对于使用单一生物特征的解决方案，最发达的领域之一是使用人手手指的血管系统（FVS，手指血管系统）[6]. 在这种情况下，数据采集需要使用特殊设备：必须至少使用照明器和近红外成像相机/传感器。血管系统的另一个非常重要的特性是它对外界不可见，并且通常假定它具有先验的长期稳定性[7,8,9]. 然而，前者尚未得到明确证实。特别是，在几十年的时间里，血管系统的稳定性似乎值得怀疑，因为现有疾病可能会导致血管系统的几何结构发生明显变化。在文章中[10]作者介绍了患有各种疾病（例如振动病或需要血液透析的患者）的血管系统。通过对图像进行比较，可以推断出经过较长时间后，血管系统确实会发生变化，因此应不时重新训练图像识别/分类算法。 一些与FVS相关的出版物涉及工具问题，例如选择合适的NIR长度[11,12]，用于提高识别性能的适当长度组合的组件[13]，或新型采集设备[12,14,15,16,17]. 还考虑了预处理和后处理阶段的算法问题[12,18]. 新数据处理方法的开发非常密集[19,20]现在主要关注神经网络、机器学习、高级数学函数和其他解决方案的使用。 使用FVS的一种自然、高效的识别解决方案似乎是创建它的3D图像。然而，这是一个相当复杂的过程，需要相当多的计算资源，系统的一个更复杂的机械部分（例如，使用运动部件），通常需要更大的空间，在许多情况下，需要多个摄像头。这增加了设备的成本，使其在商业上的吸引力降低，并且与配备单个摄像头的固定系统相比，通过大量扩展，可靠性降低[21,22,23]. 表1收集科学出版物中描述的用于获取手指血管系统图像的设备和系统的信息。该表显示了包含所述设备拍摄的图像的公共可用数据库以及仅设备概念。使用中显示的图像查看所描述的数据库后表1可以看出，没有数据库或设备允许同时收集许多生物特征。 本文提出了一种更高效、更健壮的手指生物特征采集系统。所提供的设备允许增加生物特征的数量，同时保持设计的简单性（无运动部件，单个探测器/摄像头），从而确保高可靠性和低制造成本。脉搏检测可减少将人造手用作未经授权获取资源的人工制品的可能性[24]. 建议的解决方案允许分析以下特征：（1）通过使用三个长度的NIR二极管和总共十二个离散照明器位置照明获得的血管系统，（2）由于使用外部照明器导致的手指外部纹理，（3）手指形状，（4）边缘形状，以及（5）脉搏波。建议的解决方案目前正在作为原型进行测试，可以成功地实现小型化，并且由于其简单性和缺乏机械部件，可以达到可靠和紧凑的商业设备的水平。
表1。已知FVS生物特征数据库/设备的数据库。
| 姓名 | 第卷。 | 图像。 | NIR长度 | [1] | [2] | [3] | [4] | [5] | [6] | [7] | [8] | [9] |
|---|
| 新加坡国立大学[25] (2009) | 20 | 200 | 830 | XB公司 | X（X） | - | - | - | - | - | - | X（X） |
| THU-FVFDT型[26] (2009) | 60 | 120 | 890 | XB公司 | X（X） | - | - | - | X（X） | - | - | - |
| 普库[27] (2010) | 5208 | 50,700 | 850 | XB公司 | - | - | - | - | - | - | - | X（X） |
| SDUMLA公司[28] (2011) | 106 | 3616 | 890 | XB公司 | - | - | X（X） | - | - | - | - | - |
| 香港公共大学[29] (2012) | 156 | 6264 | 850 | XB公司 | X（X） | X（X） | - | - | - | - | - | X（X） |
| 输出电压[30] (2013) | 60 | 1440 | 850 | XB公司 | - | - | - | - | - | - | - | - |
| MMCBNU公司[31] (2013) | 100 | 6000 | 850 | XB公司 | X（X） | - | - | - | - | - | - | - |
| CFVD公司[32] (2013) | 13 | 1345 | 850 | XB公司 | X（X） | X（X） | - | - | - | - | - | - |
| 维拉[33] (2014) | 110 | 440 | 850 | XB公司 | - | - | - | - | - | - | - | - |
| FV-USM公司[34] (2014) | 123 | 5904 | 850 | XB公司 | X（X） | - | - | - | - | - | - | X（X） |
| GUC-FPFV公司[35] (2014) | 41 | 1500 | 870 | XB公司 | X（X） | X（X） | X（X） | - | - | - | - | X（X） |
| GustoDB公司[11] (2017) | 107 | 11,556 | 730, 808, 850, | XTB公司 | X（X） | - | - | - | X（X） | - | - | X（X） |
| | | | 860, 875, 880, | | | | | | | | | |
| | | | 890, 940, 950 | | | | | | | | | |
| PMMDB公司[36] (2018) | 47 | 188 | 850, 950 | XT公司 | X（X） | - | - | X（X） | X（X） | - | - | - |
| PLUSVein公司[12] (2018) | 60 | 3600 | 808, 850, 950 | XTB公司 | X（X） | - | - | X（X） | X（X） | - | - | X（X） |
| SCUT-SFVD公司[37] (2018) | 100 | 3600 | 850 | XB公司 | X（X） | - | - | - | - | - | - | - |
| MPFVS公司[38,39] (2018) | 63 | 252 | 808 | XTB公司 | X（X） | - | - | - | X（X） | - | X（X） | X（X） |
| 三维调频[40] (2020) | 66 | 132 | 850 | XTB公司 | X（X） | X（X） | X（X） | - | X（X） | - | X（X） | X（X） |
| 3FVFKP公司[41] (2021) | 203 | 8526 | 850 | XTB公司 | X（X） | - | - | - | - | - | X（X） | - |
| 提出(2022) | - | - | 730, 875, 940 | XT公司 | X（X） | X（X） | - | X（X） | X（X） | X（X） | X（X） | X（X） |
2.概述
本研究的目的是设计和制造一种用于手指血管近红外成像的多波长生物特征采集系统。图1显示了卸下前面板前后的设备。仅用于从相机采集图像的Intel NUC mini-PC连接在左侧图像上。 在原型制作阶段，重要的是正确选择硬件平台。考虑到其巨大的普及度和高计算能力，该系统基于Raspberry Pi（RPi）平台。RPi的优点是拥有庞大的社区、质量非常好的技术文档以及多种语言（例如Python、C、C++）的编程库。这种选择决定性地促进了设备各个部件的集成和测试。丰富的公共可用库支持RPi的现有组件或外围设备，使我们能够快速测试几个变体并选择正确的解决方案。WiFi和蓝牙无线连接、以太网端口以及USB或HDMI接口的可用性也值得一提。此外，RPi用户可以从基于Linux、Unix或Windows的多种操作系统变体中进行选择。
所有这些功能不仅简化了开发阶段，还可以为创建独立版本提供一个良好的起点。在这种情况下，可以将摄像头（使用USB或CSI摄像头端口）和触摸屏（使用DSI显示端口）连接到RPi，从而创建一个低成本的独立设备。RPi的高计算能力以及用于图像处理的软件工具的可用性，如OpenCV、Python库（例如Scikit-image、PIL/pillow、NumPy），将大大促进自定义处理算法的开发。
实现基本功能（即使用NIR LED对手指进行背光照明的能力）需要设计和制造专用电子电路，该电路通过标准GPIO连接器连接到RPi（参见图2B、 C）。除了组件外，PCB上还放置了一个特殊的外壳，以提供手指支架。内部有15个近红外LED，排列成3排，每排5个（在进行的测试中，我们被限制为12个LED-3×4，因为这可以为手指提供充分的照明）。为了控制二极管，使用了一个专用的多通道LED控制器，将MOSFET晶体管连接到该控制器上，以扩大流过二极管的电流范围。 使用配备CMOS传感器的ZWO ASI178MM相机（单色，分辨率为3096×2080像素），通过USB 3.0接口连接到工作站，以捕获图像。该相机有一个2.5毫米广角CS透镜（成像角度为170度），配有一个安装的红外滤光片，可滤除部分光谱（Thorlabs公司生产的长通滤光片型号FEL0650，Cut-On波长650 nm[42]). 通过切断可见光区域，可以减少来自外部的潜在杂散光。我们的成像设备使用像素装箱模式（称为装箱2×2），将成像区域缩小到260像素宽的纵向切片。这使我们能够将捕获速率提高到每秒约130帧。 该设备的一个独特功能是能够快速获取图像。这是由于需要减少个人将手指放在我们的设备中的时间，以及希望观察所有使用的二极管中的脉冲波形。获取不同NIR二极管激活组合的手指图像的一种自然方法似乎是使用一种简单的机制，其中工作站发送请求以点亮适当的二极管组合。当请求得到满足时，设备发送一个确认，这将启动相机图像捕获。不幸的是，在研究的初始阶段进行的测试表明，这种方法并没有达到令人满意的图像采集速度。这是因为每次向相机发送曝光请求时都会同时发送其完整配置。在使用相机的情况下，这允许它每秒最多获得十几张图像，如果希望在12个二极管中的每个二极管的照明下记录脉冲波，这个数字太小了。
假设示例心率为90 bpm且有12个二极管，可以计算出根据奈奎斯特标准，最小信号采样率应为每秒36个样本。之前引用的值表明，使用所讨论的单次方法不符合此要求。在目前的工作中，这个问题是通过使用Free-Run（FR）模式解决的，在这种模式下，相机的配置参数只在采集开始时传输。不幸的是，一旦开始记录，背光二极管模块和相机帧之间就没有同步（相机的数据持续存储在RAM缓冲区中，只有在成像完成后才能访问该缓冲区）。
为了确保充分的数据同步，使用了一组额外的7段显示器，通过端口扩展器连接到RPi（参见图2A） ●●●●。由于在图像采集过程中手指遮挡了NIR LED（无法估计其状态），因此将7段显示器放置在相机的视野中，LED照明的当前模式很容易清晰地集成到记录的图像中（一套由两个7段显示器组成的显示器足以满足12个二极管的当前状态，但我们发现了一个带有4个显示器的廉价模块，并对此感到满意）。通过对NIR和7段二极管进行适当的定时控制，并通过对结果图像序列进行事后分析，可以提取每个打开的NIR LED的帧。这两种方法的详细信息在软件和后处理部分。 2.1. 硬件
设备框图如所示图3主要组件是一台单板计算机（SBC-single-board computer）Raspberry Pi 3 B型，配备1 GB RAM，并安装了Raspberry-Pi OS操作系统。生物特征采集系统的实现需要设计和制造HAT（硬件在顶部）附加板。HAT的尺寸为56×95 mm。HAT有一个与标准Raspberry Pi 40针GPIO头兼容的连接器。在附加板的中间部分，三排LED，每排五个元件，安装在一个特殊的外壳中。连续排列的二极管发射波长和光功率不同： 940 nm，140 mW光功率，L514EIR1B（LIRED5B）；
875纳米，210毫瓦光功率，TSA5205（VISHAY）；
730 nm，240 mW光功率，OSR9XAE3E1E（光电源）。
PCA9685芯片是一个16通道、12位PWM Fm+I2C-总线LED控制器，用于控制NIR LED[43]. 每个LED输出可以打开或关闭，也可以以12位分辨率（4096步）的0-100%可调占空比运行。用于PWM控制的频率可在24–1526 Hz范围内调整。由于需要使用超过控制器限制的电流——25毫安——使用N通道增强模式MOSFET构建的外部驱动器(=200毫安）[44]连接到PCA9685芯片。 由于RPi的GPIO线数量有限，使用带I2C接口的16位I/O扩展器MCP23017实现了包含4个7段显示器的模块[45]. 为了简单清晰地表示照亮手指的NIR LED的状态，每个显示器中只使用了3段。如图所示图3，有15个背光近红外LED（3排，共5排）。重要的是，在进行的测试中只使用了12个，因为它们提供了手指的完全照明。从机械上讲，模块是一个单独的板，封装在一个黑色外壳中，通过电线连接到RPi的SDA和SCL线路（和电源）(图2A） ●●●●。沿着指尖排列7段显示器（即作为其纵向延伸）非常有利，因为只有垂直缩小成像区域才能增加从CMOS型相机获取的帧数。 该设备还具有一个简单的用户界面，由三个微型开关和两个LED组成。其中一个LED用于照亮手指的上表面。所用LED为TSHG5510，发射波长为830 nm，光功率为55 mW[46]. 二极管的亮度由电流发射电阻器决定，其值是通过实验选择的。考虑到进一步扩展为独立站的可能性，该设备额外配备了一个带备用电池的实时时钟（RTC）M41T00[47]. 然而，该功能并未用于所进行的研究。 2.2. 软件
在自由运行模式下，相机以最大速度记录数据，设备独立于相机，按顺序显示预定义的二极管照明模式，并在7段显示器上显示。考虑到CMOS传感器中的图像采集方式（所谓的滚动快门），有必要在事件之间保持一定的时间依赖性，例如切换照明手指的NIR LED和7段显示器上的LED。此外，有必要调整相机在打开照明模式的情况下获得完整稳定手指图像的时间间隔的长度。此外，从录制的视频中提取单个帧对NIR LED和7段显示器都关闭的时间施加了限制。这段时间必须允许录制单个暗帧（参考帧），以描述视频序列中NIR LED照明的连续组合。
照明顺序的详细信息见图4.让表示系统的启动。然后关闭NIR LED、7段显示器和照明二极管（“LED off”、“7-SEG off”和“EXT.LED off”）。然后，开始更新PCA9685控制器寄存器的内容（“注册表更新”）。在RPi上运行的Python脚本确定适当的值，然后通过I2C接口将此数据发送到NIR LED驱动程序（此过程的持续时间主要取决于硬件功能，即I2C传输参数和操作系统如何处理传输）。这次，，由硬件决定，而“延迟”状态的持续时间，，已设置为长度毫秒。因此，我们可以控制时间当所有NIR LED熄灭时（视频中的暗框）。然后，对应于用户定义的P1模式的所选NIR LED被打开（“LED打开”），这是通过将PCA9655控制器的OE（输出启用）线设置为低状态来完成的。 下一步是打开7段显示器，以显示亮起的NIR LED的状态。这一时刻标志着从相机拍摄的帧将包含被照亮的手指的图像以及7段显示器上显示的正确图案的时期的开始。时间的长度设置为10毫秒。此时间与相机的曝光时间有关，即5毫秒。通过将照明时间设置为10 ms，我们可以确保录制的视频中至少有一次曝光会覆盖NIR LED，并且7段都打开期间，7段显示器关闭（“7-SEG off”），之后所有NIR LED同时关闭（PCA9685控制器的OE线设置为高电平）。
所述方案重复多次，以便将图像注册到后续图案。在进行的测试中，定义了12种没有外部照明参与的照明模式，即P1-P12。最后一个图案，P13，用外部照明显示（“EXT.LED ON”（外部发光二极管亮起））。
2.3. 后处理
由于相机中的滚动快门，各行图像的下载时间略有不同。这有时会导致在曝光期间关闭或打开NIR二极管的图像的配准。为了提取最终图像，即手指被选定的NIR二极管完全照亮的图像，我们应用了适当的后处理算法（参见算法1）。| 算法1：用于提取最终图像样本的后处理算法。 |
![传感器23 01981 i001]() |
在校准设备的过程中，我们决定所谓的检测像素的位置，这使我们能够检测7段LED的状态（打开或关闭）。由于摄像机固定在模块上的稳定性，一旦选定，探测器像素保持不变。的照明度j个中的第个探测器像素我在算法中，图像定义为.还选择了探测器的阈值。当LED在整个曝光过程中点亮时，图像中7段LED的亮度会导致饱和度。相反，当关闭时，亮度级别几乎为零。为了检测LED二极管，即使其关闭了一小部分曝光时间，也要通过实验选择20 ADU的检测级别（饱和度发生在255 ADU的级别；ADU代表模拟数字单元）。
在使用的解决方案中，有两个细节值得注意。首先，在图像提取过程中，我们使用“最大值”操作符，这确保了配准将与曝光期间红外二极管的完全照明相对应。其次，我们还应用了背景(B类在算法中）减法，这样可以消除可能到达设备的可变侧面照明。
算法的结果是缓冲区中的一组图像，采集时刻的相应缓冲区和检测到的二极管状态的缓冲器。从所有12个背光近红外二极管的样本个体获得的图像样本集如所示图5。中的强度刻度图5调整以显示所有图像中的结构；指甲内可见的白色区域在原始原始图像中没有饱和。在图6，我们给出了打开前照灯照明获得的图像示例()三个不同的人。 我们使用的图像传感器类型——滚动快门CMOS——可能是用于科学和商业目的的最常用的传感器。然而，应该明确指出，其他更复杂的图像传感器——帧转移CCD和全局快门CMOS——将不需要这种特定的数据选择方法。它们实际上是冻结的，在读出过程中对光不敏感。尽管如此，使用滚动快门相机，我们证明了事后图像提取也是可能的。
在自由运行模式下，ASI ZWO178MM相机达到每秒约130帧（FPS），经过后处理，我们每秒检索大约33个有用帧。相比之下，如果摄影机运行单个快照，并且同步是实时执行的，则每秒只可能有几帧。这是因为每次请求单个快照时都会运行初始化过程，而在自由运行模式下，初始化仅在采集开始时执行一次。
我们测试了是否可以识别来自我们设备的数据中的脉搏波。在手指区域内定义一个矩形的任意拍摄区域，并确定每个图像的平均亮度。然后分别对每个NIR二极管的平均亮度测量值进行归一化，以便每个提取的信号的平均值为1。组合所有信号的结果如所示图7虽然在这种情况下振幅不超过百分之几，但是可以容易地看到脉搏波。这表明该采集设备具有较高的灵敏度。在我们的仪器中检测脉搏波的能力可能很重要，因为它使用人造手指模型来防止潜在的攻击。 3.初步结果
原始文件的命名对应于从记录开始的第二次测量计数。处理后的数据具有与所连接的NIR二极管数量相对应的命名法。例如，文件“D01_0.51.png”表示二极管1打开，图像是在0.51s时拍摄的。与外部照明照明相对应的帧标有“DEXT”。完整的数据集以大约10GB的压缩存档的形式提供。
我们还收集了不同的数据集，将我们的多图像方法与传统的单图像方法进行比较。我们收集了短系列的图像（最多三个二极管模式扫描周期，不到一秒钟），并在周期结束时打开所有二极管的情况下获取了额外的图像。这对12个人中的每一个人重复10-15次，每次将手指放入机器的方式不同。然后，在这样一个测试集上，我们使用了当前最先进的机器学习算法之一-ResNET[48]-使用最简单的实现ResNET18。我们必须稍微修改第一个卷积层，使其接受1或12个输入图像，这对应于经典的单幅图像（全照明）或12幅图像（不同didoe的图像）分类。与原始ResNET18结构相比，该网络的其余内部保持不变，以在两种类型的输入数据中保持这种深度神经网络（DNN）的能力。 为了训练DNN，我们使用了PyTorch公司具有随机梯度下降（SGD）优化的Python库[49]以及交叉熵损失函数。这些是在类似的图像分类任务中常用的方法[50]. 作为训练集，我们从10-15个试验中随机选择了m2的图像。这是由少数受试者（只有12人）和相应的图像DNN分类任务的简单性决定的。如果将数据集80%的常用部分用作训练集，则两种方法的结果将非常接近100%，因此无法区分。因此，为了弥补有限的受试者数量，我们决定通过限制训练集中可用的数据量来增加任务难度，同时，我们留下了更大的数据集用于测试算法。培训过程使用了30个时间段，这似乎足以稳定验证集的最终准确性。训练重复了500次，为两种方法中的每一种提供了500个最终模型。 我们的实验结果见图8左侧的图显示了使用单个图像输入或12个图像训练的500个网络的验证集上的精度分布。可以观察到我们的多模方法的明显优势。右侧的图中给出了网络在训练的每个连续历元中获得的平均精度。在5-6个时代之前，这两种类型的输入数据似乎没有区别。然而，经过六个时期的训练，使用多个输入图像训练的网络取得了好几个百分点的效果，接近100%。应该注意的是，对于验证设备/技术，95%和99%之间的差异很大。假阳性决策的数量（这里是最关键的数量）减少了五倍。 4.结论
使用手指脉管系统（FV）进行个人识别是目前正在深入发展的技术课题。虽然大多数研究工作都集中在对图像进行分类以做出识别决策的算法上，但仍有少数新兴设备在收集的生物特征中引入了新的质量。
在本文中，我们提出了一种新的设备，允许捕获与人类手指成像相关的多个生物特征。与现有解决方案不同，可以在选择性照明下以图像的形式收集数据，包括空间和光波长。我们的仪器可以同时记录脉搏波形，并可以对表层皮肤进行纹理分析。
此外，该设备制造简单，相对便宜。该仪器（包括一台Intel NUC计算机）的成本在1000美元以内（2023年1月16日的成本估算）。它没有运动部件，我们认为可以成功地实现可靠的商业解决方案。根据合理的要求，感兴趣的读者可以获得设备的源代码、技术图纸和PCD设计。
预计将开展进一步的研究工作，从许多个人那里收集更多的数据，并将数据库作为公共资源提供，以便培训和比较用于个人身份识别的图像处理解决方案。
