A Novel Multimodal Biometrics Recognition Model Based on Stacked ELM and CCA Methods

Yang, Jucheng; Sun, Wenhui; Liu, Na; Chen, Yarui; Wang, Yuan; Han, Shujie

doi:10.3390/sym10040096

开放式访问第条

一种新的基于叠加ELM和CCA方法的多模态生物特征识别模型

天津科技大学计算机科学与信息工程学院，天津300457

^*

信件应寄给的作者。

对称 2018,10(4), 96;https://doi.org/10.3390/sym10040096

收到的提交文件：2018年2月11日/修订日期：2018年3月26日/接受日期：2018年3月28日/发布时间：2018年4月4日

（本文属于特刊基于深度学习的生物特征识别技术)

下载

浏览地物

版本说明

摘要

:

多模态生物特征结合了多种生物特征，对识别性能产生了重大影响，这是生物特征识别技术的一个新发展趋势。本研究提出了一种基于堆叠极端学习机（ELM）和典型相关分析（CCA）方法的新型多模式生物特征识别模型。该模型具有对称结构，被发现在多模态生物特征识别方面具有很大潜力。该模型的工作原理如下。首先，它使用极端学习机逐层学习生物图像的隐藏层表示。其次，应用典型相关分析方法将表示映射到特征空间，用于重构多模态图像特征表示。第三，重构特征被用作分类器的输入，用于监督训练和输出。为了验证该方法的有效性和效率，我们将其用于从典型人脸图像数据集和指印图像数据集获得的新的混合数据集。实验结果表明，该模型的性能优于传统方法。

关键词：

多模式生物特征;极限学习机;典型相关分析;深层网络

图形摘要

1.简介

生物特征识别技术因其广阔的应用前景和巨大的社会经济效益而受到全球的关注。然而，它可能会影响单模生物识别系统的性能，该系统已通过生物识别检测到“噪音”（如带有疤痕的指纹或因感冒而改变的声音）。已经找到了一种被称为多模式生物特征或多生物特征融合策略的解决方案，它代表了当代的趋势[1].

深度学习是机器学习的一项有前途的研究，最近得到了更多的关注。许多研究表明，具有多层隐层神经网络结构的深度网络具有充分挖掘数据有效信息的优点，还可以成功实现单模数据（文本、图像、语音等）的无监督学习[2]这激发了多模式深度学习。

多模式深度学习的一个重要前提是提取混合模式。模态融合已经做了很多工作。例如，Liu等人[三]针对视频分类任务，提出了多模式堆叠自动编码器，该编码器对图像、音频和文本进行建模，以获取信号的联合特征。Ngiam等人[4]将稀疏受限Boltzmann机器作为模型的基本单元，引入自动编码器的思想来学习视频和音频输入的联合特征，并进一步将其应用于视听语言分类中，以分离字母和数字。Srivastava等人[5]通过深度信念网络模型学习多模态数据表达，该模型将多数据映射到联合隐藏表达层，并在多模态输入空间上定义联合密度模型来填充缺失的数据。所有提到的多模态深度学习模型都可以获得令人满意的性能，但不可避免地会受到反向传播算法对泛化性能和学习速度的负面影响[6].

同时，极端学习机器（ELM）[7]与传统的深度学习方法相比，它以其快速的学习速度和高效的计算效率吸引了更多的关注。ELM避免了BP算法的缺点，获得了稳健的特征表示。因此，我们提出了堆叠ELM的新概念，它只使用ELM作为学习单元。它继承了自动编码器的计算效率和ELM的快速学习速度的优点。

多模式生物特征识别系统的第二个挑战在于有效的特征融合。数据融合由像素级、特征级和决策级三个级别组成。Paul等人[8]介绍了一种基于社会网络分析（SNA）的多模式生物特征识别系统决策融合方法，该方法用于增强分类器的可信度以降低错误率。Haghighat等人[9]提出了判别相关分析（DCA），这是一种特征级融合技术，在特征集的相关分析过程中结合了类关联。融合方法可以提高识别率，但也会导致更大的计算消耗。人们对简单而有效的融合方法进行了更多的研究。

典型相关分析（CCA）方法可以计算两组变量之间的关系。CCA的原理描述如下：它从两组随机变量中选择一个具有代表性的综合指数（变量的线性组合）；指数的相关性可以表示原始两组变量之间的关系；在对两组数据进行相关分析的过程中，可以合理简化这种关系。我们认为，将CCA方法应用于多模态生物特征图像，构建多模态图像的共享特征空间并重构多模态图像特征是发现跨模态特征的有效手段。因此，我们考虑了CCA方法，并将其作为我们的特征级融合策略。

本文其余部分安排如下：第1节介绍了相关研究方法的基本理论。第2节描述了我们提出的新方法及其算法描述。第3节通过多次实验和随后的实验结果分析，验证了算法的性能。第4节总结了提出的方法，并介绍了未来研究的新思路。

2.材料和方法

2.1. 相关工作

本节介绍了本文中使用的相关研究方法的基本理论——ELM和CCA方法。

2.1.1. ELM方法

ELM方法由南洋理工大学黄光斌提出[10]. 该方法用于求解单隐层神经网络算法。传统的神经网络学习算法（如BP算法）需要获取大量的网络训练参数，并容易产生局部最优解。相反，ELM只负责设置网络的隐藏层节点数，而不负责调整输入和隐藏偏差的网络权重。因此，ELM方法具有学习速度快和泛化能力好的优点。具有L层隐藏节点的前馈神经网络描述如下：

{（f）}_{L（左）} (x个) = \sum_{我 = 1}^{L（左）} β_{我} G公司 ({W公司}_{我}^{*} {X（X）}_{j} + {b条}_{我}) = 小时 (x个) β, j = 1, \dots, N个

(1)

哪里

G公司 (\cdot)

是激活函数，

{X（X）}_{j}

表示第j个样本，

{W公司}_{我}

是输入重量，

β_{我}

是输出重量，

{b条}_{我}

是偏见，以及

小时 (x个)

是隐藏层的输出。

算法1总结了ELM算法。

算法1。极端学习机器（ELM）算法。

输入：培训集

δ = {({x个}_{我} {t吨}_{我}) | ({x个}_{我} \in {R（右）}^{n个}, {t吨}_{我} \in {R（右）}^{米}, 我 = 1, \dots, N个)}

，激活功能

克 (x个)

和隐藏层节点号n个

输出：输出重量β

步骤1：随机分配输入权重

{w个}_{我}

和偏见

{b条}_{我}

步骤2：计算隐藏层输出矩阵

H（H）

.

步骤3：计算输出重量β。

β = {H（H）}^{†} * T型,

哪里

T型 = {[{t吨}_{1}, \dots, {t吨}_{N个}]}^{T型}

在上述算法中，用于计算

{H（H）}^{†}

（隐藏层输出矩阵的Moore–Penrose矩阵

H（H）

)是正交投影：即，当

{H（H）}^{T型} H（H）

是非奇异的，

{H（H）}^{†} = {({H（H）}^{T型} H（H）)}^{- 1} {H（H）}^{T型}

; 什么时候

H（H） {H（H）}^{T型}

是单数，

{H（H）}^{†} = {H（H）}^{T型} {(H（H） {H（H）}^{T型})}^{- 1}

.根据岭回归原理，在计算

{H（H）}^{†}

，较小的正数

\frac{1}{λ}

在对角线上引入

H（H） {H（H）}^{T型}

或

{H（H）}^{T型} H（H）

作为正则化项，提高了极限学习机的泛化性能。因此，在基于正则化的ELM中：

当训练样本数大于隐藏层节点数时，输出权重矩阵

\hat{β}

可通过以下方程式计算：

\hat{β} = {(\frac{1}{λ} + H（H） {H（H）}^{T型})}^{- 1} {H（H）}^{T型} T型, N个 > {n个}_{小时}

(2)

否则，当训练样本数小于隐藏层节点数时，输出权重矩阵

\hat{β}

计算公式为：

\hat{β} = {(\frac{1}{λ} + H（H） {H（H）}^{T型})}^{- 1} {H（H）}^{T型} T型, N个 > {n个}_{小时}

(3)

与传统的基于梯度的算法相比，ELM算法有两个显著的优点。首先，它比大多数传统的学习算法学习得更快。其次，ELM算法中的所有网络参数都不需要调整，只需要调整隐藏层节点的数量。此外，ELM算法始终可以直接搜索最优解，而不存在拟合问题。这些特点使得ELM方法比传统的基于梯度的算法更灵活、更具吸引力。最近的研究表明ELM算法具有广阔的应用前景。例如，Xie等人[11]将ELM方法应用于三维形状的投影特征学习。Akusok等人[12]为大数据应用程序应用了ELM算法工具箱。

2.1.2. CCA方法

哈罗德·霍特林提出了CCA方法[13]. 这是一种多元统计分析方法，利用综合变量对之间的相关性来反映两组指标之间的总体相关性。其基本原理描述如下：为了从总体上获得两组指标之间的相关关系，它从两组变量中提取了两个具有代表性的聚合变量U1和V1（这是两个变量集中变量的线性组合）。然后使用两个变量（U1和V1）之间的关系来反映两组指标之间的总体相关性[14].

CCA方法是数据挖掘中最常用的算法[15]在特征融合的多视角研究中有着广泛的应用[16]. Yang等人[17]提出了一个CCA网络（CCANet）来解决图像分类问题。这通过双视图特征表示图像。多视角研究通常将同质数据作为其输入。然而，在本研究中，我们尝试将CCA方法应用于异构数据。

算法2显示了CCA算法：

算法2。典型相关分析（CCA）算法。

输入：

δ = {{x个}_{我}, 年_{我} | ({x个}_{我} \in {R（右）}^{米}, 年_{我} \in {R（右）}^{n个}, 我 = 1, \dots, K（K）)

输出：

ρ

-输出相关系数：X，Y；

第1步：计算X和Y的方差：

{S公司}_{x个 x个}, {S公司}_{年 年}

以及X和Y、Y和X的协方差：

{S公司}_{x个 年} {S公司}_{年 x个}

;

第二步：计算矩阵

M（M） = \sqrt[2]{{S公司}_{x个 x个}} * {S公司}_{x个 年} * \sqrt[2]{{S公司}_{年 年}}

;

第三步：对矩阵进行奇异值分解M（M），获得最大奇异值

ρ

及其相应的左右奇异向量

U型

和

V（V）

;

步骤4：计算X和Y的线性系数向量：

一 = \sqrt[2]{{S公司}_{x个 x个}} * U型, b条 = \sqrt[2]{{S公司}_{年 年}} * V（V）

;

2.2. 建议的方法

本节介绍我们提出的方法，包括相关理论、结构框架和算法步骤：

2.2.1. 堆叠ELM模型

在大多数监督学习任务中，最重要的是有效地学习数据的丰富特征，这代表了模型是否具有良好的泛化性能。传统的ELM模型受单层前馈神经网络结构的限制，虽然存在大量的隐藏节点，但无法捕获高层次的准确信息抽象。同时，与多层神经网络相比，深度架构可以帮助阐明特征的层次结构，从而从低级特征构建数据的高级表示。然而，受BP算法的影响，深度神经网络训练速度较慢，效率较低。为了充分利用ELM和深度神经网络的优势，本研究提出通过堆叠ELM的无监督学习来改进学习特征，并将逐步的低层次特征转移以形成完整的特征表示。该模型本质上是一个多层前馈网络，其参数由一系列极限学习机实现。

堆叠ELM模型也可以分解为多个ELM模型，其中每个隐藏层可以被视为一个独立的ELM进行特征提取。此外，为了完成输入的重建，ELM将输入视为理想的目标输出（即。，

T型 = X（X）

).图1详细描述了堆叠ELM模型的特征学习过程，其中输入图像被视为第一个ELM中的目标输出(

T型 = X（X）

)计算输出权重矩阵

β_{1}

（在红色方框中）。然后，第一个隐藏层的输出

{H（H）}_{1} = β_{1} \times X（X）

被视为ELM的第二个输入和目标输出(

T型 = {H（H）}_{1}

)计算输出权重矩阵

β_{2}

（在绿色框中）。最后，我们得到了一个高级特征表示

β_{三} \times {H（H）}_{2}

因此，系统成为线性模型，并且每个ELM的输出权重矩阵

β_{k个}

可以根据隐藏层节点的数量进行计算。通过使用递归学习方法，我们得到了原始输入数据的无监督高级特征表示

小时

隐藏层输出，即

{H（H）}_{小时}

.

2.2.2. 多生物量识别的S-E-C模型

根据输入数据类型，多模态深度学习模型可以分为两类[18]：同质输入数据和异构输入数据。同质数据符合类似的统计规律。与同质数据不同，异构输入数据在统计规律上有很大差距，例如以文本和图像数据的形式。当每种模态的输入都是同质数据时，我们通常将模态数据级联成向量，作为深度学习方法的输入，例如堆叠自动编码器（SAE）或深度信念网络（DBN），而限制玻尔兹曼机器（RBM）或自动编码器（AE）用作多模态输入字符。该方法根据不同输入数据的分布建立通用模型，但忽略了每个模态的特殊性。因此，通常很难获得最佳的关节表达式。同时，对于异构输入数据，Ngiam提出了一种为第一层特征表达训练每个模态的方法。该方法假设底层实现了单模状态表达式，而高层实现了多模状态表达式。图2显示了名为S-E-C模型的拟议模型的结构框架。

多模态训练系统分为三个独立的阶段：每个模态的无监督特征表示、模态之间的特征融合和监督分类。多模态输入数据是人脸图像和指印图像，属于异构数据。对于特征提取，我们通过堆叠ELM（H3表示）获得两个模型的高层隐藏层表示，对于融合策略，我们选择CCA方法。将CCA方法应用于我们的模型具有以下优点：首先，CCA方法类似于主成分分析方法，可以在不丢失信息的情况下降低特征维数，并进一步降低计算消耗。其次，CCA方法可以分析两组变量之间的相关性，这有助于重建交叉模态特征。

在我们模型的前一步中，使用相同的方法对每个模态进行无监督特征表示，以获得进一步传导的统一表达式，从而在模型中呈现出对称结构。

S-E-C模型的详细描述如下：

给定一个包含m个样本的训练集

({x个}_{1}^{(我)}, {x个}_{2}^{(我)}, 我^{(我)}) (我 = 1, \dots, 米)

，在这里，

{x个}_{1}^{我} \in {R（右）}^{{n个}_{c（c）}}

是的面部特征向量我第个样本，

{x个}_{2}^{(我)} \in {R（右）}^{{n个}_{d日}}

是指-视特征向量我第th个样本，

我^{(我)} \in {R（右）}^{2}

是的对应标签向量我第个样本

({x个}_{1}^{(我)}, {x个}_{2}^{(我)})

、和

{n个}_{c（c）}, {n个}_{d日}

分别表示人脸特征向量和指印特征向量的维数。所有m个样本的特征向量构成一个新的特征矩阵

{X（X）}_{1}, {X（X）}_{2}

，相应的标签矩阵为

L（左）

算法3显示了整个训练算法。

算法3。S-E-C算法描述。

输入：面部特征矩阵

{X（X）}_{1} = {[{x个}_{1}^{(1)}, {x个}_{1}^{(2)}, \dots, {x个}_{1}^{(米)}]}^{T型}

，指-视人脸向量

{X（X）}_{2} = {[{x个}_{2}^{(1)}, {x个}_{2}^{(2)}, \dots, {x个}_{2}^{(米)}]}^{T型}

和标签矩阵

{L（左）}_{2} = {[我_{1}^{(1)}, 我_{1}^{(2)}, \dots, 我_{1}^{(米)}]}^{T型}

.

输出：权重矩阵

{W公司}_{我, j} (我 \in [1, k个], j \in [1, 2]),

初始化：为每个成像设备选择模型深度

k个

和隐藏层节点

{n个}_{k个}

.

对于j=1至2 do

{H（H）}_{0, j} = {X（X）}_{j}

对于我=1到k do

（1）随机生成隐藏层输入加权矩阵

{W公司}_{我, j}

和偏差矩阵

{B类}_{我, j}

;

（2）计算隐藏层输出：

{H（H）}_{我, j} = 克 ({W公司}_{我, j} {H（H）}_{我 - 1, j} + {B类}_{我, j})

;

（3）计算

{\hat{β}}_{我, j}

在条件下使用方程式（3）或（4）

H（H） = {H（H）}_{我, j}, T型 = {H（H）}_{我 - 1, j}

;

（4）计算

{W公司}_{我, j}

,

{W公司}_{我, j} = {\hat{(β}}_{我, j})^{T型}

;

（5）更新隐藏层输出：

{H（H）}_{我, j} = 克 ({W公司}_{我, j} {H（H）}_{我 - 1, j} + {B类}_{我, j})

;

结束

典型相关分析：

（1）计算的方差

{H（H）}_{k个, 1}^{T型}

和

{H（H）}_{k个, 2}^{T型}

:

{S公司}_{x个 x个} = 覆盖（cov） ({H（H）}_{k个, 1}, {H（H）}_{k个, 1})

,

{S公司}_{年 年} = 覆盖（cov） ({H（H）}_{k个, 2}, {H（H）}_{k个, 2})

和

{S公司}_{x个 年} = 覆盖（cov） ({H（H）}_{k个, 1}, {H（H）}_{k个, 2})

（2）计算矩阵M（M）:

M（M） = \sqrt{{S公司}_{x个 x个}} * {S公司}_{x个 年} * \sqrt{{S公司}_{年 年}}

;

（3）对矩阵进行奇异值分解M（M），获得最大奇异值

ρ

及其相应的左右奇异向量

U型

和

V（V）

:

[U型, D类, V（V）] = S公司 V（V） D类 (M（M）)

;

（4）计算的线性系数向量

{H（H）}_{k个, 1}^{T型}

,

{H（H）}_{k个, 2}^{T型}

:

{Z轴}_{x个} = \sqrt{{S公司}_{x个 x个}} * U型, {Z轴}_{年} = \sqrt{{S公司}_{年 年}} * V（V）

;

（5）构造特征表示：

{H（H）}_{k个 + 1} = {Z轴}_{x个} + {Z轴}_{年}

.

监督培训和测试：

将简单ELM应用于新数据集

[L（左）, {H（H）}_{k个 + 1}]

计算

{\hat{β}}_{k个 + 1}

在条件下使用方程（3）或（4）

H（H） = {H（H）}_{k个 + 1}, T型 = L（左）

:

图2表明人脸和指印图像被视为S-E-C模型的输入层，表示如下：

{H（H）}_{0, j} = {X（X）}_{j} (j = 1, 2)

(4)

为了学习模态特征的高级表示，我们将两层堆叠ELM应用于人脸图像特征

{X（X）}_{1}

和指印图像特征

{X（X）}_{2}

用于模态信息融合之前的特征学习。隐藏层的输出可以分别描述如下：

{H（H）}_{我, j} = 克 ({W公司}_{我, j} {H（H）}_{我 - 1, j} + {B类}_{我, j}), 对于 我 = 1, 2, 三; j = 1, 2,

(5)

哪里

克 (\cdot)

是隐藏层激活函数，带有sigmoid函数

{H（H）}_{*}

（*下标代表隐藏层和模态）是隐藏层输出矩阵，表示从人脸图像特征中提取的非线性特征

{X（X）}_{1}

和指印图像特征

{X（X）}_{2}

例如，

{H（H）}_{我, j}

表示的特征表示

j 第个

情态和

我 第个

隐藏层。同样，

{B类}_{*}

表示相应模态和隐藏层的偏差矩阵。

在模态中获取高级功能时，即

{H（H）}_{三, 1}, {H（H）}_{三, 2}

，我们尝试使用CCA方法获得联合特征表达式，表达式如下：

{H（H）}_{4} = （f） ({H（H）}_{三, 1}, {H（H）}_{三, 2})

(6)

哪里

（f） (\cdot)

表示CCA融合方法。

最后，我们将获得双模关节特征表示

{H（H）}_{4}

，然后将其放入普通ELM分类器中，该分类器研究特征与标签之间的关系，然后尝试测试新样本：

L（左） = 克 ({W公司}_{5} {H（H）}_{4})

(7)

3.结果

3.1. 数据库

3.1.1. 奥利维蒂研究实验室（ORL）人脸数据集

ORL人脸数据集由剑桥大学创建，由40人组成。图3显示每个人持有10张照片，总共400张。

3.1.2. 人脸识别技术（FERET）人脸数据集

FERET人脸数据库源于一个名为FERET的人脸识别技术工程。这是由美国国防部发起的。它由200人组成，每个人有7张人脸图像，总共1400张。这被认为是最权威的人脸数据库，如所示图4.

3.1.3. MMCBNU-6000 Finger-Vein数据集

MMCBNU-6000指骨数据库由Chonbuk国立大学完成，其中包括100人，收集了所有人的食指、中指和无名指。每个手指有10个图像，共6000个图像，如所示图5.

本研究从上述三个数据集中选择人脸图像和指印图像，构成两个混合数据库，从而建立总共两个数据集：

（a）: ORL+MMCBNU：共400组，每组采集10张人脸图像和60张指骨图像；
（b）: FERET+MMCBNU：共1000组，每组拍摄7张面部图像和60张指印图像。

3.2. 实验环境

实验环境描述如下：Windows 10操作系统，64位，基于×64处理器，类型为Intel Core i7-4770，以及8GB计算机内存。所使用的模拟环境为MATLAB_2016 Ra。

3.3. 实验结果与分析

3.3.1. 能够表示堆叠ELM的隐藏层特征

实验主要验证了用多层神经网络表示图像特征的数据分类能力。为实验选择了三个不同的数据集（80%的数据用于训练，其余数据用于测试，具有5倍交叉验证）。我们将三种浅层分类器——反向传播（BP）、支持向量机（SVM）、ELM和经典的深度学习方法卷积神经网络（CNN）与我们提出的方法进行了比较。浅层分类器将图像像素特征作为输入，并将参数作为典型值。此外，CNN模型被命名为lenet-5，它对输入图像进行两倍的卷积和池操作，再加上一个完整的连接操作以获得输出。此外，我们将该方法与文献中提到的其他深度学习方法进行了比较，例如堆叠自动编码器（SAE）[三]和深度信念网（DBN）[5].

表1结果表明，三种浅层方法的性能几乎相似（接近90%）。同时，ELM在时间方面表现更好（几次）。深度学习方法，如CNN、SAE和DBN，表现优于浅层方法（高于2%）。它证明了深度学习能够学习更高层次的抽象概念和理解语义信息。然而，深度学习方法的训练时间是浅层学习方法的数倍，因此在时间上存在不足。堆叠ELM作为一种深度学习方法，其性能也优于浅层方法。此外，与其他深度学习方法相比，堆叠ELM继承了ELM的优点（学习速度更快，无需微调），并且在时间方面表现更好。与其他深度学习方法相比，它所需的时间更少，这表明了深度架构强大的学习能力。

3.3.2. CCA融合方法的分类效果比较

本实验探讨了CCA融合方法的有效性。我们进行了三组实验。第一个实验采用三个不同的数据集（80%用于训练，20%用于测试，以及5倍交叉验证）来衡量性能，这是其他两个实验的基准。第二个实验将简单的级联融合策略应用于混合数据集。第三个实验在与实验2相同的数据集上进行，将CCA融合方法应用于两个不同的生物特征，添加ELM分类器，并测试识别性能。

表2显示了与单模态特征相比的融合特征（级联策略和CCA方法）。这可以提高性能并证明融合方法的有效性，因为理论上它考虑了更多的特征并获得了更好的性能。与传统的级联融合特征相比，CCA方法的融合特征提供了更有效的性能（约1%），证明了CCA融合的有效性。此外，CCA方法在提取特征时降低了维数，使其更适合图像识别性能。

3.3.3. 不同方法在不同隐层节点上的实验性能

本实验比较了不同方法对不同隐藏层节点的识别精度。在使用ELM作为分类器时，隐藏层节点的数量是一个参数。实验比较了三种方法。第一种方法是一种简单的ELM，它具有输入的单模生物特征图像特征（第一组是人脸图像，第二组是指印图像）。第二种方法也是ELM，但具有多模式浅层融合图像特征（第3组）。第三种方法使用深度神经网络（CNN），通过添加ELM分类器来提取生物图像特征。最后一种方法是本研究中提出的方法。

图6结果表明，随着不同隐藏层节点的变化，两种多模态融合方法可以获得更好的性能。与其他单模模型相比，使用两种模态信息的多模态模型获得了更稳健的结果。我们提出的方法和浅层组合方法都集成了多模态信息，但我们的方法优于另一种方法，因为在浅层融合方法中，不同的统计特征只是简单的混合，这只是形式上的融合，因此忽略了特定模态信息的特殊性。

3.3.4. 参数对识别准确性的影响

对于S-E-C模型，最重要的参数是正则化最小二乘计算参数

λ

以及隐藏层节点的数量

{n个}_{小时}

。因此，如所示图7和图8通过两个实验分析了参数变化对模型性能的影响。图7描述了识别精度随参数变化的趋势

{n个}_{小时}

，同时保持固定参数

λ

类似地，图8描述了识别精度随参数变化的趋势

λ

，同时保持固定参数

{n个}_{小时}

.

该图表明，S-E-C模型遵循与ELM方法类似的收敛性，并且其性能在参数的大范围值空间内保持基本稳定

λ

因此，我们可以选择具有较高测试精度的参数作为S-E-C模型的最佳参数。

4.讨论

多模态生物特征融合是提高生物特征识别性能的有效方法。基于堆叠ELM和CCA方法，提出了一种新的多模态生物特征识别网络模型S-E-C模型。对于该模型，首先学习多模态生物特征图像的高层特殊表达，然后进行多模态生物识别融合。最后，一个简单的ELM分类器作用于融合表示，实现多模态生物识别。

在本研究中，S-E-C模型可以充分利用堆叠ELM来提取高层信息。深度极值学习机作为一种人工神经网络，可以获得ELM和深度学习方法的优点。该方法近似复杂函数，因此不需要迭代微调。此外，本研究将该方法描述为比其他深度学习方法更强、更灵活、计算效率更高。最后，我们验证了S-E-C模型的一般性能的有效性。实验结果表明，与其他几种现代算法相比，我们的方法具有显著的优势。

本研究将CCA方法应用于多模态生物特征融合中，获得了生物特征的不同模态相关性。未来，我们计划考虑回归的思想，尝试利用多模态生物特征构建另一个模态生物特征，最终实现多模态生物特性的图像检索。

鸣谢

本研究得到国家自然科学基金项目61502338、61502339、61702367号资助；天津市科技支撑计划2015年重点项目15ZCZDGX00200；天津市科学技术委员会17JCQNJC00400号。

作者贡献

杨菊成和孙文慧构思并计划了这些实验。韩淑杰进行了实验。刘娜和韩淑杰参与了样品制备。陈亚瑞（Yarui Chen）和王远（Yuan Wang）对结果的解释做出了贡献。杨菊成率先写了手稿。所有作者都提供了批判性反馈，并帮助形成了研究、分析和手稿。

利益冲突

作者声明没有利益冲突。

工具书类

帕卡维，R。；K.R.C.巴布。；Kumar，J.A.用于用户身份验证的多模态生物识别。《智能系统与控制国际会议论文集》，印度哥印拜陀，2017年1月5日至6日；第501-505页。[谷歌学者]
Oquab，M。；博图，L。；拉普特夫，I。；Sivic，J.使用卷积神经网络学习和传输中级图像表示。《IEEE计算机视觉和模式识别会议论文集》，美国俄亥俄州哥伦布，2014年6月23日至28日；第1717-1724页。[谷歌学者]
刘，Y。；X·冯。；Zhou，Z。使用堆叠收缩自动编码器的多模式视频分类。信号处理。 2016,120, 761–766. [谷歌学者] [交叉参考]
Ngiam，J。；科斯拉，A。；Kim，M.多模式深度学习。2011年6月28日至7月2日在美国华盛顿州贝尔维尤举行的第28届国际机器学习会议记录；第689-696页。[谷歌学者]
北斯利瓦斯塔瓦。；Salakhutdinov，R.用深度信念网学习多模态数据的表示。《机器学习研讨会国际会议论文集》，英国爱丁堡，2012年6月26日至7月1日。[谷歌学者]
黄，G.B。；朱Q.Y。；Siew，C.K.极限学习机：一种新的前馈神经网络学习方案。2004年7月25日至29日在匈牙利布达佩斯举行的IEEE国际神经网络联合会议记录；第985-990页。[谷歌学者]
黄，G.B。；朱Q.Y。；Siew，C.K.极限学习机器：理论与应用。神经计算。 2006,70, 489–501. [谷歌学者] [交叉参考]
保罗，P.P。；加夫里洛娃，M.L。；Alhajj，R.使用社会网络分析的多模态生物特征识别决策融合。IEEE传输。系统。曼赛本。系统。 2017,44, 1522–1533. [谷歌学者] [交叉参考]
Haghighat，M。；Abdel-Mottaleb，M。；Alhalabi，W.特征级融合的判别相关性分析及其在多模态生物特征识别中的应用。2016年IEEE声学、语音和信号处理国际会议论文集，2016年3月20日至25日，中国上海；第1984-1996页。[谷歌学者]
黄，G.B。；王，D.H。；Lan，Y.极限学习机器：一项调查。国际J·马赫。学习。赛博。 2011,2, 107–122. [谷歌学者] [交叉参考]
谢，Z。；Xu，K。；Shan，W.多视图深度图像3D形状的投影特征学习。在计算机图形论坛; 约翰·威利父子公司：英国奇切斯特，2015年；第34卷，第1-11页。[谷歌学者]
Akusok，A。；比约克，K.M。；Miche，Y.高性能极端学习机器：大数据应用的完整工具箱。IEEE接入 2015,三, 1011–1025. [谷歌学者] [交叉参考]
Hoteling，H.两组变量之间的关系。生物特征 1936,28, 321–377. [谷歌学者] [交叉参考]
Borga，M.标准相关性教程。2011.在线提供：https://web.cs.hacettepe.edu.tr/~aykut/classes/spring2013/bil682/supplemental/CCA_tutorial.pdf（2018年2月10日访问）。
哈东，D.R。；塞德马克，S。；Shawe-Taylor，J.典型相关分析：学习方法应用概述。神经计算。 2014,16, 2639–2664. [谷歌学者] [交叉参考] [公共医学]
高，X。；孙，Q。；Yang，J.MRCCA：一种基于CCA的新方法及其在矩阵数据特征提取和融合中的应用。申请。软计算。 2017,62, 45–56. [谷歌学者] [交叉参考]
杨，X。；刘伟。；Tao，D.二视图图像识别的典型相关分析网络。信息科学。 2017,385, 338–352. [谷歌学者] [交叉参考]
欧阳，W。；朱，X。；Wang，X.人体姿势估计的多源深度学习。《IEEE计算机视觉和模式识别会议论文集》，美国俄亥俄州哥伦布，2014年6月23日至28日；第2329-2336页。[谷歌学者]

图1。堆叠ELM模型。

图2。S-E-C模型的结构框架。

图3。奥利维蒂研究实验室（ORL）人脸数据集。

图4。人脸识别技术（FERET）人脸数据集。

图5。MMCBNU-6000指-视数据集。

图6。不同方法对不同隐含层节点的识别精度。

图7。测试S-E-C模型在以下方面的准确性

{n个}_{小时}

.

图7。测试S-E-C模型在以下方面的准确性

{n个}_{小时}

.

图8。测试S-E-C模型在以下方面的准确性

λ

.

图8。测试S-E-C模型在以下方面的准确性

λ

.

表1。不同方法在三个数据集上的实验性能。

实验方法	ORL公司		费雷特		MMCBNU公司
实验方法	时间（s）	准确性	时间（s）	准确性	时间（s）	准确性
英国石油公司	8.2459	88.45%	9.9887	89.96%	12.7864	91.73%
支持向量机	6.7680	90.32%	8.7869	91.92%	10.3670	93.02%
ELM公司	1.3786	89.38%	2.0679	90.87%	2.8568	92.62%
美国有线电视新闻网（lenet5）	28.8769	92.48%	34.8979	93.06%	45.3478	94.84%
美国汽车工程师协会	36.7842	93.64%	42.2985	94.46%	69.3587	95.24%
数据库编号	30.3478	90.82%	38.8876	92.34%	60.5874	94.48%
堆叠ELM（H3）	10.2714	93.62%	14.3224	94.58%	17.6368	95.58%

表2。多生物测量融合性能。

生物计量学	性能（准确度%）
ORL公司	89.38%
费雷特	89.87%
MMCBNU-6000型	92.62%
ORL+MMCBNU（级联）	93.51%
FERET+MMCBNU（级联）	93.67%
ORL+MMCBNU（CCA）	94.46%
费雷特+MMCBNU（CCA）	94.97%

分享和引用

MDPI和ACS样式

杨，J。；Sun，W。；刘，N。；陈，Y。；Wang，Y。；韩，S。基于堆叠ELM和CCA方法的多模态生物特征识别模型。对称 2018,10, 96.https://doi.org/10.3390/sym10040096

AMA风格

杨杰、孙伟、刘恩、陈毅、王毅、韩S。基于堆叠ELM和CCA方法的多模态生物特征识别模型。对称. 2018; 10(4):96.https://doi.org/10.3390/sym10040096

芝加哥/图拉宾风格

Yang、Jucheng、Wenhui Sun、Na Liu、Yarui Chen、Yuan Wang和Shujie Han。2018年，“基于堆叠ELM和CCA方法的新型多模态生物特征识别模型”对称10，编号4:96。https://doi.org/10.3390/sym10040096

请注意，从2016年第一期开始，该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章菜单