结合数据增强与特征融合的跨模态行人重识别

doi:10.3778/j.issn.1002-8331.2209-0120

摘要/摘要

摘要：可见光-红外行人重识别问题的难点在于图像间模态差异大，大多数现有的方法通过生成对抗网络生成伪图像或提取原始图像上的模态共享特征来缓解模态差异。然而，训练生成对抗网络需要消耗大量的计算资源且生成的伪图像容易引入噪声，提取模态共享特征也会不可避免地导致与行人身份相关的重要判别特征丢失。针对以上问题，提出新的跨模态行人重识别网络。首先将进行自动数据增强后的训练数据集作为网络输入，提高模型的鲁棒性；然后在网络中引入实例正则化来缩小模态差异；最后将网络各层提取到的不同尺度的行人特征进行有机融合，融合后的特征包含更多与行人身份相关的判别特征。该方法在SYSU-MM01系统数据集的全局搜索模式下排名-1/mAP，69.47%/65.05%，RegDB数据集的可见光到红外模式下排名-1/mAP回报率85.73%/77.77%实验结果获得显著提升。

关键词: 跨模态, 行人重识别, 自动数据增强, 特征融合

摘要：可见红外人物再识别问题的难点在于图像之间存在较大的模态差异。现有的方法大多通过生成对抗网络生成伪图像或在原始图像上提取模态共享特征来缓解模态差异。然而，生成性对抗网络的训练消耗了大量的计算资源，生成了容易引入噪声的伪图像，提取模式共享特征也会导致重要的区分特征丢失。为了解决这些问题，提出了一种新的跨模态人员再识别网络。首先，使用自动数据增强来提高模型的鲁棒性。然后，在网络中使用实例正则化来减少模态差异。最后，对网络各层提取的不同尺度的行人特征进行有机融合，融合后的特征包含更多与行人身份相关的差异化特征。该方法在SYSU-MM01全搜索模式下的秩-1/mAP为69.47%/65.05%，在RegDB可见-红外模式下的Rank-1/mAP为85.73%/77.77%。实验结果有显著的改善效果。

关键词： 交叉模态，人员重新识别，自动数据增强，特征融合

宋雨, 王帮海, 曹钢钢. 结合数据增强与特征融合的跨模态行人重识别[J] ●●●●。计算机工程与应用, 2024, 60(4): 133-141.

宋瑜、王邦海、曹刚刚。结合数据增强和特征融合的跨模态人识别[J]。计算机工程与应用，2024,60（4）：133-141。

参考文献

[1] 蔡X，刘磊，朱磊，等.可见-红外人体识别的双模态硬采矿三中心损失[J]。基于知识的系统，2021，215:106772。
[2] WU A，ZHENG W S，YU H X，et al.RGB-红外交叉模态人体识别[C]//2017 IEEE国际计算机视觉会议论文集，2017:5380-5389。
[3] 刘华，马仕，夏德，等。SFANet：一种用于可见红外人员再识别的光谱软件特征增强网络[J]。IEEE神经网络和学习系统汇刊，2023，34（4）：1958-1971。
[4] 王Z，王Z，郑Y，等。学会减少红外-可见光人重新识别的双重水平差异[C]//2019年IEEE/CFF计算机视觉和模式识别会议论文集，2019:618-626。
[5] CHOI S，LEE S，KIM Y，et al.Hi-CMD:可见红外人再识别的分层交叉模态解纠缠[C]//2020 IEEE/CVF计算机视觉和模式识别会议论文集，2020：10257-10266。
[6] 赵Z，刘斌，CHU Q，等.基于颜色相关一致性学习和身份感知的可视红外交叉通道人识别模式自适应方法[C]//第35届AAAI人工智能会议论文集，2021:3520-3528。
[7] YE M，LAN X，WANG Z，等.可视热工人员再识别的双向中心约束顶级方法[J]。IEEE信息取证与安全交易，2019年，15:407-419。
[8] YE M，LAN X，LENG Q，等.基于模式感知的协同集成学习的跨模式人识别[J]。IEEE图像处理汇刊，2020，29:9387-9399。
[9] 李德，魏X，洪X，等.用X模态重新识别红外可见的跨模态人[C]//第34届AAAI人工智能会议论文集，2020：4610-4617。
[10] 陈毅，万磊，李忠，等.RGB-红外人体再识别的神经特征搜索[C]//2021年IEEE/CVF计算机视觉与模式识别会议论文集，2021:587-597。
[11] YE M，SHEN J，J CRANDALL D，et al.第16届欧洲计算机视觉会议论文集.可视红外人再识别的动态双注意聚合学习[C]//。查姆：施普林格，2020年：229-247。
[12] 叶敏，沈杰，林刚，等。深度学习对人的再识别的调查与展望[J]。IEEE模式分析和机器智能汇刊，2021，44（6）：2872-2893。
[13] PAN X，LUO P，SHI J，et al.Two at once：通过IBN net增强学习和泛化能力[C]//第15届欧洲计算机视觉会议论文集，2018:464-479。
[14] GRAY D，TAO H。具有局部特征集合的视点不变行人识别[C]//第十届欧洲计算机视觉会议论文集。柏林，海德堡：施普林格，2008:262-275。
[15] 郑文思，龚S，向涛.基于概率相对距离比较的人的重新识别[C]//2011 IEEE计算机视觉与模式识别会议论文集，2011:649-656。
[16] 王峰，邹伟，林磊，等.用于人再识别的单图像和交叉图像表示的联合学习[C]//2016 IEEE计算机视觉与模式识别会议论文集，2016:1288-1296。
[17] 郑磊，张华，孙S，等.野外人员再识别[C]//2017 IEEE计算机视觉与模式识别会议论文集，2017:1367-1376。
[18] 孙毅，郑力，杨毅，等.超越部分模型：基于精细部分池（和强卷积基线）的人员检索[C]//第十五届欧洲计算机视觉会议论文集，2018:480-496。
[19] 肖雅妮, 范馨月, 陈文峰. 多分支融合局部特征的行人重识别算法[J] ●●●●。计算机工程与应用, 2021, 57(18): 213-219.
肖延恩，范晓英，陈伟芳.基于多分支下局部特征融合的人的再识别研究[J]。计算机工程与应用，2021，57（18）：213-219。
[20] 罗华，姜伟，顾毅，等.深部人员再鉴定的强基线和批量标准化颈部[J]。IEEE多媒体汇刊，2019，22（10）：2597-2609。
[21]钟泽，郑立，康庚，等.随机擦除数据增强[C]//第34届AAAI人工智能会议论文集，2020：13001-13008。
[22]DAI Z，CHEN M，GU X，et al.用于人员重新识别和超越的批量dropblock网络[C]//2019 IEEE/CVF国际计算机视觉会议论文集，2019:3691-3701。
[23]YE M，RUAN W，DU B，et al.可视红外识别的通道增强联合学习[C]//2021 IEEE/CVF国际计算机视觉会议论文集，2021:13567-13576。
[24]凌毅，钟智，罗智，等.可视热人再识别的类软件模态组合和中心引导的度量学习[C]//第28届ACM国际多媒体会议论文集，2020：889-897。
[25]何凯，张X，任S，等.图像识别的深度剩余学习[C]//2016 IEEE计算机视觉与模式识别会议论文集，2016:770-778。
[26]王X，GIRSHICK R，GUPTA A，等.非局部神经网络[C]//2018 IEEE计算机视觉与模式识别会议论文集，2018:7794-7803。
[27]CUBUK E D，ZOPH B，MANE D，et al.自动增强：从数据中学习增强策略[C]//2019年IEEE/CVF计算机视觉和模式识别会议论文集，2019:113-123。