基于多特征融合的自监督图像配准算法

doi:10.11772/j.issn.1001-9081.2023050692

《计算机应用》唯一官方网站››2024,第44卷››问题（5）: 1597-1604.内政部：10.11772/j.issn.1001-9081.2023050692

• 多媒体计算与计算机仿真 • 上一篇

基于多特征融合的自监督图像配准算法

韩贵金¹,张馨渊¹(),文件²,黄娅¹

¹西安邮电大学自动化学院，西安 710121
²中国建筑第八工程局有限公司西南分公司，成都 610041

收稿日期:2023-06-01 修回日期:2023-08-18 接受日期:2023-08-21 发布日期:2023-08-28年 出版日期:2024-05-10
通讯作者:张馨渊
说唱乐介：韩贵金（1978年-）男，河南濮阳人，副教授，博士，共因失效会员，主要研究方向：图像处理、计算机视觉
张文涛（1984—），男，四川成都人，高级工程师，主要研究方向：深度学习、图像处理
黄娅（1998—），女，河南濮阳人，硕士研究生，主要研究方向：计算机视觉、图像分割。
第一联系人：张馨渊（1996—），男，河北沧州人，硕士研究生，主要研究方向：图像配准、图像融合
基金资助:
陕西省科技厅重点研发计划项目（2023？YBGY？032）

基于多特征融合的自监督图像配准算法

韩桂锦¹,张新元¹(),张文涛²,亚黄¹

¹西安邮电大学自动化学院，陕西西安710121
²中国四川省成都市中建八局有限公司西南分公司，邮编：610041

收到：2023-06-01 修订过的：2023-08-18 认可的：2023-08-21 在线：2023-08-28年 出版：2024-05-10
联系人：张新元
关于作者：韩桂金，1978年生，博士，副教授。他的研究兴趣包括图像处理、计算机视觉。
张文涛，1984年生，高级工程师。他的研究兴趣包括深度学习、图像处理。
黄雅，1998年出生，硕士研究生。她的研究兴趣包括计算机视觉、图像分割。
支持单位：
陕西省科技厅重点研发计划（2023-YBGY-032）

摘要/摘要

摘要：

为保证提取特征的信息量丰富，当前基于深度学习的图像配准算法通常采用深层卷积神经网络，模型的计算复杂度高，而且还存在相似特征点区分度低的问题。针对上述问题，提出一种基于多特征融合的自监督图像配准算法（SIRA-MFF）首先，使用浅层卷积神经网络提取图像特征，降低计算复杂度，并且通过在特征提取层添加特征点方向描述符，弥补浅层网络特征信息量单一的问题；其次，在特征提取层后添加用于扩大特征点感受野的嵌入与交互层，融合特征点局部和全局信息以提升相似特征点区分度；最终，最佳匹配方案由改进的特征匹配层计算得到，并同步设计了一种基于交叉熵的损失函数用于模型训练。在ILSVRC2012，SIRA-MFF的平均匹配准确率（AMA）分别为95.18%和93.26%优于对比算法；在IMC-PT-SparseGM-50，SIRA-MFF AMA 89.69%也优于对比算法，且与ResMtch公司算法相比，单张图像运算时间降低了49.45%。实验结果表明，SIRA-MFF公司具有较高精度和较强的鲁棒性。

关键词: 图像配准, 自监督学习, 特征融合, 特征描述符, 特征嵌入

摘要：

为了确保提取的特征包含丰富的信息，目前基于深度学习的图像配准算法通常采用深度卷积神经网络，该网络具有较高的计算复杂度和对相似特征点的低分辨力。针对上述问题，提出了一种基于多特征融合的自监督图像配准算法（SIRA-MFF）。首先，利用浅层卷积神经网络提取图像特征，降低计算复杂度。此外，通过在特征提取层中添加特征点方向描述符，解决了浅层网络中单一特征信息的问题。其次，在特征提取层之后增加了一个嵌入交互层，以扩大特征点的接受域，通过融合特征点的局部和全局信息，提高相似特征点的区分能力。最后，对特征匹配层进行优化，以获得最佳匹配方案。还设计了基于交叉熵的损失函数用于模型训练。在ILSVRC2012数据集生成的两个测试集上，SIRA-MFF的平均匹配精度（AMA）分别为95.18%和93.26%，优于比较算法。在IMC-PT-SparseGM-50测试集中，SIRA-MFF实现了89.69%的AMA，这也优于比较算法与ResMtch算法相比，SIRA-MFF算法将单个图像的运算时间减少了49.45%。实验结果表明，SIRA-MFF具有较高的精度和较强的鲁棒性。

关键词： 图像配准，自主学习，特征融合，特征描述符，特征嵌入

中图分类号:

TP391.41型

韩贵金, 张馨渊, 张文涛, 黄娅. 基于多特征融合的自监督图像配准算法[J] ●●●●。，2024年，44（5）：1597-1604。

韩桂锦、张新元、张文涛、黄亚萍。基于多特征融合的自监督图像配准算法[J]。计算机应用杂志，2024，44（5）：1597-1604。

图/表10

参考文献27

1	LOWE G D.尺度-变关键点的独特图像特征〔J〕。国际计算机视觉杂志，2004，60（2）： 91-110.10.1023/b:见.0000029664.99615.94
2	MUR-ARTAL R，MOTEIL J M M，TARD Ox S J D.ORB-SLAM：一种多功能、精确的单目SLAM系统〔J〕。IEEE机器人汇刊，2015，31（5）：1147-1163.10.1109/tro.2015.2463671
三	FISCHLER MA，BOLLES R C.随机样本一致性：一种模型拟合范式及其在图像分析和自动制图中的应用[M]//计算机视觉阅读：问题、原则和范例旧金山：Morgan Kaufmann Publishers Inc1987： 726-740.10.1016/b978-0-08-051581-6.50070-2
4	RAGURAM R，J-M FRAHN，POLLEFEYS M.导致自适应实时随机样本一致性的RANSAC技术比较分析〔C〕//第十届欧洲计算机视觉会议论文集。柏林：斯普林格2008： 500-513.10.1007/978-3-540-88688-4_37
5	GOLD S，RANGARAJAN A.图匹配的分级赋值算法〔J〕。IEEE模式分析和机器智能汇刊，1996，18（4）：377-388。10.1109/34.491619
6	田毅，颜杰，张华，等.关于图匹配的收敛性：分级作业重访〔C〕//第十二届欧洲计算机视觉会议论文集。柏林：斯普林格2012： 821-835.10.1007/978-3-642-33712-3_59
7	贾雯晓，张贵仓，汪亮亮，等.基于SIFT和RANSAC图像配准算法［记者：。计算机工程与应用，2018，54（2）：203-207.10.3778/j.issn.1002-8331.1707-0264
	贾文新，张国忠，王丽丽，等.基于SIFT和改进RANSAC的图像配准算法〔J〕。计算机工程与应用，2018，54（2）： 203-207.10.3778/j.issn.1002-8331.1707-0264
8	LEORDEANU M，HEBERT M.利用成对约束求解对应问题的谱技术〔C〕//第十届IEEE国际计算机视觉会议论文集。皮斯卡塔韦：IEEE2005：1482-1489。10.1109/iccv.2005.20
9	樊玮，王慧敏，邢艳.基于自编码器的多视图属性网络表示学习模型［记者：。计算机应用，2021，41（4）：1064-1070.10.11772/j.issn.1001-9081.2020061006
	FAN W，WANG H M，XING Y.基于自动编码器的多视图属性网络表示学习模型〔J〕。计算机应用杂志，2021，41（4）： 1064-1070.10.11772/j.issn.1001-9081.2020061006
10	ZANFIR A，SMINCHISESCU C.图形匹配的深度学习〔C〕//2018 IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2018： 2684-2693.10.1109/cvpr.2018.00284
11	SIMONYAN K，ZISSERMAN A.用于大规模图像识别的超深卷积网络〔EB/OL〕2023-05-01］. .
12	TYSZKIEWICZ M J，FUA P，TRULLS E.DISK：利用政策梯度学习地方特色〔EB/OL〕。（2022-06-24）［2023-05-01］. .10.1109/iccv51070.2023.00203
13	LEE J，JEONG Y，KIM S，等.学习将卷积特征提取为紧凑的局部描述符〔C〕//2021年IEEE计算机视觉应用冬季会议论文集。皮斯卡塔韦：IEEE2021： 897-907.10.1109/wacv48630.2021.00094
14	徐少康，张战成，姚浩男，等.基于姿态编码器的二维/三维脊椎医学图像实时配准方法［记者：。计算机应用，2023，43（2）：589-594.10.11772/j.issn.100-9081.2021122147年11月10日
	徐世凯，张振中，姚海恩，等.基于位姿编码器的二维/三维脊柱医学图像实时配准方法〔J〕。计算机应用杂志，2023，43（2）：589-594.10.11772/j.issn.1001-9081.2021122147
15	王蓉，颜杰，杨霞.鲁棒深度图匹配的组合学习：一种基于嵌入的方法〔J〕。IEEE模式分析和机器智能汇刊，2023，45（6）：6984-7000.10.1109/tpami.2020.3005590
16	沈X，王C，李X，等.RF-Net：一种基于感受野的端到端图像匹配网络〔C〕//2019 IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2019： 8124-8132.10.1109/cvpr.2019.00832
17	王F-D，薛南，张勇，等.图匹配的函数表示〔J〕。IEEE模式分析和机器智能汇刊，2020，42（11）： 2737-2754.
18	VINIAVSKYI O，DOBKO M，MISHKIN D，等.OpenGlue：基于开源图神经网络的图像匹配流水线〔EB/OL〕2023-05-01］. .
19	刘辉，王涛，李毅，等.深度概率图匹配〔EB/OL〕。（2022-01-05）［2023-05-01］. .10.1158/0008-5472.sabcs12-p4-05-01
20	姜伟，TRULLS E，HOSANG J，等.COTR:跨图像匹配的对应变换器〔C〕//2021 IEEE/CVF国际计算机视觉会议论文集。皮斯卡塔韦：IEEE2021： 6187-6197.10.1109/iccv48922.2021.00615
21	LIN Y，YANG M，JUN Y，等.带双层噪声对应的图匹配〔EB/OL〕。（2022-12-08）〔2023-05-01〕。10.1109/iccv51070.2023.02135
22	邓毅，MA J.ResMatch：局部特征匹配的剩余注意学习〔EB/OL〕.〔2023-05-01］. .10.1609/aaai.v38i2.27915
23	何凯，张旭，任S，等.基于深度残差学习的图像识别〔C〕//2016 IEEE计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2016： 770-778.2016.90年10月10日/cvpr
24	LAGUNA A B、RIBA E、PONSA D等。网络：通过手工和学习的CNN过滤器进行关键点检测〔C〕//2019年IEEE/CVF国际计算机视觉会议论文集。皮斯卡塔韦：IEEE2019： 5835-5843.10.1109/iccv.2019.00593
25	周杰，崔庚，胡斯，等.图形神经网络方法与应用综述〔EB/OL〕2021-10-06］. .
26	LIN T-Y，GOYAL P，GIRSHICK R，等.稠密目标检测的焦距损失〔C〕//2017 IEEE计算机视觉国际会议论文集。皮斯卡塔韦：IEEE2017： 2999-3001.10.1109/iccv.2017.324
27	王荣，郭Z，蒋S，等.基于可微顶的局部图匹配深度学习-k个〔C〕//2023年IEEE/CFF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2023： 6272-6281.10.1109/cvpr52729.2023.00607

算法	ILSVRC2012年				ILSVRC2012年2
算法	AMA/%	AEPE公司	MS/%	计算时间/秒	AMA/%	AEPE公司	毫秒/%	计算时间/秒
SIFT公司	31.94	125.47	7.79	1.182	29.89	146.36	7.79	1.056
通用汽车公司	54.08	32.46	18.36	1.016	42.58	46.52	18.36	0.981
PCA-GM公司	62.15	29.37	21.46	1.134	53.42	32.26	21.46	1.079
OpenGlue（OpenGlue）	89.55	16.32	24.89	0.703	83.97	22.47	25.89	0.686
COTR公司	91.64	8.85	25.46	17.251	87.91	9.46	24.46	18.027
通用	89.43	7.99	26.54	1.388	82.44	10.27	25.81	1.752
重新匹配	90.27	6.32	24.11	0.329	88.87	7.95	22.76	0.316
SIRA-MFF公司	95.18	6.37	25.87	0.206	93.26	7.26	24.91	0.197

算法	ILSVRC2012年				ILSVRC2012年2
算法	AMA/%	AEPE公司	MS/%	计算时间/秒	AMA/%	埃及石油公司	MS/%	计算时间/秒
SIFT公司	31.94	125.47	7.79	1.182	29.89	146.36	7.79	1.056
通用汽车公司	54.08	32.46	18.36	1.016	42.58	46.52	18.36	0.981
PCA-GM公司	62.15	29.37	21.46	1.134	53.42	32.26	21.46	1.079
OpenGlue（OpenGlue）	89.55	16.32	24.89	0.703	83.97	22.47	25.89	0.686
COTR公司	91.64	8.85	25.46	17.251	87.91	9.46	24.46	18.027
通用	89.43	7.99	26.54	1.388	82.44	10.27	25.81	1.752
重新匹配	90.27	6.32	24.11	0.329	88.87	7.95	22.76	0.316
SIRA-MFF公司	95.18	6.37	25.87	0.206	93.26	7.26	24.91	0.197

算法	平均值/%	AEPE/%	MS/%	计算时间/秒
SIFT公司	30.27	137.42	7.79	1.160
通用汽车公司	53.26	42.36	18.36	0.926
PCA-GM公司	76.82	37.42	21.46	1.125
OpenGlue（OpenGlue）	88.57	23.58	24.89	0.625
COTR公司	91.25	7.98	24.91	18.367
通用	84.62	8.87	26.31	1.427
重新匹配	82.03	38.91	16.84	0.364
SIRA-MFF公司	89.69	7.86	25.16	0.184

算法	AMA/%	AEPE/%	毫秒/%	计算时间/秒
SIFT公司	30.27	137.42	7.79	1.160
通用汽车公司	53.26	42.36	18.36	0.926
PCA-GM公司	76.82	37.42	21.46	1.125
OpenGlue（OpenGlue）	88.57	23.58	24.89	0.625
COTR公司	91.25	7.98	24.91	18.367
通用	84.62	8.87	26.31	1.427
重新匹配	82.03	38.91	16.84	0.364
SIRA-MFF公司	89.69	7.86	25.16	0.184

钥匙。净值	DFE公司			特征匹配		EIL公司	AMA/%
钥匙。净值	32	128	256	预计起飞时间	PML公司	EIL公司	AMA/%
√				√			14.42
√					√		23.72
	√				√		49.26
		√			√		58.84
			√		√		66.39
			√		√	√	89.69

基于多特征融合的自监督图像配准算法

基于多特征融合的自监督图像配准算法

RichHTML格式

PDF格式

可视化

摘要/摘要

引用本文

使用本文

图/表10

参考文献27

相关文章15

第二次会议

韵律学

算法	参数量/10^三
PCA-GM公司	1 471.0
OpenGlue（OpenGlue）	940
COTR公司	166
通用	39
SIRA-MFF公司	6.7

算法	参数量/10^三
PCA-GM公司	1 471.0个
OpenGlue（OpenGlue）	940
COTR公司	166
通用	39
SIRA-MFF公司	6.7

[1]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政.融合多尺度和注意力机制的小样本目标检测[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[2]	汪炅, 唐韬韬, 贾彩燕.无负采样的正样本增强图对比学习推荐方法PAGCL公司[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1485-1492.
[3]	黄荣, 宋俊杰, 周树波, 刘浩.基于自监督视觉变压器的图像美学质量评价方法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(4): 1269-1276.
[4]	郑宇亮, 陈云华, 白伟杰, 陈平华.融合事件数据和图像帧的车辆目标检测[J] ●●●●。《计算机应用》唯一官方网站, 2024，44（3）：931-937。
[5]	吴宁, 罗杨洋, 许华杰.基于多尺度特征融合的遥感图像语义分割方法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(3): 737-744.
[6]	贾宗泽, 高鹏飞, 马应龙, 刘晓峰, 夏海鑫.基于注意力机制的多特征融合对话行为层次化分类方法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(3): 715-721.
[7]	蒋占军, 吴佰靖, 马龙, 廉敬.多尺度特征和极化自注意力的更快的RCNN[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(3): 938-944.
[8]	李新叶, 侯晔凝, 孔英会, 燕志旗.结合特征融合与增强注意力的少样本目标检测[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(3): 745-751.
[9]	黄巧玲, 郑伯川, 丁梓成, 吴泽东.融合监督注意力模块和跨阶段特征融合的图像修复改进网络[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(2): 572-579.
[10]	黄子麒, 胡建鹏.实体类别增强的汽车领域嵌套命名实体识别[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(2): 377-384.
[11]	石志良, 廖诗旗, 甘梓博, 祝少博.三维桡骨成角楔形截骨术前自动规划算法[J] ●●●●。《计算机应用》唯一官方网站, 2024年，44（2）：588-594。
[12]	张雨宁, 阿布都克力木·阿布力孜, 梅悌胜, 徐春, 麦尔达娜·买买提热依木, 哈里旦木·阿布都克里木, 侯钰涛.基于自监督特征提取的骨骼X（X）线影像异常检测方法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(1): 175-181.
[13]	朱志平, 杨燕, 王杰.基于场景图感知的跨模态图像描述模型[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(1): 58-64.
[14]	杨昊, 张轶.基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[15]	刘欢, 吴亮红, 张侣, 陈亮, 周博文, 张红强.基于特征双融合中心网络的白细胞检测方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(8): 2602-2610.