×
张迪;周勇（Zhou，Yong）;赵嘉琪;周子源;姚、芮

用于红外和可见光图像融合的保持结构相似性的GAN。 （英语） Zbl 1474.68404号

国际小波多分辨率。Inf.流程。 19，第1号，文章ID 2050063，17 p.（2021）.
摘要：与单个图像相比，在复杂环境中，图像融合可以利用多个传感器提供的互补信息，显著提高图像清晰度和信息，更准确、可靠、全面地获取目标和场景信息。它广泛应用于军事和民用领域，如遥感、医学、安全等领域。本文提出了一种基于结构相似性保持GAN（SSP-GAN）的端到端融合框架，用于学习可见光和红外图像融合任务的映射。具体来说，一方面，为了使融合图像更自然、更符合视觉习惯，引入结构相似性来引导生成器网络产生丰富的纹理结构信息。另一方面，为了充分利用浅细节信息和深层语义信息来实现特征重用，我们精心重新设计了多模态图像融合的网络架构。最后，在真实红外和可见光TNO数据集以及RoadScene数据集上进行的大量实验证明了该方法在准确性和可视性方面的优越性能。特别是，与其他七种算法的最佳结果相比，我们的模型在TNO数据集上将熵、边缘信息传递因子、多尺度结构相似性和其他评价指标分别提高了3.05%、2.4%和0.7%。我们的模型在RoadScene数据集上也分别提高了0.7%、2.82%和1.1%。

理学硕士：

68T45型 机器视觉和场景理解
68单位10 图像处理的计算方法

关键词：

图像融合;结构相似性;生成性对抗网络;红外图像;可见图像

软件：

国际有线电视新闻网;FusionGAN公司
PDF格式BibTeX公司 XML格式引用
\textit{D.Zhang}等人，《国际小波多分辨率》。信息处理。19，第1号，文章ID 2050063，17 p.（2021；Zbl 1474.68404）
全文： 内政部

参考文献：

[1] Akbarpour，T.、Shamsi，M.、Daneshvar，S.和Pooreisa，M.，基于非次采样剪切波变换和主成分平均的医学图像融合，国际小波多分辨率。信息处理17（4）（2019）1950023·Zbl 1418.92066号
[2] Aslantas，V.和Bendes，E.，《图像融合的新图像质量度量：差异相关性之和》，AEU-Int.J.Electron。公社69（12）（2015）1890-1896。
[3] Dong，X.，Yan，Y.，Tan，M.，Yang，Y.和Tsang，I.W.，通过保持一致性的子空间搜索进行后期融合，IEEE Trans。图像处理。28（1）（2018）518-528·Zbl 1409.90240号
[4] Eskicioglu，A.M.和Fisher，P.S.，《图像质量测量及其性能》，IEEE Trans。Commun.43（12）（1995）2959-2965。
[5] Guariglia，E.，《熵与分形天线》，熵18（3）（2016）84。
[6] Guariglia，E.，weierstrass-mandelbrot函数的光谱分析，摘自Proc。第二届国际多学科会议。计算机与能源科学（SplitTech）（IEEE，Split，2017），第1-6页。
[7] Guariglia，E.，Harmonic sierpinski垫片和应用，Entropy20（9）（2018）714。
[8] Guariglia，E.和Silvestrov，S.，《正定分布和小波的分数小波分析》（mathcal{mathcal{D}}^\prime（mathbb{C}）），工程数学II（Springer，Berlin，2016），第337-353页·Zbl 1365.65294号
[9] R.C.Guido，离散小波变换实用技巧[sp tips&tricks]，IEEE信号处理。Mag.32（3）（2015）162-166。
[10] Hu，Y.和Zhang，B.，一种用于图像融合的生物激励双尺度互补性评估方法，国际小波多分辨率。Inf.Process.15（6）（2017）1750053。
[11] Huang，M.，Liu，Z.，Ye，L.，Zhou，X.和Wang，Y.，通过多级集成和多尺度融合神经网络进行显著性检测，神经计算364（2019）310-321。
[12] Jian，M.和Jung，C.，使用自适应约束传播的交互式图像分割，IEEE Trans。图像处理。25（3）（2016）1301-1311·Zbl 1408.94285号
[13] Kong，W.，Miao，Q.和Lei，Y.，基于非子采样域局部差异的多模式传感器医学图像融合，IEEE Trans。仪器。《测量》68（4）（2018）938-951。
[14] Lekic，V.和Babic，Z.，《使用生成对抗网络的汽车雷达和相机融合》，计算。视觉。《图像理解》184（2019）1-8。
[15] Lewis，J.J.、O'Callaghan，R.J.，Nikolov，S.G.、Bull，D.R.和Canagarajah，N.，基于像素和区域的复杂小波图像融合，Inf.Fusion8（2）（2007）119-130。
[16] Li，S.，Kang，X.和Hu，J.，带引导滤波的图像融合，IEEE Trans。图像处理。22（7）（2013）2864-2875。
[17] Li，Y.、Lv，Z.、Zhao，J.和Pan，Z.，使用直方图、字典学习和稀疏表示提高医学图像融合性能，多媒体工具应用78（24）（2019）34459-34482。
[18] Li，H.和Wu，X.-J.，《密集型：红外和可见光图像的融合方法》，IEEE Trans。图像处理。28（5）（2018）2614-2623。
[19] H.Li和X.J.Wu，使用潜在低阶表示的红外和可见光图像融合，预印本（2018），arXiv:1804.08992。
[20] Li，H.，Wu，X.-J.和Kittler，J.，《使用深度学习框架的红外和可见光图像融合》，收录于Proc。第24届国际会议模式识别（ICPR）（IEEE，北京，2018），第2705-2710页。
[21] Li，J.，Yang，J.、Gong，C.和Liu，Q.，通过稀疏和双低阶分解进行显著融合，模式识别。Lett.107（2018）114-122。
[22] Liang，Y.，Mao，Y.、Xia，J.、Xiang，Y.和Liu，J.，用于快速图像融合的尺度不变结构显著性选择，神经计算356（2019）119-130。
[23] Liu，Y.，Chen，X.，Cheng，J.，Peng，H.和Wang，Z.，利用卷积神经网络进行红外和可见光图像融合，国际小波多分辨率。Inf.过程16（3）（2018）1850018·Zbl 1392.62196号
[24] Liu，Y.，Chen，X.，Peng，H.和Wang，Z.，利用深度卷积神经网络进行多聚焦图像融合，Inf.Fusion36（2017）191-207。
[25] Liu，X.，Liu，Q.和Wang，Y.，基于双流融合网络的遥感图像融合，Inf.Fusion55（2020）1-15。
[26] Liu，X.，Zhang，H.，Cheung，Y.-M.，You，X.和Tang，Y.Y.，《有效的单图像去噪和去噪：一种有效的多尺度相关小波方法》，计算。视觉。《图像理解》162（2017）23-33。
[27] Liu，Y.，Liu，S.和Wang，Z.，基于多尺度变换和稀疏表示的图像融合通用框架，Inf.Fusion24（2015）147-164。
[28] Ma，J.，Liang，P.，Yu，W.，Chen，C.，Guo，X.，Wu，J.和Jiang，J..，《通过细节保护对抗性学习进行红外和可见光图像融合》，《信息融合》54（2020）85-98。
[29] Ma，J.，Ma，Y.和Li，C.，《红外和可见光图像融合方法和应用：调查》，《信息融合》45（2019）153-178。
[30] Ma，J.，Yu，W.，Liang，P.，Li，C.和Jiang，J..，Fusiongan:一个用于红外和可见光图像融合的生成性对抗网络，Inf.Fusion48（2019）11-26。
[31] Ma，K.，Zeng，K.和Wang，Z.，多曝光图像融合的感知质量评估，IEEE Trans。图像处理。24（11）（2015）3345-3356·Zbl 1408.94465号
[32] Ma，J.，Zhou，Z.，Wang，B.和Zong，H.，基于视觉显著性图和加权最小二乘优化的红外和可见光图像融合，《红外物理》。Technol.82（2017）8-17。
[33] Mallat，S.G.，图像和小波模型的多频信道分解，IEEE Trans。阿库斯特。语音信号处理。37（12）（1989）2091-2110。
[34] Mao，Q.，Wang，S.，Wang。IEEE国际会议多媒体与博览会（ICME）（IEEE，加州圣地亚哥，2018），第1-6页。
[35] 奈杜，V.，使用多分辨率奇异值分解的图像融合技术，国防科学。J.61（5）（2011）479-484。
[36] Qu，G.，Zhang，D.和Yan，P.，图像融合性能的信息测量，电子。Lett.38（7）（2002）313-315。
[37] Sun，Z.，Hu，Z.P.，Chiong，R.，Wang，M.和Zhao，S.，用于面部表情识别的具有两个子空间的自适应加权融合模型，信号图像视频处理。12（5）（2018）835-843。
[38] Wang，Z.，Bovik，A.C.，Sheikh，H.R.，Simoncelli，E.P.等人，《图像质量评估：从错误可见性到结构相似性》，IEEE Trans。图像处理。13（4）（2004）600-612。
[39] Xia，K.J.，Yin，H.S.和Wang，J.Q.，一种用于医学图像融合的新型改进深度卷积神经网络模型，聚类计算。22（1）（2019）1515-1527。
[40] Xydeas，C.和Petrovic，V.，《客观图像融合性能测量》，电子。Lett.36（4）（2000）308-309。
[41] Yang，L.，Su，H.，Zhong，C.，Meng，Z.，Luo，H，Li，X.，Tang，Y.Y.和Lu，Y.，使用基于小波变换的平滑排序的高光谱图像分类，国际小波多分辨率。Inf.过程17（6）（2019）19500·Zbl 1434.62140号
[42] Yang，B.，Zhong，J.，Li，Y.和Chen，Z.，多聚焦图像融合和卷积神经网络超分辨率，国际小波多分辨率。《信息流程》15（4）（2017）1750037·Zbl 1369.62146号
[43] Zhang，K.，Huang，Y.和Zhao，C.，基于RPCA和自适应PCNN的NSST域遥感图像融合，国际小波多分辨率。Inf.过程16（5）（2018）1850037·Zbl 1401.60131号
[44] Zhang，Y.，Liu，Y.、Sun，P.、Yan，H.、Zhao，X.和Zhang、L.，IFCNN:基于卷积神经网络的通用图像融合框架，Inf.Fusion54（2020）99-118。
[45] Zheng，X.，Tang，Y.Y.和Zhou，J.，无向图上信号的自适应多尺度小波分解框架，IEEE Trans。信号处理。67（7）（2019）1696-1711·Zbl 1458.94160号
[46] Zhou，Z.，Wang，B.，Li，S.和Dong，M.，通过高斯和双边滤波器的混合多尺度分解实现红外和可见光图像的感知融合，Inf.Fusion30（2016）15-26。
[47] 朱，Z.，Yin，H.，Chai，Y.，Li，Y.和Qi，G.，一种基于图像分解和稀疏表示的新型多模态图像融合方法，Inf.Sci.432（2018）516-529。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。