基于生成对抗网络的时尚内容和风格迁移

doi:10.3778/j.issn.1002-8331.2212-0265

摘要/摘要

摘要：生成对抗网络常常被用于图像着色、语义合成、风格迁移等图像转换任务，但现阶段图像生成模型的训练往往依赖于大量配对的数据集，且只能实现两个图像域之间的转换。针对以上问题，提出了一种基于生成对抗网络的时尚内容和风格迁移模型（基于生成性对抗网络的内容和风格传输，CS-GAN）该模型利用对比学习框架最大化时尚单品与生成图像之间的互信息，可保证在时尚单品结构不变的前提下实现内容迁移；通过层一致性动态卷积方法，针对不同风格图像自适应地学习风格特征，实现时尚单品任意风格迁移，对输入的时尚单品进行内容特征（如颜色、纹理）和风格特征（如莫奈风、立体派）的融合，实现多个图像域的转换。在公开的时尚数据集上进行对比实验和结果分析，该方法与其他主流方法相比，在图像合成质量、初始得分和氢火焰离子化检测器距离评价指标上均有所提升。

关键词: 生成对抗网络, 内容和风格迁移, 特征融合, 多域转换, 层一致性动态卷积

摘要：生成性对抗网络通常用于图像着色、语义合成、风格传递等图像转换任务。然而，此阶段图像生成模型的训练往往依赖于大量的成对数据集，只能实现两个图像域之间的转换。为了解决上述问题，提出了一种基于生成性对抗网络（CS-GAN）的内容和风格传输。该模型通过使用对比学习框架最大化了时尚商品和生成图像之间的相互信息，可以确保在不改变时尚商品结构的情况下实现内容迁移。通过逐层动态卷积方法，自适应学习不同风格图像的风格特征，实现时尚商品的任意风格迁移。将导入时尚项目的内容特征（如莫奈风格和立体主义）和风格特征（如颜色和纹理）集成在一起，实现多个图像域的转换。在开放式时尚数据集上进行了对比实验和结果分析。对公共时尚数据集进行了对比实验和结果分析。与其他主流方法相比，该方法在图像合成质量、平均初始得分和FID距离评价指标上都有所提高。

关键词： 生成性对抗网络，内容和风格转换，特征融合，多域特征转移，层一致性动态卷积

侯磊、侯磊、侯磊[J] ●●●●。，2024, 60(9): 261-271.

丁文华、杜俊伟、侯磊、刘金环。基于生成对抗网络的时尚内容与风格传递[J]。计算机工程与应用，2024,60（9）：261-271。

参考文献

[1] GOODFELLOW I，POUGET-ABADIE J，MIRZA M，等.生成性对抗网络[J]。ACM通信，2020，63（11）：139-144。
[2] 程显毅, 谢璐, 朱建新, 等. 生成对抗网络GAN公司综述[J] ●●●●。计算机科学, 2019, 46(3): 74-81.
程晓英，谢磊，朱建新，等.生成性对抗网络研究综述[J]。计算机科学，2019，46（3）：74-81。
[3] 张瑞，ISOLA P，EFROS A A.彩色图像彩色化[C]//欧洲计算机视觉会议论文集，2016:649-666。
[4] CHENG Z，YANG Q，SHENG B.深度着色[C]//IEEE国际计算机视觉会议论文集，2015:415-423。
[5] 朱平，ABDAL R，QIN Y，等.SEAN:基于语义区域自适应归一化的图像合成[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020：5104-5113。
[6] 李霞，张伟，庞杰，等.视频k-net：一种简单、强大、统一的视频分割基线[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:18847-18857。
[7] 曾毅，杨浩，赵浩，等。基于标记的变压器发生器提高图像合成的视觉质量[C]//神经信息处理系统进展，2021:21125-21137。
[8] 李伟，熊伟，廖华，等.卡里根：弱配对对抗学习下的漫画生成[J]。神经网络，2020，132:66-74。
[9] 阿尔廷迪，达瓦·Y？S F，DUNDAR A.VecGAN：具有可解释潜在方向的图像到图像转换[C]//欧洲计算机视觉会议。查姆：施普林格，2022:153-169。
[10] KARRAS T，LAINE S，AILA T。生成性对抗网络的基于样式的生成器体系结构[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2019:4401-4410。
[11] 张毅，李明，李瑞，等.任意风格转换和领域泛化的精确特征分布匹配[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:8035-8045。
[12] 李Z，王C，郑H，等.FakeCLR：探索对比学习解决数据高效GANs中潜在不连续性问题[C]//欧洲计算机视觉会议。查姆：施普林格，2022:598-615。
[13] LEDIG C，THEIS L，HUSZR F，et al.使用生成对抗网络的真实感单幅图像超分辨率[C]//IEEE计算机视觉和模式识别会议论文集，2017:105-114。
[14] 董聪，陈春丽，何可，等.基于深度卷积网络的图像超分辨率研究[J]。IEEE模式分析和机器智能汇刊，2016，38（2）：295-307。
[15] MIRZA M，OSINDERO S.条件生成对抗网[J]。arXiv:1411.17842014年。
[16] ISOLA P，ZHU J Y，ZHOU T，等.基于条件对抗网络的图像到图像转换[C]//IEEE计算机视觉与模式识别会议论文集，2017:5967-5976。
[17] ZHU J Y，PARK T，ISOLA P等。使用循环一致对抗性网络的非配对图像到图像翻译[C]//IEEE国际计算机视觉会议论文集，2017:22223-2232。
[18] AMODIO M，KRISHNASWAMY S.Travelgan：通过变换向量学习进行图像到图像的翻译[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2019：8983-8992。
[19] BENAIM S，WOLF L.单侧非监督域映射[C]//第31届神经信息处理系统国际会议论文集，2017:752-762。
[20] FU H，GONG M，WANG C，et al.用于单侧无监督域映射的几何一致性生成对抗性网络[C]//IEEE/CFF计算机视觉和模式识别会议论文集，2019:2427-2436。
[21]GATYS L A，ECKER A S，BETHGE M.使用卷积神经网络进行图像风格转换[C]//IEEE计算机视觉和模式识别会议论文集，2016:2414-2423。
[22]ULYANOV D，VEDALDI A，LEMPITSKY V.实例规范化：快速风格化的缺失要素[J]。arXiv:1607.080222016年。
[23]杜穆林五世，SHLENS J，KUDLUR M.艺术风格的学术代表[J]。arXiv:1610.076292016年。
[24]黄X，BELONGIE S.实时自适应实例归一化任意样式传输[C]//IEEE计算机视觉国际会议论文集，2017:1501-1510。
[25]LASSNER C，PONS-MOLL G，GEHLER P V.穿着人的生成模型[C]//IEEE计算机视觉国际会议论文集，2017:853-862。
[26]JETCHEV N，BERGMANN U。条件类比GAN:交换关于人物图像的时尚文章[C]//IEEE国际计算机视觉研讨会（ICCVW），意大利威尼斯，2017:2287-2292。
[27]HAN X T，WU Z X，WU Z，et al.Viton：一种基于图像的虚拟试验网络[C]//IEEE计算机视觉和模式识别会议论文集，2018：7543-7552。
[28]SBAI O，ELHOSEINY M，BORDES A，et al.设计：来自生成网络的设计灵感[C]//欧洲计算机视觉会议（ECCV）研讨会论文集，2018。
[29]MO S，CHO M，SHIN J.Instagan：实例软件图像到图像的转换[J]。arXiv:1812.108892018年。
[30]西安W，SANGKLOY P，AGRAWAL V，et al.纹理：用纹理块控制深度图像合成[C]//IEEE计算机视觉与模式识别会议论文集，2018:8456-8465。
[31]AK K E，LIM J H，THAM J Y，等.时尚图像的属性操作生成对抗网络[C]//IEEE/CVF国际计算机视觉会议论文集，2019:10541-10550。
[32]朱S，URTASUN R，FIDLER S，等.做你自己的普拉达：结构连贯的时尚合成[C]//IEEE国际计算机视觉会议论文集，2017:1680-1688。
[33]张毅，李磊，宋磊，等.事实：将对服装转移的关注与生成性对抗网络相融合[C]//《美国人工智能学会人工智能会议论文集》，2020年：12894-12901。
[34]YOO D，KIM N，PARK S，et al.像素级域转移[C]//欧洲计算机视觉会议论文集，2016:517-532。
[35]GOKASLAN A，RAMANUJAN V，RITCHIE D，et al.改进无监督图像到图像转换中的形状变形[C]//欧洲计算机视觉会议论文集，2018:649-665。
[36]徐毅，尹毅，姜磊，等.TransEditor:基于变压器的高可控面部编辑双空间GAN[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:7683-7692。
[37]王涛，张毅，范毅，等.用于图像属性编辑的高精度gan反演[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:11379-11388。
[38]KIM J，CHOI Y，UH Y.生成性对抗网络的特征统计混合正则化[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2022:11294-11303。
[39]YANG S，HWANG H，YE J C.文本引导扩散图像风格传输的零镜头对比度损失[C]//IEEE/CVF计算机视觉国际会议论文集，2023:22873-22882。
[40]李波，朱毅，王毅，等.无监督动画人脸生成的风格引导生成对抗网络[J]。IEEE多媒体汇刊，2021，24:4077-4091。
[41]CHEN Y，LAI Y K，LIU Y J.CartoonGAN:用于照片卡通化的生成性对抗网络[C]//IEEE计算机视觉和模式识别会议论文集，2018：9465-9474。
[42]何凯，张X，任S，等.基于深度剩余学习的图像识别[C]//IEEE计算机视觉与模式识别会议论文集，2016:770-778。
[43]赵勇，张旭，冯伟，等.基于多光谱遥感图像真实光谱数据集的ResNet-18深度学习分类[J]。遥感，2022，14（19）：4883。
[44]JOHNSON J，ALAHI A，LI F F.实时风格传输和超分辨率感知损失[C]//第14届欧洲计算机视觉会议论文集，荷兰阿姆斯特丹，2016年10月11-14日：694-711。
[45]OORD A，LI Y，VINYALS O.用对比预测编码进行表征学习[J]。arXiv:1807.037482018年。
[46]CHEN T，KORNBLITH S，NOROUZI M，et al.视觉表征对比学习的简单框架[C]//国际机器学习会议，2020：1597-1607。
[47]宋X，冯F，刘杰，等.神经造型师：服装匹配的神经兼容性建模[C]//第25届ACM国际多媒体会议论文集，2017:753-761。
[48]NICHOL K.Painter by numbers，WIKI ART[Z]。基里·尼科尔，2016年。
[49]许Q，黄G，袁Y，等。生成对抗性网络评价指标的实证研究[J]。arXiv:1806.077552018年。
[50]SETIADI D R I M.PSNR与SSIM：图像隐写术的不可感知性质量评估[J]。多媒体工具和应用，2021，80（6）：8423-8444。
[51]PARK T，EFROS A A，ZHANG R，et al.非配对图像到图像转换的对比学习[C]//第16届欧洲计算机视觉会议论文集，英国格拉斯哥，2020年8月23-28日。[S.l.]：施普林格国际出版公司，2020年：319-345。
[52]景毅，刘X，丁毅，等.任意风格传输的动态实例规范化[C]//美国人工智能学会人工智能会议论文集，2020：4369-4376。