基于特征解耦的少样本遥感飞机图像增广算法

doi:10.3778/j.issn.1002-8331.2212-0237

摘要/摘要

摘要：基于深度学习的遥感飞机图像分类模型依赖多元化、均衡化的数据集进行训练，但由于飞机目标的高动态特性导致其大规模数据采集困难，现有的飞机细粒度数据集往往存在高质量数据有限、样本不均衡、难以覆盖全部场景的问题。图像生成技术作为数据增广的一种方式在提高数据规模方面发挥了重要作用，但传统的图像生成算法依赖大量样本训练，在少样本条件下的遥感细粒度图像生成问题亟待解决。因此，针对飞机目标图像类间相似度高、类内差异性大的特性提出了一种基于特征解耦的小样本图像生成方法FD-VAE、并在FAIR1M飞机和3月20日两个细粒度遥感飞机数据集上进行测试，与多种先进的图像生成方法相比，FD-VAE公司的生成图像质量评价指标氢火焰离子化检测器和LPIPS公司有明显改善。一系列定性和定量实验证明了FD-VAE公司在生成多样性、高质量的飞机细粒度图像方面具有强竞争力。并且，使用FD-VAE公司增广后数据集训练的ResNet-18公司分类网络，相比于传统训练方法精度提升2.3个百分点。FD-VAE公司有效缓解了细粒度飞机图像高质量数据采集困难的问题，并且有助于提升下游深度学习模型的性能上限。

关键词: 变分自编码器, 数据增广, 特征解耦, 二人转，图像生成, 遥感图像

摘要：遥感飞机图像分类的深度学习模型依赖于多样化和平衡的数据集进行训练和测试。然而，由于飞机目标的高动态特性，很难收集大规模数据。现有飞机细粒度数据集通常存在高质量数据不足、样本不平衡以及难以覆盖所有场景的问题。作为一种数据增强方法，图像生成技术在增加训练集的数据量方面发挥了重要作用。然而，传统的图像生成算法仍然需要大量的样本进行训练，在样本较少的情况下进行遥感细粒度图像生成的问题仍有待解决。因此，考虑到飞机目标图像类间相似度高、类内差异大的特点，提出了一种基于特征解缠结的快速图像生成方法FD-VAE。该方法在两个细粒度遥感飞机数据集FAIR1M-飞机和MAR20上进行了测试。与各种先进的图像生成方法相比，FD-VAE生成的图像质量在评价指标FID和LPIPS中得到了显著改善。通过一系列定性和定量实验，证明了FD-VAE在生成多样化、高质量的飞机细粒度图像方面的竞争力。此外，使用FD-VAE增强数据集训练的ResNet-18分类网络的准确性提高了2.3个百分点。上述实验结果证明，该方法有效地缓解了采集细粒度飞机图像高质量数据的困难，并有助于提高下游深度学习模型的性能上限。

关键词： 可变自动编码器（VAE），数据增强，功能分离，少量快速学习，图像生成，遥感图像

刘牧云, 卞春江, 陈红珍. 基于特征解耦的少样本遥感飞机图像增广算法[J] ●●●●。计算机工程与应用, 2024年，60（9）：244-253。

刘慕云、卞春江、陈洪珍。基于特征分离的少快照遥感飞机图像生成算法[J]。计算机工程与应用，2024，60（9）：244-253。

参考文献

[1] LONG Y，XIA G S，LI S，et al.关于创建航空图像判读基准数据集的研究：综述、指南和百万援助[J]。IEEE应用地球观测和遥感专题期刊，2021年，14:4205-4230。
[2] 朱晓霞，TUIA D，MOU L，等。遥感深度学习：资源综述与清单[J]。IEEE地球科学与遥感杂志，2017，5（4）：8-36。
[3] 李伟，徐春云。用于大规模图像分析和机器视觉的GeoAI：人工智能在地理学中的最新进展[J]。ISPRS国际地理信息杂志，2022，11（7）：385。
[4] LEE S，HYUN J，SEONG H，et al.基于内容传输的语义切分的无监督域适配[C]//AAAI人工智能会议论文集，2021:8306-8315。
[5] 徐敏，尹斯，福恩特斯A，等。深度学习图像增强技术综述[J]。arXiv:2205.014912022。
[6] KINGMA D P，WELLING M.自动编码变分贝叶斯[J]。arXiv:1312.61142013年。
[7] GOODFELLOW I，POUGET-ABADIE J，MIRZA M，等.生成性对抗网络[J]。ACM通信，2020，63（11）：139-144。
[8] 杨磊，张泽，宋毅，等。扩散模型：方法与应用综述[J]。arXiv:2209.007962022年。
[9] 孙旭，王平，闫姿，等.FAIR1M：高分辨率遥感图像中细粒度目标识别的基准数据集[J]。ISPRS摄影测量和遥感杂志，2022年，184:116-130。
[10] 禹文奇, 程塨, 王美君, 等. 3月20日：遥感图像军用飞机目标识别数据集[J] ●●●●。遥感学报, 2023, 27(12): 2688-2696.
于伟强，程刚，王敏杰，等.遥感图像中军用飞机识别基准[J]。国家遥感公报，2023，27（12）：2688-2696。
[11] 何凯，张欣，任S，等。图像识别中的深度剩余学习[C]//IEEE计算机视觉与模式识别会议论文集，2016:770-778。
[12] 梁伟，刘忠，刘春华，道森：一种域自适应少炮生成框架[J]。arXiv:2001.005762020年。
[13] CLOU公司？TRE L，DEMERS M.FIGR:爬行动物的少量快照图像生成[J]。arXiv:1901.021992019年。
[14] 托尔斯蒂克欣I，鲍斯奎特O，盖莉·S，等.瓦瑟斯坦自动编码器[J]。arXiv:1711.015582017年。
[15] BARTUNOV S，VETROV D.很少使用生成匹配网络进行生成建模[C]//国际人工智能与统计会议，2018:670-678。
[16] 洪毅，NIU L，ZHANG J，等.MatchingGAN:基于匹配的少快照图像生成[C]//2020 IEEE国际多媒体与博览会（ICME），2020：1-6。
[17] 顾Z，李伟，霍杰，等.LofGAN:融合局部表示生成少快照图像[C]//IEEE/CVF国际计算机视觉会议论文集，2021:8463-8471。
[18] 安东尼奥A，斯托基A，爱德华兹H。数据增强生成对抗网络[J]。arXiv:1711年。
04340, 2017.
[19] 洪毅，NIU L，ZHANG J，等.三角洲：利用特定样本三角洲实现不同的少快照图像生成[J]。arXiv:2009.087532020年。
[20] 丁庚，韩X，王S，等.基于属性组编辑的可靠少快照图像生成[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:11194-11203。
[21]FRID-ADAR M，DIAMANT I，KLANG E，等.基于GAN的合成医学图像增强技术，用于提高CNN在肝脏病变分类中的性能[J]。神经计算，2018，321:321-331。
[22]裴Z，姜浩，李旭，等.基于元学习的改进型少射wasserstein自动编码器在滚动轴承故障诊断中的数据增强[J]。测量科学与技术，2021，32（8）：084007。
[23] 张曼, 李杰, 朱新忠, 等. 基于改进DCGAN公司算法的遥感数据集增广方法[J] ●●●●。计算机科学, 2021年，48（6A）：80-84。
ZHANG M，LI J，ZHU XZ，et al.基于改进DCGAN算法的遥感数据集增强技术[J]。计算机科学，2021，48（6A）：80-84。
[24] 陈国炜, 刘磊, 郭嘉逸, 等. 基于生成对抗网络的半监督遥感图像飞机检测[J] ●●●●。中国科学院大学学报, 2020, 37(4): 539-546.
陈国伟，刘磊，郭建英，等。基于生成对抗网络的遥感图像半监督飞机检测[J]。中国科学院大学学报，2020，37（4）：539-546。
[25] 杨志钢, 杨远兰, 苍思远, 等. 基于GAN公司的船舶遥感图像数据增广方法[J] ●●●●。应用科技, 2022, 49(5): 8-14.
杨志刚，杨永利，坎世英，等.基于GAN的舰船遥感图像数据增强方法[J]。应用科学与技术，2022，49（5）：8-14。
[26] 姜雨辰, 朱斌. 少样本条件下基于生成对抗网络的遥感图像数据增强[J] ●●●●。激光与光电子学进展, 2021, 58(8): 238-244.
姜永川，朱斌.少样本条件下基于生成对抗网络的遥感图像数据增强[J]。激光与光电子进展，2021，58（8）：238-244。
[27]SOHN K，LEE H，YAN X.使用深度条件生成模型学习结构化输出表示[C]//第28届国际神经信息处理系统大会论文集，2015。
[28]GIRIN L，LEGLAIVE S，BIE X，等.动态变分自编码器：综述[J]。arXiv:2008.125952020年。
[29]VAHDAT A，KAUTZ J.NVAE:深度分层变分自动编码器[C]//第34届神经信息处理系统国际会议论文集，2020年：19667-19679。
[30]VAN DEN OORD A，VINYALS O.神经离散表示学习[C]//第31届神经信息处理系统国际会议论文集，2017。
[31]黄浩，贺瑞，孙Z，等.导论VAE:用于摄影图像合成的内省变分自编码器[C]//第32届神经信息处理系统国际会议论文集，2018。
[32]DANIEL T，TAMAR A.Soft-IntroVAE:分析和改进内省变分自动编码器[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2021:4391-4400。
[33]HEUSEL M，RAMSAUER H，UNTERTHINER T，et al.通过双时间尺度更新规则训练的GAN收敛到局部纳什均衡[C]//第32届神经信息处理系统国际会议论文集，2017。
[34]张R，ISOLA P，EFROS A A，等.深度特征作为感知度量的不合理有效性[C]//IEEE计算机视觉与模式识别会议论文集，2018:586-595。