简单中的伟大：无分析器虚拟试运行的统一自循环一致性

的一部分神经信息处理系统进展36（NeurIPS 2023）主要会议轨道

作者

杜成虎、王俊银、刘树清、熊胜武

摘要

基于图像的虚拟试穿任务仍然具有挑战性，这主要是因为与非刚性服装变形建模相关的固有复杂性以及人体内服装的强烈特征纠缠。最近的突破性配方，如内涂、循环一致性和知识蒸馏，促进了自我监督的试印图像生成。然而，这些范式要求通过辅助任务（例如利用“教师知识”和双生成器）来解开人体特征中的服装特征。辅助任务中潜在的不负责任的先验知识可能成为下游任务中主生成器（例如“学生模型”）的一个重要瓶颈。此外，现有的服装变形方法缺乏感知真实世界中服装和人体之间相关性的能力，导致不真实的对齐效果。为了解决这些局限性，我们提出了一种新的基于统一自循环一致性（USC-PFN）的无解析器虚拟试穿网络，该网络只需一个生成器即可实现不同服装之间的健壮转换，忠实地复制真实场景中服装的非刚性几何变形。具体来说，我们首先提出了一种具有循环模式的自循环一致性体系结构。它专门利用真实的未配对服装人物图像作为训练输入，有效地消除了模型输入端不负责任的先验知识的影响。此外，我们建立了马尔可夫随机场来模拟更自然、更真实的服装变形。此外，USC-PFN可以利用通用发电机进行自我监督循环训练。实验表明，我们的方法在流行的虚拟试穿基准测试上实现了最先进的性能。