计算机科学>计算机视觉和模式识别
职务: 一种基于查询的伪装实例分割统一范式
摘要: 由于伪装实例与背景的高度相似性,最近提出的伪装实例分割(CIS)在准确定位和实例分割方面面临挑战。 为此,受基于查询的变换器的启发,我们提出了一个用于伪装实例分割的统一的基于查询的多任务学习框架,称为UQFormer, 它构建一组掩码查询和一组边界查询来学习共享的组合查询表示,并有效地集成全局伪装对象区域和边界线索,以便在伪装场景中同时进行实例分割和实例边界检测。 具体来说,我们设计了一种组合查询学习范式,该范式通过在设计的多尺度统一学习变换解码器中掩码查询和边界查询的交叉注意交互,学习共享表示来捕获对象区域和边界特征。 然后,我们提出了一个基于变换器的多任务学习框架,该框架基于学习的组合查询表示,用于同时进行伪装实例分割和伪装实例边界检测,这也迫使模型学习一个强实例级的查询表示。 值得注意的是,我们的模型将实例分割视为一个基于查询的直接集预测问题,没有其他的后处理,例如非最大值抑制。 与14种最先进的方法相比,我们的UQFormer显著提高了伪装实例分割的性能。 我们的代码将在 此https URL .