摘要
对于最先进的目标探测器来说,探测被遮挡的目标仍然是一个挑战。这项工作的目的是改进对此类目标的检测,从而提高现代目标检测器的整体性能。
为此,我们做出了以下四个贡献:(1)我们为两级目标检测器的检测头提出了一个简单的“插件”模块,以提高部分遮挡对象的召回率。该模块预测目标对象、遮挡器和遮挡物的三层分割遮罩,这样可以更好地预测目标对象的遮罩。(2) 我们提出了一个可扩展的管道,通过使用现有对象检测和实例分割训练数据集的非对称补全来生成模块的训练数据,以建立遮挡关系。(3) 我们还建立了一个COCO评价数据集来衡量部分遮挡和分离对象的召回性能。(4) 我们表明,插入到两级检测器中的插件模块可以显著提高性能,只需微调检测头,如果整个体系结构微调,还可以进行额外的改进。报道了具有Swin-T或Swin-S骨干的Mask R-CNN和具有Swin-B骨干的Cascade Mask R-CNN的COCO结果。
出版物
|
一种改进阻塞检测的三层插件
管其战,谢伟迪,安德鲁·齐瑟曼
BMVC,2022年
@诉讼中{Zhan22,author=“关其战、谢伟迪和安德鲁·齐瑟曼”,title=“改进阻塞检测的三层插件”,booktitle=“BMVC”,年=“2022”,}
|
插件体系结构
插件模块的体系结构和功能。有三种功能:(a)三层口罩头(MH我如右图所示)预测检测盒B内目标物体(婴儿在脸上擦食物)、遮挡物(餐桌)和遮挡物(椅子)的遮罩我.将遮挡器/遮挡分支的特征嵌入连接到目标遮罩嵌入作为线索,以帮助更好地预测目标对象遮罩;(b) 如左图所示,对目标遮罩的预测过程进行迭代(索引i),以便第二次迭代能够调整初始框预测并更好地检测部分遮挡/分离的对象;(c) 在第一次迭代之后,根据预测的目标遮罩汇集RoI特征,以引导模型更加关注部分遮挡/分离的对象本身。使用的符号是:“I”表示输入图像,“BH”、“MH”、、“B”、“C”分别表示bbox头、遮罩头、边界框和分类。 |
数据集摘要
- 评估数据集:
- 培训数据集:
- 数据集统计信息:
- 生成管道:
以可扩展和自动的方式生成数据集的过程:通过amodal补全和深度估计进行遮挡推理。左:原始图像及其深度贴图。右图:两个对象的amodal完成图和深度图:Umbrella和Person。在这种情况下,我们得出结论,人遮挡了雨伞,因为:(i)变形金刚伞与情态人重叠,但没有重叠,反之亦然;和(ii)平均深度图表明雨伞的深度大于人的深度。通过这种方式,我们预测“伞被人挡住了”。一旦我们得到遮挡关系,就很容易收集被他人遮挡的对象作为评估数据集,以及训练中每个目标对象的遮挡器/遮挡遮罩。 |
数据集:分离COCO和封闭COCO
分离的COCO和闭塞COCO是自动生成的COCO val数据集的子集,收集分开的对象和部分闭塞对象用于各种类别。通过这种方式,我们定义闭塞分为两大类:分开的和部分闭塞.
- 分离:目标对象分割遮罩被遮挡器分割成不同的区域。
- 部分遮挡:目标对象被部分遮挡,但分割遮罩已连接。
这两个新的可扩展真实图像数据集将对模型检测80个常见类别的遮挡对象的能力进行基准测试。闭塞COCO和分离COCO得到了MM检测作为遮挡下目标检测的标准基准。现在你可以了从mmdet.datasets导入OccludedSeparatedCocoDataset.
下载分离COCO(2MB.pkl)|下载阻塞COCO(2MB.pkl)|用法
带代码的纸张:分开的COCO|带代码的纸张:阻塞COCO|MM检测
数据集:遮光罩和遮光罩
遮光罩和阻塞面罩对于每个目标对象自动生成的在COCO训练数据集中训练我们的三层插件。
- 遮光罩:前面遮挡目标的对象
- 阻塞面罩:后面被目标遮挡的对象
下载封堵器口罩(200MB.pkl)|下载Occludee Mask(192MB.pkl)|用法
定量比较
与不同架构上的最新技术进行比较。该插件在所有架构中都提供了性能提升,即使对于最强的检测器~(Swin-B+级联掩码R-CNN)也是如此。*由于级联掩码R-CNN已经使用了多次迭代,因此仅应用了三层建模。 |
定性结果
COCO的定性结果。可以看出,基线模型在具有挑战性的遮挡情况下往往会失败,要么过度分割部分遮挡的(第1行)对象,要么分割不足分离的(第2行)对象。虽然我们提出的模型在很大程度上改进了检测,例如,消除了泰迪熊(第1排)的歧义,并推断出被狗严重遮挡的两块分开的椅子(第2排)。更多示例请参见附录。 |
致谢
本研究得到了英国皇家学会EPSRC项目资助VisualAI EP/T028572/1的支持研究教授RP\R1\191132和中国牛津奖学金。我们感谢Prannay Kaul、Tengda Han和Gyungin Shin的校对。
网页模板修改自张曦轲.