步骤：分割和跟踪每个像素

的一部分神经信息处理系统数据集和基准跟踪会议记录1（NeurIPS数据集和基准2021）第2轮

作者

马克·韦伯（Mark Weber）、谢军（Jun Xie）、麦克斯韦柯林斯（Maxwell Collins）、朱玉坤（Yukun Zhu

摘要

将语义类和轨迹标识分配给视频中每个像素的任务称为视频全景分割。我们的工作是首次在需要在空间和时间域进行密集解释的现实世界环境中针对这一任务。由于这项任务的基本事实很难获得，而且成本很高，现有的数据集要么是综合构建的，要么只是在短视频剪辑中稀疏地进行注释。为了克服这个问题，我们引入了一个新的基准测试，包括两个数据集，KITTI-STEP和MOTChallenge-STEP。这些数据集包含长视频序列，为研究现实条件下的长期像素精确分割和跟踪提供了具有挑战性的示例和测试平台。我们进一步提出了一种新的评估指标分割和跟踪质量（STQ），该指标公平地平衡了该任务的语义和跟踪方面，更适合评估任意长度的序列。最后，我们提供了几个基准来评估现有方法在这个新的具有挑战性的数据集上的状态。我们已经公开了我们的数据集、度量、基准服务器和基线，并希望这将激发未来的研究。