多智能体行为数据集：鼠标二元社交交互

的一部分神经信息处理系统程序跟踪数据集和基准1（NeurIPS数据集和标准2021）第1轮

作者

Jennifer J Sun、Tomomi Karigo、Dipam Chakraborty、Sharada Mohanty、Benjamin Wild、Quan Sun、Chen Chen、David Anderson、Pietro Perona、Yisong Yue、Ann Kennedy

摘要

多代理行为建模旨在了解代理之间发生的交互。我们提出了一个来自行为神经科学的多智能体数据集，即加州理工大学老鼠社会互动（CalMS21）数据集。我们的数据集由社交互动的轨迹数据组成，这些数据是根据标准残留物质分析中行为自由的老鼠的视频记录的。为了帮助加速行为研究，CalMS21数据集提供了三种基准来评估自动行为分类方法在三种情况下的性能：（1）对所有由单个注释器注释的大型行为数据集进行训练，（2）进行风格转换，以了解行为定义中注释器之间的差异，以及（3）在有限的训练数据下，学习感兴趣的新行为。该数据集包括600万帧未标记的交互小鼠跟踪姿势，以及100多万帧带有跟踪姿势和相应的帧级行为注释的帧。我们数据集的挑战是能够使用标记和未标记的跟踪数据对行为进行准确分类，并能够推广到新的设置中。