个性化人体视频姿势估计

查尔斯·詹姆斯,托马斯·普菲斯特,德里克·马吉,戴维·霍格和安德鲁·齐瑟曼

概述

卷积网络（ConvNets）目前为人体姿势估计任务产生了最先进的结果。然而，即使是ConvNets也可能在视频中产生荒谬的错误姿势预测，尤其是对于不寻常的姿势、具有挑战性的照明或观看条件、自我封闭或不寻常的形状（例如，穿着宽松的衣服或不正常的身体比例）。

我们使用一种方法来解决这些问题，该方法可以自动学习视频中可靠的、闭塞软件、特定于人的姿势估计器。利用人们在长视频过程中倾向于不改变外观的事实（相同的衣服，相同的体型），我们表明视频中的大量数据可以被用来“个性化”ConvNet姿势估计器，从而提高不寻常姿势的性能。请参阅我们的扩展纸张了解更多详细信息。

我们的软件功能

根据输入视频上相对较少的初始姿势估计，所提供的软件将自动生成训练注释（整个视频），以个性化ConvNet。

包括哪些内容

MATLAB实现的软件包包括：

• 传播的所有阶段，如论文[1]所述（即空间匹配、时间传播和自我评估。）
• MATLAB脚本，用于设置培训材料，以微调[2]中关于传播姿势的heatmap ConvNet模型注释。
• 以视频作为输入并产生改进的姿势估计的演示。

下载

该软件可从以下网址下载：https://github.com/jjcharles/personalized_pose

要运行演示，请同时下载演示数据（360MB）：demo_data.zip

有关如何运行软件的更多信息，请查看自述.pdf

相关论文

致谢

财政支持由EPSRC拨款EP/I012001/1和EP/I01229X/1提供。我们还感谢NVIDIA Corporation对本研究所用GPU的捐赠提供的支持。