LAEO-Net++:在视频中重访人们互相注视

曼努埃尔J。
马林·希梅内兹*2
维姬
卡洛吉通*1,3
巴勃罗
麦迪纳·苏雷斯2
安得烈
齐瑟曼1
牛津大学视觉几何组(VGG)1
科尔多瓦大学人工视觉应用2
GeoViC、LIX、Ecole Polytechnique、IP巴黎
[TPAMI-2021-纸张]
[arXiv]
[代码]
[CVPR2019-版本]


替换文本

摘要

捕获互相注视理解和解释人与人之间的社会互动至关重要。为此,本文解决了在视频序列中检测人们相互注视(LAEO)的问题。为此,我们建议LAEO-Net公司++一个新的深度CNN,用于确定视频中的LAEO。与以往的工作相比,LAEO-Net++将时空轨迹作为输入,并对整个轨迹进行推理。它由三个分支组成,一个用于每个角色的跟踪头部,另一个用于其相对位置。此外,我们引入了两个新的LAEO数据集:UCO-LAEO公司AVA-LAEO公司.彻底的实验评估表明,LAEO-Net++能够成功确定两个人是否为LAEO,以及它发生的时间窗口。我们的模型在现有的TVHID-LAEO视频数据集视频数据集,显著优于以前的方法。最后,我们将LAEO-Net++应用于一个社交网络,在该网络中,我们根据一对人的LAEO频率和持续时间自动推断出他们之间的社会关系,并表明LAEO可以成为视频中引导搜索人类交互的有用工具。该代码可通过以下网址在线获取:https://github.com/AVAuco/laeonetplus。



替换文本

数据集集合

在这项工作中,我们使用了以下数据集:


代码




出版物

LAEO Net++:重温人们在视频中的对视
IEEE模式分析和机器智能汇刊(TPAMI),2021年





结果






致谢

这项工作得到了西班牙人的支持授予Jose CastillejoEPSRC计划拨款Seebibyte EP/M013774/1,以及通过内政部/内政商业中心(DOI/IBC)合同号D17PC00341的情报高级研究项目活动(IARPA)。我们感谢我们的解说员:RF、RD、DK、DC和EP,感谢NVIDIA捐赠了本作品中使用的一些GPU。