从视频中学习关系事件模型

主要文章内容

Krishna S.R.Dubba公司
安东尼·科恩
大卫·C·霍格
梅胡尔·巴特
弗兰克·迪拉

摘要

从视频中自动获得的事件模型可以用于从异常事件检测到基于内容的视频检索的各种应用。当事件涉及多个代理时,描述事件的特征自然意味着将交互编码为关系。使用诸如归纳逻辑编程(ILP)之类的关系学习技术从这种关系时空数据中学习事件模型是有希望的,但尚未成功应用于由视频数据生成的超大数据集。本文提出了一种新的框架REMIND(Relational Event Model INDuction),用于使用ILP从大型视频数据集中进行事件模型的有监督关系学习。效率是通过从解释中学习设置和使用利用域中对象的类型层次结构的类型系统来实现的。类型的使用也有助于防止过度泛化。此外,我们还提出了一个类型重定义算子,并证明了它是最优的。学习到的模型可以用于识别以前看不到的视频中的事件。我们还通过集成一个诱因步骤来扩展框架,当输入数据中存在噪声时,该步骤可以提高学习性能。对来自两个具有挑战性的现实世界域(机场域和物理动作动词域)的数小时视频数据的实验结果表明,这些技术适用于现实世界场景。

文章详细信息

章节
文章