林德西·C·皮卡&安德鲁·齐瑟曼


来自Love Actual的一对帧,显示了几个视觉连续性错误。

概述

连续性错误是指场景中自我一致性的缺失或正在描绘的故事。上面显示的两个电影帧,来自电影事实上来自电影中相隔几秒钟的两个镜头,但显示了一些差异;最大的视觉效果方框显示了两者之间的差异。

因为电影和电视中存在这样的错误,人类变得对追踪他们感兴趣,给电影施加更多压力制造商在其整个过程中实现更高的连续性标准制作。一些网站的存在只是为了评论电影,例如moviemostakes.com其他人喜欢这个互联网电影数据库(IMDb)迎合电影观众的更广泛利益包含用户控制的连续性和其他错误列表;这样的列表出现在IMDb的“傻瓜”部分。

这项工作的目标是检测视觉的连续性误差自动生成,因此给定一张电影DVD,我们的软件会生成一个电影中发生变化的镜头对的排名列表以一种无法解释的方式。这种连续性错误包括移动的道具不一致的是,阴影变长或变短,或在玻璃杯中喝水在一个场景。

发现差异

在一个标准点差异问题,一对图像应报告为差异。

在电影中,有很多允许的差异,到期主要是人的流动及其对物品的影响他们与互动。不能保证这两部电影的画面被比较的是从几乎相同的相机角度拍摄的,所以图像对齐是问题的一部分。

目标是回来无法解释的差异虽然有合理解释的令人沮丧的分歧。示例下面显示了八个积极的结果我们的系统已经从几部电影中恢复。鼠标悬停在图像应该显示出这一对的第二帧,经过扭曲与第一个图像对齐。图像标题(显示为鼠标悬停文本)在每种情况下都显示电影的名称,并解释为什么它表示连续性错误。



使用电影结构

电影中通常有100K-200K帧,但使用电影结构,这可以减少为大约200-550对帧,应进行错误测试。实现这样,就可以比较帧的RGB直方图来划分电影先是投篮,然后是一个接一个的投篮螺纹这样,线程中的每个镜头都被拍摄下来在一个序列中从相似的相机角度。不应该有专业同一线程中连续镜头之间的差异,因此拍摄并处理镜头间隙两侧的帧作为候选配对进行进一步检查。

定位差异

首先准确注册帧,然后注册小图像在这两个区域的相应位置对斑块进行密集采样并进行了比较。标记面片不匹配的区域作为潜在差异。有些不匹配很容易通过使用上半身发现的人的存在来解释检测、行人检测和人脸检测。其他原因是其他运动(例如车辆或姿势异常的人)通过检查电影中附近的帧来识别。

与人员或移动物体距离不够近的区域场景保留无法解释的、和被标记为可能错误。请参阅分步示例页面对于关于这种差异处理的更多细节开展。CIVR文件(链接如下)还包含更多信息。

输出

单击以上每个示例将显示这对帧的系统输出:红色表示无法解释差异,绿色表示标记的区域,可以通过人员检测,蓝色代表可通过以下方式解释的区域运动。

更多乐趣

更多类似视觉连续性错误的示例以上内容显示在更多错误第页。这些是从各种其他电影。

有用的外部组件

相关出版物


皮卡,L.C.和齐瑟曼,A。
ACM国际图像和视频检索会议记录(2009年)

致谢

这项工作得到了EPSRC平台拨款的支持。