模型和人类注意力的一致性揭示了关键视觉事件的独特特征

的一部分神经信息处理系统的进展20（NIPS 2007）

作者

罗伯特·彼得斯、劳伦特·伊蒂

摘要

目前，注意力的自下而上和自上而下组成部分的计算模型预测了一系列刺激和简单固定视觉任务中的眼球运动（例如在干扰物中视觉搜索目标）。然而，迄今为止，还没有一个计算框架能够可靠地模拟人类在更复杂的环境和任务中的凝视行为，例如驾驶车辆通过办公室。在这里，我们开发了一个混合计算/行为框架，将自下而上的显著性和自上而下的相关性的简单模型结合起来，并在4.7小时（500000帧视频）的观测者玩赛车和飞行格斗视频游戏期间，寻找这些组件在不同关键事件时间的预测能力的变化。我们观察到，在任务序列的关键事件窗口期间，显著性和相关性模型的预测能力表现出可靠的时间特征，例如，当游戏玩家在飞行战斗游戏中直接与敌机交战时，这种方法就是基于此，显著性模型的预测强度显著增加，而相关性模型的预测能力显著下降。我们的新框架将这些时间签名组合在一起，以实现几个事件检测器。至关重要的是，我们发现，基于融合的行为和刺激信息（以模型预测强度的形式）的事件检测器比仅基于行为信息（眼睛位置）或仅基于图像信息（模型预测图）的检测器强得多。这种基于眼睛跟踪和应用于视觉输入的计算模型的事件检测方法可能具有有用的应用，可以作为其他基于脑电图或功能磁共振成像记录的神经特征的事件检测的低侵袭性替代方法。