Multi-modal Fusion for Flasher Detection in a Mobile Video Chat Application

Lei Tian; Rahat Rafiq; Shaosong Li; David Chu; Richard Han; Qin Lv; Shivakant Mishra

研究文章

移动视频聊天应用中闪光灯检测的多模式融合

下载624次下载

引用: BibTeX公司纯文本

@正在进行{10.4108/icst.mobiquitous.2014.257973，author={雷天、拉哈特·拉菲克、李少松、朱棣文、理查德·韩、秦律和希瓦坎·米什拉}，title＝{用于移动视频聊天应用中的闪光检测的多模式融合}，processes={第十一届移动和普及系统国际会议：计算、网络和服务}，publisher={ICST}，procesdings_a={MOBIQUITOUS}，年份={2014}，月份={11}，关键词={多模式融合闪光灯检测移动视频聊天}，doi={10.4108/icst.mobiquitous.2014.257973}}

雷天
拉哈特·拉菲克
李少松
朱棣文（David Chu）
理查德·韩
秦律
希瓦坎·米什拉
年份：2014
移动视频聊天应用中闪光灯检测的多模式融合
莫比奎托斯
ICST公司
内政部：10.4108/icst.mobiquitous.2014.257973

雷天¹^,*拉哈特·拉菲克¹、李少松¹，David Chu²，Richard Han¹、秦律¹希瓦坎·米什拉¹

1：科罗拉多大学博尔德分校
2:微软研究

*联系人电子邮件：lei.tian@colorado.edu

摘要

本文研究开发准确高效的分类器，以识别移动视频聊天应用程序中行为不端的用户（即“闪光灯”）。我们的分析基于从我们构建的连接到流行的随机视频聊天服务的移动客户端收集的视频会话数据。我们表明，在在线视频聊天系统中，用于识别正常和行为不端用户的基于图像的先验分类器在移动视频聊天数据上表现不佳。我们提出了一种增强的基于图像的分类器，可以提高移动数据的分类性能。更重要的是，我们证明了将来自加速计和摄像头状态（前/后）的多模态移动传感器数据与音频结合可以显著提高基于图像的整体分类精度。我们的工作还表明，在会话中利用基于图像的多个预测（即时间模态）有可能进一步提高分类性能。最后，我们表明，通过使用多级级联分类器，可以显著降低运行时间方面的分类成本，在这种分类器中，除非需要，否则不会生成高复杂度特征和进一步的基于图像的预测。

关键词: 多模式融合闪光灯检测移动视频聊天

出版: 2014-11-17
出版商: ICST公司

: http://dx.doi.org/10.4108/icst.mobiquitous.2014.257973