摘要
了解驾驶员的活动对于车内系统至关重要,该系统旨在减少因认知分心而导致的车祸发生率。然而,考虑到驾驶员周围的多种环境、个人的独特特征以及车内嵌入式平台施加的计算约束,在确保动作分类高精度的同时实现实时行为识别的自动化具有挑战性。之前的工作无法共同满足这些运行时/精度要求,并且主要依赖于单个传感模式,而这又可能是单点故障。本文利用深度学习的卓越特征提取能力,提出了一种专用的Interwoven deep Convolutional Neural Network(InterCNN)体系结构,以解决实时准确分类驾驶员行为的问题。提出的解决方案利用来自多流输入的信息,即具有不同视场的车载摄像头和基于记录图像计算的光流,并通过多个融合层合并其提取的抽象特征。这构建了一个紧密的集成系统,大大提高了模型的鲁棒性。此外,我们引入了一种基于历史推理实例的时态投票方案,以提高分类精度。使用我们在模拟汽车环境中收集的数据集进行的实验表明,所提出的带有MobileNet卷积块的InterCNN可以对9种不同的行为进行分类,准确率为73.97%,对5种“聚合”行为进行分类的准确率为81.66%。我们进一步表明,我们的架构具有很高的计算效率,因为它在15毫秒内执行推理,满足智能汽车的实时约束。然而,我们的InterCNN对有损输入具有鲁棒性,因为当两个输入流被遮挡时,分类仍然准确。