基于注意力的双分支指尖检测网络及虚拟密钥系统

手势和指尖正成为越来越重要的人机交互媒介。因此，手势识别和指尖检测算法得到了广泛的研究。然而，问题主要在于如何在速度和准确性之间实现双赢，以及如何处理复杂的交互环境。为了解决这些问题，本文提出了一种基于注意力的双分支网络，可以有效地完成指尖检测和手势识别任务。为了处理复杂的交互环境，我们将通道性注意和空间性注意结合到指尖检测模型中。大量实验表明，我们的新模型是有效的。在实验中，我们提出的模型在640×480视频帧中实现了2.8像素左右的平均指尖检测误差，八个手势的平均识别准确率达到99%。此外，平均转发时间约为8ms。由于重量轻，该模型还可以在CPU上实现高效性能。此外，基于我们提出的模型，我们设计了一个虚拟密钥系统，可以让用户在虚拟环境中自然地完成“点击”操作。我们提出的系统可以在不进行任何预处理（例如，图像分割或轮廓提取）的情况下，在单个普通RGB相机上运行良好，这可以显著降低交互系统的复杂性。