面向桌面交互场景的双目深度测量方法

doi:10.3778/j.issn.1002-8331.2212-0373

摘要/摘要

摘要：基于视觉的虚拟现实交互方式在桌面书写应用场景中尚未有针对性的解决方案，书写交互中精细动作准确识别的实现，需要一种全新的高精度手笔联合三维识别技术，其中深度准确度是影响三维识别精度的重要因素。为此提出一种高精度双目深度测量方法，该方法信息技术合多尺度语义信息；同时利用视差级联模块缩小匹配范围，提高网络实时性。实验证明，提出的深度测量方法在手部和笔尖交互区域精度高，实时性好，能够有效辅助提高手笔联合三维识别精度以提供更好的虚拟书写交互体验，具有广泛的应用前景。

关键词: 双目视觉, 深度学习, 立体匹配, 深度测量, 桌面交互

摘要：基于视觉的虚拟现实交互方法在桌面书写应用场景中没有具体的解决方案。为了提供精细交互动作的准确识别，需要一种基于手笔结合的高精度三维识别技术。此外，深度精度是影响三维识别精度的重要因素。因此，本文提供了一种用于本研究的高精度深度测量方法。该方法的核心概念是使用高分辨率和近距离图像对作为书写交互的输入，并提出全局和局部重要信息交叉融合的思想，以提高速度和准确性，降低计算成本。在该算法中，区域检测模块用于提取图像对中手和笔尖的关键区域，然后根据重要性对输入进行缩放。引入区域特征金字塔结构提取多尺度语义信息。同时，采用视差级联模块缩小匹配范围，提高了实时性。最后，实验结果证实，该深度测量方法在手笔交互区域具有较高的精度和良好的实时性，可以有效地帮助提高三维识别精度，从而提供更好的书写交互体验。总之，本研究可以为深度测量在写作互动中的应用前景提供新的认识和理论依据。

关键词： 双目视觉，深度学习，立体匹配，深度测量，桌面交互

叶彬, 朱兴帅, 姚康, 丁上上, 付威威. 面向桌面交互场景的双目深度测量方法[J] ●●●●。计算机工程与应用, 2024, 60(9): 283-291.

叶斌、朱星帅、姚康、丁尚上、付伟伟。桌面交互场景的双目深度测量方法[J]。计算机工程与应用，2024，60（9）：283-291。

参考文献

[1] 韩斯，刘斌，卡贝扎斯·R，等。MEgATrack：虚拟现实中的单色以自我为中心的关节式手动跟踪[J]。ACM图形事务（ToG），2020，39（4）：1-13。
[2] 鲁光男. 基于交互式视景的虚拟现实单目深度信息提取[J] ●●●●。计算机仿真, 2020, 37(12): 382-385.
LU G.N.基于交互视图的虚拟现实单目深度信息提取[J]。计算机模拟，2020，37（12）：382-385。
[3] MOON G，YU S I，WEN H，等.Interhand2。6m：根据单个rgb图像进行3D交互手姿势估计的数据集和基线[C]//欧洲计算机视觉会议。查姆：施普林格，2020年：548-564。
[4] 张方义. 基于双目视觉的智能车辆障碍物检测系统研究[D] ●●●●。中文名称：，2019
张福友。基于双目视觉的智能车辆障碍物检测系统研究[D]。青岛：山东科技大学，2019年。
[5] 贾鑫. 基于深度学习的双目三维物体稀疏与稠密点云重建[D] ●●●●。天津: 天津理工大学, 2022
JIA X.基于深度学习的双目三维目标稀疏密集点云重建[D]。天津：天津理工大学，2022年。
[6] SCHARSTEIN D，SZELISKI R.密集双帧立体对应算法的分类与评估[C]//IEEE立体和多基线视觉研讨会论文集（SMBV 2001），2001。
[7] 尹晨阳, 职恒辉, 李慧斌. 基于深度学习的双目立体匹配方法综述[J] ●●●●。计算机工程, 2022, 48(10): 1-12.
尹春英，朱海华，李海波.基于深度学习的双目立体匹配方法综述[J]。计算机工程，2022，48（10）：1-12。
[8] ?BONTAR J，LECUN Y.通过训练卷积神经网络进行立体匹配以比较图像块[J]。arXiv:1510.059702015年。
[9] 宋X，赵X，胡H，等。Edgestereo:一种用于立体匹配的上下文集成残留金字塔网络[C]//亚洲计算机视觉会议。查姆：施普林格，2018:20-35。
[10] CAO Y，XU J，LIN S，et al.GCNet：非本地网络与挤压励磁网络的相遇以及超越[C]//2019 IEEE/CVF国际计算机视觉研讨会（ICCVW），2020年。
[11] CHANG J R，CHEN Y S.金字塔立体匹配网络[C]//IEEE计算机视觉与模式识别会议论文集，2018:5410-5418。
[12] 郭X，杨克，杨伟，等.分组相关立体网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:3273-3282。
[13] DUGGAL S，WANG S，MA W C，et al.DeepPruner:通过可微分补丁匹配学习高效立体匹配[C]//IEEE/CFF国际计算机视觉会议论文集，2019：4384-4393。
[14] 张飞，PRISACARIU V，YANG R，等.GA-Net：端到端立体匹配的引导聚合网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:185-194。
[15] 徐华，张杰.AANet:用于高效立体匹配的自适应聚合网络[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2020：1959-1968。
[16] 何凯，张旭，任仕，等.基于深度卷积网络的视觉识别空间金字塔池[J]。IEEE模式分析和机器智能汇刊，2015，37（9）：1904-1916。
[17] 陈立中，帕潘德里欧，施若夫F，等.基于反褶积的语义图像分割方法的再思考[J]。arXiv:1706.055872017年。
[18] LIN T Y，DOLLáR P，GIRSHICK R，等.用于目标检测的特征金字塔网络[C]//IEEE计算机视觉和模式识别会议论文集，2017:2117-2125。
[19] 顾X，樊Z，朱S，等.高分辨率多视点立体和立体匹配的级联成本卷[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2020：2495-2504。
[20] 张凯，张泽，李泽，等。基于多任务级联卷积网络的联合人脸检测与对齐[J]。IEEE信号处理快报，2016，23（10）：1499-1503。
[21]杜赫，李毅，孙毅，等.SRH-Net：用于立体匹配的叠加递归沙漏网络[J]。IEEE机器人与自动化快报，2021，6（4）：8005-8012。
[22]SHAMSAFAR F，WOERZ S，RAHIM R，et al.Mobilestereonet：走向轻量级立体匹配深网络[C]//IEEE/CVF计算机视觉应用冬季会议论文集，2022:2417-2426。
[23]徐刚，郑杰，郭鹏，等.用于准确高效立体匹配的注意连接卷[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:12981-12990。