研究论文

开放式访问

轨迹姿势：电容触摸屏上稳定的用户自适应手指姿态估计

作者:

Ke（克）他,

建江冯、和

杰周作者信息和声明

ACM互动、移动、穿戴和普及技术会议录,体积7,问题4

文章编号：161，页数1-22

https://doi.org/10.1145/3631459

出版:2024年1月12日出版历史

PDF格式电子阅读器

摘要

一些研究探索了手指姿势/角度的估计，以增强触摸屏的表现力。然而，以往算法的精度受到较大估计误差的限制，且序列输出角度不稳定，难以满足实际应用的要求。我们认为，缺陷是由于旋转表示不当、缺乏时间序列建模以及难以适应用户之间的个体差异造成的。为了解决这些问题，我们通过最小化表示空间和原始空间之间的误差，对二维位姿问题的旋转表示进行了深入研究。为了提高手指姿势的准确性和稳定性，提出了一种基于自关注机制的深度学习模型TrackPose，用于时间序列建模。手机上的注册应用程序可以在不使用光学跟踪设备的情况下收集每个新用户的触摸屏图像。上述三种措施的结合使角度估计误差降低了33%，尤其是偏航角的误差降低了47%。此外，用建议的度量MAEΔ测量的序列估计的不稳定性降低了62%。用户研究进一步证实了我们提出的算法的有效性。

补充材料

他（他拉着拉链）

TrackPose:Towards Stable and User Adaptive Finger Pose Estimation on Capacity Touchscreens补充电影、附录、图像和软件文件

下载
107.92 MB

工具书类

[1]

Karan Ahuja、Paul Streli和Christian Holz。2021.TouchPose：根据电容图像进行手部姿势预测、深度估计和触摸分类。在第34届ACM用户界面软件和技术年度研讨会上。997--1009.

数字图书馆

[2]

阿尼尔·乌福克·巴马兹（Anil Ufuk Batmaz）、穆罕默德·拉贾比·塞拉吉（Mohammad Rajabi Seraji）、约翰·尼费尔（Johanna Kneifel）和沃尔夫冈·斯图林格（Wolfgang Stuerzlinger）。2020年。请不要抖动：旋转和位置抖动对3D空中交互的影响。《未来技术会议论文集》。施普林格，792--808。

[3]

阿尼尔·乌福克·巴特马和沃尔夫冈·斯图林格。2019.旋转抖动对3D指向任务的影响。2019年CHI计算机系统人为因素会议的扩展摘要。1--6.

数字图书馆

[4]

Tobias Boeck、Sascha Sprott、Huy Viet Le和Sven Mayer。2019.使用深度神经网络对电容传感器进行力接触检测。《第21届移动设备和服务人机交互国际会议论文集》（台湾台北）（MobileHCI’19）。美国纽约州纽约市计算机协会，第42条，共6页。https://doi.org/10.1145/3338286.3344389

数字图书馆

[5]

Sebastian Boring、David Ledo、Xiang‘Anthony’Chen、Nicolai Marquardt、Anthony Tang和Saul Greenberg，2012年。胖拇指：使用拇指的接触尺寸进行单手移动交互。第14届移动设备和服务人机交互国际会议论文集。39--48. https://doi.org/10.1145/2371574.2371582

数字图书馆

[6]

Frederick Choi、Sven Mayer和Chris Harrison。2021.传统电容触摸屏上的3D手势估计。第23届移动人机交互国际会议论文集。1--13.

数字图书馆

[7]

池泰当和伊丽莎白·安德烈。2011.多点触摸桌面交互中手指方向的使用和识别。第13届IFIP TC 13国际人机交互会议第三卷409-426。

[8]

段永杰、何珂、冯建江、陆继文、周杰。2022.通过2D-3D指纹匹配估计3D手指姿势。在第27届智能用户界面国际会议上。459--469.

数字图书馆

[9]

F塞巴斯蒂安·格拉西娅。1998年。使用指数图对旋转进行实际参数化。图形工具杂志3，3（1998），29-48。

数字图书馆

[10]

托比亚斯·格罗塞·普普芬达尔（Tobias Grosse-Puppendahl）、克里斯蒂安·霍尔茨（Christian Holz）、盖布·科恩（Gabe Cohn）、拉斐尔·维默（Raphael Wimmer）、奥斯卡·贝希托德（Oskar Bechtold）、史蒂夫·霍奇斯（Steve Hodge。2017年，《寻找共同点：人与计算机交互中电容传感的调查》。美国纽约州纽约市计算机协会，3293-3315。https://doi.org/10.1145/3025453.3025808

数字图书馆

[11]

哈兰。2014.数码笔技术与要求.信息显示30，4（2014），6--11。

[12]

克里斯·哈里森和斯科特·哈德森。2012.使用剪切作为丰富触摸屏交互的补充二维输入通道。《SIGCHI计算机系统人为因素会议论文集》（美国德克萨斯州奥斯汀）（CHI'12）。美国纽约州纽约市计算机协会，3149-3152。https://doi.org/10.1145/2207676.2208730

数字图书馆

[13]

克里斯·哈里森（Chris Harrison）、朱莉娅·施瓦兹（Julia Schwarz）和斯科特·哈德森（Scott E.Hudson）。2011.TapSense：增强触摸表面上的手指交互。第24届ACM用户界面软件与技术年度研讨会论文集（美国加利福尼亚州圣巴巴拉）（UIST'11）。计算机械协会，美国纽约州纽约市，627-636。https://doi.org/10.1145/2047196.2047279

数字图书馆

[14]

何可、段永杰、冯建江、周杰。2022.通过指纹图像估计3D手指角度。ACM互动、移动、可穿戴和普及技术会议录6，1（2022），1-22。

数字图书馆

[15]

Sven Kratz、Patrick Chiu和Maribeth Back。2013.PointPose：使用深度传感器在移动设备上进行触控输入的手指姿势估计。2013年ACM互动桌面和表面国际会议论文集（英国苏格兰圣安德鲁斯）（ITS’13）。美国纽约州纽约市计算机协会，223-230。https://doi.org/10.1145/2512349.2512824

数字图书馆

[16]

Huy Viet Le、Sven Mayer和Niels Henze。2019.利用深度学习研究电容式触摸屏上手指识别的可行性。第24届智能用户界面国际会议论文集。637--649.

数字图书馆

[17]

威廉·洛伦森（William E Lorensen）和哈维·克莱恩（Harvey E Cline）。1987.行进立方体：一种高分辨率3D曲面构造算法。ACM符号图计算机图形21，4（1987），163--169。

[18]

盖·吕蒂（Guy Lüthi）、安德烈亚斯·雷内·芬德（Andreas Rene Fender）和克里斯蒂安·霍尔茨（Christian Holz）。2022.DeltaPen：一种在被动表面上集成高精度平移和旋转传感的设备。第35届ACM用户界面软件和技术年会论文集。1--12.

数字图书馆

[19]

Sven Mayer、Huy Viet Le和Niels Henze。2017.使用卷积神经网络估计电容式触摸屏上的手指方向。2017年ACM互动表面和空间国际会议论文集。ACM公司。https://doi.org/10.1145/3132272.3134130

数字图书馆

[20]

斯文·梅尔、迈克尔·梅尔和尼尔斯·亨泽。2017.深度摄像头检测手指方向的可行性分析。第19届移动设备和服务人机交互国际会议论文集。ACM公司。https://doi.org/10.1145/3098279.3122125

数字图书馆

[21]

Sven Mayer、Xiangyu和Chris Harrison。2021.超分辨率电容式触摸屏。2021年CHI计算机系统人为因素会议记录。1--10.

数字图书馆

[22]

Daniel Mendes、Fabio Marco Caputo、Andrea Giachetti、Alfredo Ferreira和Joaquim Jorge，2019年。三维虚拟对象操作综述：从桌面到沉浸式虚拟环境。在计算机图形论坛，第38卷。威利在线图书馆，21-45。

[23]

Moaaz Hudhud Mughrabi、Aunnoy K Mutasim、Wolfgang Stuerzlinger和Anil Ufuk Batmaz。2022.我的眼睛受伤：三维视线跟踪中的抖动效应。2022年IEEE虚拟现实和3D用户界面会议摘要和研讨会（VRW）。IEEE，310-315标准。

[24]

Ian Oakley、Carina Lindahl、Khanh Le、DoYoung Lee和MD.Rasel Islam。2016年，《扁手指：探索智能手表的区域触觉》（The Flat Finger:Exploring Area Touchs on Smartwatches）。美国纽约州纽约市计算机协会，4238-4249。https://doi.org/10.1145/2858036.2858179

数字图书馆

[25]

菲利普·奎因（Philip Quinn）、冯文欣（Wenxin Feng）和翟淑敏（Shumin Zhai）。2021.深度触摸：从触摸图像序列中感知按压手势。施普林格国际出版公司，查姆，169-192。https://doi.org/10.1007/978-3-030-82681-9_6

[26]

冈萨洛·拉莫斯（Gonzalo Ramos）、马修·博洛斯（Matthew Boulos）和拉文·巴拉克里什南（Ravin Balakrishnan）。2004.压力小工具。《SIGCHI计算机系统人为因素会议论文集》（奥地利维也纳）（CHI'04）。美国纽约州纽约市计算机协会，487--494。https://doi.org/10.1145/985692.985754

数字图书馆

[27]

西蒙·罗杰斯、约翰·威廉姆森、克雷格·斯图尔特和罗德里克·默里·史密斯。2011.角度姿态：通过三维方向估计实现稳健、精确的电容式触控跟踪。美国纽约州纽约市计算机协会，2575-2584。https://doi.org/10.1145/1978942.1979318

数字图书馆

[28]

Anne Roudaut、Eric Lecolinet和Yves Guiard。2009年。微型滚动：通过区分滚动和拇指滑动来扩展触摸屏输入词汇。计算机机械协会，美国纽约州纽约市，927-936。https://doi.org/10.1145/1518701.1518843

数字图书馆

[29]

Ashutosh Saxena、Justin Driemeyer和Andrew Y Ng.2009年。从图像中学习三维对象方向。2009年IEEE机器人和自动化国际会议。IEEE，794--800。

数字图书馆

[30]

罗宾·施魏格特（Robin Schweigert）、扬·卢斯曼（Jan Leusmann）、西蒙·哈根梅尔（Simon Hagenmayer）、马克西米利安·韦伊（Maximilian Wei）、休伊·越乐（Huy Viet Le）、斯文·梅耶（Sven Mayer）和安德。2019.指节触控：使用深度学习在电容式触摸屏上实现指节手势。在Mensch Und Computer 2019会议记录（德国汉堡）（MuC'19）中。美国纽约州纽约市计算机协会，387--397。https://doi.org/10.1145/3340764.3340767

数字图书馆

[31]

保罗·斯特雷利和克里斯蒂安·霍尔茨。2021.CapContact：电容式触摸屏的超分辨率接触区域。2021年CHI计算机系统人为因素会议记录。1--14.

数字图书馆

[32]

杰米·乌利里奇（Jamie Ullerich）、马克西米利安·温德尔（Maximiliane Windl）、安德烈亚斯·布林（Andreas Bulling）和斯文·梅尔（Sven Mayer）。2022.缩略图：使用深度学习丰富移动触摸屏上的缩略图交互。第三十三届澳大利亚人机交互会议（2022-11-29）（OzCHI22）。澳大利亚新南威尔士州堪培拉计算机协会。https://sven-mayer.com/wp-content/uploads/2022/08/ullerich2022thumbpitch.pdf

数字图书馆

[33]

Jonas Vogelsang、Francisco Kiss和Sven Mayer。2021.使用手指方向输入的用户界面元素的设计空间。《门施与计算机学报2021》。1--10.

数字图书馆

[34]

王峰、曹翔、任祥石和伊拉尼。2009.检测并利用手指方向与直接接触表面进行交互。2009年第22届ACM用户界面软件和技术研讨会论文集。ACM出版社。https://doi.org/10.1145/1622176.1622182

数字图书馆

[35]

Sinong Wang、Belinda Z Li、Madian Khabsa、Han Fang和Hao Ma.2020年。Linformer：具有线性复杂性的自我关注。arXiv预印本arXiv:2006.04768（2020）。

[36]

渡边洋一、牧野康太郎、佐藤胜太郎和Maeno Takashi。2012.通过检测指甲上的透射光来估算触摸面板的接触力和手指角度。在EuroHaptics的2012年触觉：感知、设备、移动性和通信国际会议的12个会议记录-第一部分601-612。

数字图书馆

[37]

Robert Xiao、Julia Schwarz和Chris Harrison。2015年，在商品触摸屏上估计3D手指角度。2015年互动桌面和表面国际会议记录-ITS’15。ACM出版社。https://doi.org/10.1145/2817721.2817737

数字图书馆

[38]

Dongseok Yang、Doyeon Kim和Sung-Hee Lee。2021.Lobstr：基于稀疏上身跟踪信号的实时下身姿势预测。计算机图形论坛，第40卷。威利在线图书馆，265-275。

[39]

瓦迪姆·扎利瓦。2012.触摸表面上的3D手指姿势检测和手势识别。2012年第12届控制自动化机器人与视觉国际会议（ICARCV）。电气与电子工程师协会。https://doi.org/10.109/icarcv.2012.6485185

[40]

Yi Zhou、Connelly Barnes、Jingwan Lu、Jimei Yang和Hao Li。2019。关于神经网络中旋转表示的连续性。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR）（2019），5738-5746。

引用人

锂电池于JHe K公司冯J周J(2024)SwivelTouch：使用3D手指旋转手势提高触摸屏输入ACM互动、移动、穿戴和普及技术会议录10.1145/36595848:2(1-30)在线发布日期：2024年5月15日
https://dl.acm.org/doi/10.1145/3659584

索引术语

TrackPose：在电容触摸屏上实现稳定和用户自适应的手指姿势估计
1. 以人为中心的计算
  1. 人机交互（HCI）
    1. 交互设备
      1. 触摸屏

建议

基于指纹图像的三维手指角度估计

触摸屏是智能手机和平板电脑的主要输入设备。虽然触摸屏控制器被广泛使用，但其输出仍然局限于接触手指的二维位置。根据……估算手指角度（或方向）。。。
阅读更多信息
平板电脑、桌面和智能手机：儿童触摸屏交互的跨平台比较
ICMI’17：第19届ACM多式联运国际会议记录

智能手机和平板电脑的普及增加了儿童接触和使用触摸屏设备的机会。此前对智能手机的研究表明，儿童的触摸交互与成年人的不同。然而，平板电脑等大屏幕设备。。。
阅读更多信息
SwivelTouch：使用3D手指旋转手势提高触摸屏输入

如今，触摸屏已成为移动计算设备（智能手机、平板电脑、智能手表）中最流行的输入设备。然而，与台式机或笔记本电脑相比，触摸屏设备上有限的快捷键和物理按钮。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

ACM关于交互式、移动、可穿戴和无处不在技术的封面图片会议录

ACM互动、移动、穿戴和普及技术会议录第7卷第4期

2023年12月

1613页

EISSN公司：2474-9567

内政部：10.1145/3640795

版权所有©2024 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2024年1月12日

在IMWUT中发布体积7,问题4

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章
研究
推荐

资金来源

国家自然科学基金

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

1
引文总数
查看引文
249
总下载次数

下载量（最近12个月）249
下载次数（最近6周）30

其他指标

查看作者指标

引文

引用人

锂电池于JHe K公司冯J周J(2024)SwivelTouch：使用3D手指旋转手势提高触摸屏输入ACM互动、移动、穿戴和普及技术会议录10.1145/36595848:2(1-30)在线发布日期：2024年5月15日
https://dl.acm.org/doi/10.1145/3659584

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此文章

媒体

数字

其他

桌子

查看问题目录