研究论文

眼睛回声：眼镜上连续低功耗面部表情跟踪

作者:

Ke（克）锂,

弗朗索瓦吉姆布雷蒂埃、和

程张作者信息和声明

CHI’24：CHI计算机系统人为因素会议记录

2024年5月

文章编号：319，页数1-24

https://doi.org/10.1145/3613904.3642613

出版:2024年5月11日出版历史

获取访问权限

摘要

在本文中，我们介绍了EyeEcho，这是一种最小干扰的声学传感系统，旨在使眼镜能够连续监测面部表情。它利用安装在眼镜上的两对扬声器和麦克风，向面部发射编码的听不见的声音信号，捕捉与面部表情相关的细微皮肤变形。反射信号通过定制的机器学习管道进行处理，以估计面部的完整动作。EyeEcho采样频率为83.3 Hz，功耗相对较低，为167mW。我们对12名参与者进行的用户研究表明，EyeEcho仅需4分钟的训练数据，就可以在不同的真实场景中实现高度准确的跟踪性能，包括坐着、走路和重新安装设备后。此外，一项涉及10名参与者的半现场研究进一步验证了EyeEcho在参与者参与各种日常活动时在自然场景中的表现。最后，我们展示了EyeEcho在商用现货（COTS）智能手机上部署的潜力，提供实时面部表情跟踪。

补充材料

MP4文件-视频预览

视频预览

下载
36.70 MB
成绩单

MP4文件-视频演示

视频演示

下载
212.25 MB
成绩单

工具书类

[1]

Meta AI.2022年。PyTorch Mobile-主页| PyTorch。2022年8月19日检索自https://pytorch.org/mobile/home网站/

[2]

安藤敏之、久保由纪、静木本太郎和高桥信。2017.Canalsense：基于耳道内空气压力传感的面部相关运动识别系统。在年度ACM用户界面软件和技术（UIST）研讨会的会议记录中。679–689.

数字图书馆

[3]

Tanvir Islam Aumi、Sidhant Gupta、Mayank Goel、Eric Larson和Shwetak Patel先生。2013.DopLink：使用多普勒效应进行多设备交互。ACM国际普适计算联合会议论文集。583–586.

数字图书馆

[4]

博戈。2023.OWR-05049T-38D。2023年9月13日检索自https://www.bogosemi-ca.com/products/B01976428/OWR-05049T-38D.html

[5]

陈托乔、李亚轩、陶松云、林贤哲、坂田摩斯、张瑞东、弗朗索瓦·吉姆布雷蒂埃和张成。2021.颈部表情：持续追踪颈部佩戴物的面部表情。《ACM互动、移动、可穿戴和普及技术（IMWUT）会议录》，第5卷。1–31.

数字图书馆

[6]

陈托乔（Tuochao Chen）、本杰明·斯蒂珀（Benjamin Steeper）、基南·阿尔塞克（Kinan Alsheikh）、陶松云（Songyun Tao）、弗朗索瓦·吉姆布雷蒂埃（François Guimbretire）和张成（Cheng Zhang。2020年，C-Face：通过耳挂式微型相机深度学习面部轮廓，持续重建面部表情。在ACM用户界面软件与技术年度研讨会（UIST）的会议记录中。112–125.

数字图书馆

[7]

Bose公司。2023年，Bose Frames Tempo。2023年9月14日检索自https://www.bose.com/p/头戴式耳机/bose frames tempo/tempo-frames.html？dwvar_tempo-FRAMES_color=黑色，数量=1

[8]

阿特姆·德门捷耶夫和克里斯蒂安·霍尔茨。2017.双眨眼：一种可穿戴设备，用于持续检测、跟踪和启动眨眼，以缓解干眼症和电脑视觉综合症。程序。ACM互动。暴徒。可穿戴的无所不在技术。第1、1条（2017年），共19页。https://doi.org/10.1145/3053330

数字图书馆

[9]

爱普生。2022.Moverio®BT-35ES智能眼镜。2022年8月19日检索自https://mediaserver.geopson.com/ImConvServlet/imconv/b1cac7eaccf8017600cf8e0ac112f5403b86e4de/original？资产描述=Moverio_BT-35ES_玻璃和智能控制器规范表-CPD-60652R1.pdf

[10]

杨高（Yang Gao）、金银成（Yincheng Jin）、崔世民（Seokmin Choi）、李济阳（Jiyang Li）、潘俊杰（Junjie Pan）、林树（Lin Shu）、池州（Chi Zhou）和金展鹏。2022.SonicFace：使用商品话筒阵列追踪面部表情。程序。ACM互动。暴徒。可穿戴的无所不在技术。第5、4条，第156（2022）条，共33页。https://doi.org/10.1145/3494988

数字图书馆

[11]

杨高、王伟、V。Phoha、Wei Sun和Zhanpeng Jin。2019.EarEcho：使用Ear Canal Echo进行可穿戴身份验证。程序。ACM互动。暴徒。可穿戴的无所不在技术。3、3，第81条（2019年9月），24页。https://doi.org/10.1145/3351239

数字图书馆

[12]

Anna Gruebler和Kenji Suzuki。2010年。使用可穿戴设备读取面部表情测量远端肌电信号。在IEEE医学和生物学工程年度国际会议上。IEEE，4594–4597。

[13]

Akio Hayashida、Yosuke Mizuno和Kentaro Nakamura。2020年。根据声波频率响应估算室温。声学科学与技术41，4（2020），693-696。https://www.jstage.jst.go.jp/article/ast/41/4/41_E1954/pdf/-char/ja#：：text=%20frequency%20response%20显示%20many，dip%20fresquencies%20change%20with%20温度。

[14]

单合、王尚飞、蓝无为、欢福、强记。2013年，使用深玻尔兹曼机器从热红外图像中识别面部表情。在Humaine协会情感计算和智能交互会议上。239–244.

数字图书馆

[15]

卡尔·霍华德、科林·汉森和A Zander。2005年，对当前机载超声暴露限值的审查。职业健康与安全杂志-澳大利亚和新西兰21（2005年1月），253-257。

[16]

谢培伦，马崇阳，俞继洪，李浩，2015。无限制的实时面部表现捕捉。IEEE计算机视觉和模式识别会议（CVPR）论文集。1675–1683.

[17]

胡一功、聂京平、王元玉亭、夏星驰和蒋晓凡。2020年。演示摘要：用于非控制面部表情监测的无线眼镜。在ACM/IEEE传感器网络信息处理国际会议（IPSN）上。367–368. https://doi.org/10.1109/IPSN48710.2020.000-1

[18]

Jun Ho Huh、Hyejin Shin、Hong Min Kim、Eunyong Cheon、Youngeun Song、Chong-Hoon Lee和Ian Oakley。2023.腕表声学：智能手表的基于频闪声响应的认证。程序。ACM互动。暴徒。可穿戴的无所不在技术。6、4，第167条（2023年1月），34页。https://doi.org/10.1145/3569473

数字图书馆

[19]

诚挚的保罗·伊吉纳（Paul Ijjina）和克里希纳·莫汉（C Krishna Mohan）。2014.使用动态深度传感器和卷积神经网络进行面部表情识别。在机器学习和应用国际会议上。392–396.

数字图书馆

[20]

苹果公司2022年。跟踪和可视化人脸| Apple Developer文档。2022年8月19日检索自https://developer.apple.com/documentation/arkit/content_anchors/tracking_and_visualizing_faces

[21]

InvenSense。2022.ICS-43434|TDK。2022年8月19日检索自https://invensense.tdk.com/products/ics-43434/

[22]

Yasha Iravantchi、Yang Zhang、Evi Bernitsas、Mayank Goel和Chris Harrison。2019.干涉：使用体上声学干涉术进行手势传感。CHI计算机系统人为因素会议论文集。1–13.

数字图书馆

[23]

岩崎顺介（Shunsuke Iwakiri）和村上春树（Kazuya Murao）。2023.使用主动声传感的耐磨环装置的用户认证方法。《2023年ACM可穿戴计算机国际研讨会论文集》（墨西哥金塔纳鲁坎昆）（ISWC'23）。美国纽约州纽约市计算机协会，17-21。https://doi.org/10.1145/3594738.3611357

数字图书馆

[24]

Samira Ebrahimi Kahou、Christopher Pal、Xavier Bouthillier、Pierre Frumenty、Çaglar Gülçehre、Roland Memisevic、Pascal Vincent、Aaron Courville、Yoshua Bengio、Raul Chandias Ferrari，2013年。结合特定模态的深层神经网络进行视频情感识别。在ACM关于多式联运国际会议的会议记录中。543–550.

数字图书馆

[25]

Daehwa Kim和Chris Harrison。2023.Pantœnna：使用低剖面天线和阻抗特性传感的VR/AR耳机的嘴姿势估计。在ACM用户界面软件和技术（UIST）年度研讨会（UIST’23）的会议记录中。第83条，12页。https://doi.org/10.1145/3586183.3606805

数字图书馆

[26]

戴维斯·E·金。2009年，Dlib-ml：机器学习工具包。《机器学习研究杂志》第10卷。1755–1758.

[27]

诺尔斯。2022.SR6438NWS-000。2022年8月19日检索自https://www.knowles.com/docs/default-source/model-downloads/sr6438nws-000.pdf

[28]

张浩权、Jihyeon Ha、Da-Hye Kim、Jun Won Choi和Laehyun Kim。2021.通过多通道面部反应使用眼镜式可穿戴设备进行情绪识别。IEEE Access第9卷。146392–146403. https://doi.org/10.1109/ACCESS.2021.3121543

[29]

Ying-Hsiu Lai和Shang-Hong Lai。2018.通过生成性对抗网络进行多视角面部表情识别的情感呈现表征学习。参加IEEE自动人脸和手势识别国际会议（FG）。263–270.

数字图书馆

[30]

迈克尔·兰克斯（Michael Lankes）、斯特凡·里格勒（Stefan Riegler）、阿斯特里德·韦斯（Astrid Weiss）、托马斯·米拉切尔（Thomas Mirlacher）、迈克尔·皮尔克（Michael Pirker）和曼弗雷德·切利吉（Manfred Tscheligi）。2008年，面部表情作为不同情绪反馈条件下的游戏输入。《计算机娱乐技术进步国际会议论文集》。253––256. https://doi.org/10.1145/1501750.1501809

数字图书馆

[31]

李志忠、张瑞东、阿加瓦尔、余天鸿、冈达、奥利弗·洛佩兹、詹姆斯·金、尹思成、邓博鳌、李柯、坂田摩斯、弗朗索瓦·吉姆布雷蒂埃和张成。2024.EchoWrist：在腕带上使用低功率有源声学传感进行连续手势跟踪和手-物交互识别。2024年CHI计算机系统人为因素会议记录（美国夏威夷州火奴鲁鲁）（CHI'24）。美国纽约州纽约市计算机协会，21页。https://doi.org/10.1145/3613904.3642910

数字图书馆

[32]

联想。2022.ThinkReality A3智能眼镜。2022年8月19日检索自https://www.lenovo.com/us/en/p/smart-devices/virtual-reality/thinkreality-a3/wmd00000500（网址：https://www.lenovo.com/us/en/p/smart-devices/virtual-reality/thinkreality-a3/wmd00000500）

[33]

李珂、张瑞东、陈博鳌、陈思源、尹思成、赛义夫·马哈茂德、梁启康、弗朗索瓦·吉姆布雷蒂埃和张成。2024.GazeTrak：探索玻璃框架上基于声学的视线跟踪。《移动计算和网络年度国际会议论文集》（美国华盛顿特区）（MobiCom’24）。美国纽约州纽约市计算机协会，16页。https://doi.org/10.1145/3636534.3649376

[34]

李柯、张瑞东、梁波、弗朗索瓦·吉姆布雷蒂埃和张成。2022.EarIO：一种低功耗的声音传感系统，能够持续跟踪面部的详细动作。《ACM互动、移动、可穿戴和普及技术（IMWUT）会议录》，第6卷。第62条，24页。

数字图书馆

[35]

连杰、楼嘉东、李晨、徐远。2021.EchoSpot：通过声音感应定位您的位置。《ACM互动、移动、可穿戴和普及技术（IMWUT）会议录》，第5卷。1–21.

数字图书馆

[36]

刘嘉林、李东、王磊和熊洁。2021.BlinkListener：使用智能手机“聆听”你的眨眼。程序。ACM互动。暴徒。可穿戴的无所不在技术。第5、2条，第73条（2021年），共27页。https://doi.org/10.1145/3463521

数字图书馆

[37]

刘梦熙、卞思珍和保罗·卢科维奇。2022.电容传感非接触式实时眨眼检测。2022年ACM可穿戴计算机国际研讨会（ISWC’22）会议记录。49–53. https://doi.org/10.1145/3544794.3558462

数字图书馆

[38]

刘梦怡、单石光、王瑞平和陈锡林。2014.学习时空流形上的表情集，用于动态面部表情识别。IEEE计算机视觉和模式识别会议（CVPR）论文集。1749–1756.

数字图书馆

[39]

刘平（Ping Liu）、韩世忠（Shizhong Han）、孟子波（Zibo Meng）和严彤（Yan Tong）。2014年。通过增强的深度信念网络进行面部表情识别。IEEE计算机视觉和模式识别会议（CVPR）论文集。1805–1812.

数字图书馆

[40]

2019年，李璐、余嘉迪、陈莹莹、刘洪波、朱延敏、孔凌河和李明露。通过智能手机上的声音感应进行基于唇读的用户身份验证。IEEE/ACM网络交易（TON），第27卷。447–460.

[41]

赛义夫·马哈茂德（Saif Mahmud）、柯莉（Ke Li）、胡桂林（Guling Hu）、郝晨（Hao Chen）、理查德·金（Richard Jin）、张瑞东（Ruidong Zhang）、弗朗索瓦·吉姆布雷蒂埃（Francois Guimbreti。2023.PoseSonic:通过智能眼镜上的自我声学传感进行3D上半身姿势估计。程序。ACM互动。暴徒。可穿戴的无所不在技术。第7、3条，第111条（2023年9月），28页。https://doi.org/10.1145/3610895

数字图书馆

[42]

Katsutoshi Masai、Yuta Sugiura、Masa Ogata、Kai Kunze、Masahiko Inami和Maki Sugimoto。2016年，通过智能眼镜上的嵌入式照片反射传感器实现日常生活中的面部表情识别。智能用户界面（IUI）国际会议论文集。317––326. https://doi.org/10.1145/2856767.2856770

数字图书馆

[43]

丹尼斯·J·C。Matthies，伯恩哈德A。Strecker和Bodo Urban。2017耳场感应：通过面部表情丰富可穿戴手势输入的新型车内电场感应。CHI计算机系统人为因素会议论文集。1911––1922. https://doi.org/10.1145/3025453.3025692

数字图书馆

[44]

Delina Beh Mei Yin、Amalia-Amelia Mukhlas、Rita Zaharah Wan Chik、Abu Talib Othman和Shariman Omar。2018.人脸和面部表情识别的基于生物特征的身份验证拟议方法。参加IEEE通信和信息系统国际会议（ICCIS）。28–33. https://doi.org/10.109/ICOMIS.2018.8644974

[45]

Rajalakshmi Nandakumar、Shyamnath Gollakota和Nathaniel Watson。2015.智能手机上的非接触式睡眠呼吸暂停检测。《移动系统、应用和服务年度国际会议论文集》。45–57.

数字图书馆

[46]

Rajalakshmi Nandakumar、Vikram Iyer、Desney Tan和Shyamnath Gollakota。2016年Fingerio：使用主动声纳进行精细手指跟踪。CHI计算机系统人为因素会议论文集。1515–1525.

数字图书馆

[47]

尼奥拉。2022.Microsoft HoloLens-审查-完整规格-何处购买？2022年8月19日检索自https://www.niora.net/en/p/microsoft_hololens

[48]

亚马逊公司。或其附属公司。2022.Echo Frames电池寿命和测试信息-亚马逊客户服务。2022年8月19日检索自https://www.amazon.com/gp/help/customer/display.html？nodeId=GSVK3ZY3G43K435E

[49]

金湾公园和Sehyun Baek。甲状腺眼病患者的干眼综合征：不完全眨眼增加和睑板腺缺失的作用。眼科学报[眼科学报]97，5（2019），e800–e806。https://research-ebsco-com.proxy.library.cornell.edu/c/u2yil2/details/bmwiotplxn

[50]

John AM Paro、Rahim Nazareli、Anadev Gurjala、Aaron Berger和Gordon K Lee。2015.基于视频的自我审查：比较谷歌眼镜和GoPro技术。整形外科年鉴74（2015），S71–S74。

[51]

Ville Rantanen、Pekka-Henrik Niemenlehto、Jarmo Verho和Jukka Lekkala。2010年，通过皱眉头和扬起眉毛进行人机交互的电容式面部运动检测。医学与生物工程与计算，第48卷。施普林格，39–47岁。

[52]

马克·阿雷利奥·兰扎托（Marc’Aurelio Ranzato）、约书亚·苏斯金（Joshua Susskind）、沃洛德米尔·姆尼（Volodymyr Mnih）和杰弗里·辛顿（Geoffrey Hinton）。2011.深度生成模型及其在识别中的应用。IEEE计算机视觉和模式识别会议（CVPR）论文集。2857–2864.

数字图书馆

[53]

圣地亚哥·雷耶斯。2022.话筒环境系数是多少？2023年12月6日检索自https://www.grasacoustics.com/blog/working-with-environmental-coefficients#：：text=更高%20频率%20（高于%20约%206，频率%20响应%20取决于%20温度。

[54]

萨拉赫·里法伊（Salah Rifai）、约舒亚·本吉奥（Yoshua Bengio）、亚伦·库维尔（Aaron Courville）、帕斯卡·文森特（Pascal Vincent）和梅赫迪·米尔扎（Mehdi Mirza）。2012.面部表情识别的分离变异因素。在欧洲计算机视觉会议上。808–822.

数字图书馆

[55]

Jocelyn Scheirer、Raul Fernandez和Rosalind W。皮卡德。表情眼镜：面部表情识别的可穿戴设备。在CHI中，关于计算系统中人为因素的扩展摘要。262––263. https://doi.org/10.1145/632716.632878

数字图书馆

[56]

约翰·斯科特·托马斯。2023.Ray-Ban Stories智能眼镜使用两个安装在框架上的摄像头捕捉图像，这是实现增强现实的第一步。2023年9月13日检索自https://www.techinsights.com/blog/ray-ban-stories-smart-glasses-cameras网站

[57]

Nicu Sebe、Michael S Lew、Yafei Sun、Ira Cohen、Theo Gevers和Thomas S Huang。2007.真实的面部表情分析。图像和视觉计算，第25卷。1856–1863.

[58]

北欧半导体。2022.蓝牙低能耗数据吞吐量-北欧半导体信息中心。2022年8月19日检索自https://infocenter.nordicsemi.com/index.jsp？topic=%2Fsds_s140%2Fsds%2Fs1xx%2Fole_data_throughput%2Fole_data_thrroughput.html&cp=4_7_4_0_16

[59]

北欧半导体。2022.nRF52840-蓝牙5.2 SoC-nordicsemi.com。2022年8月19日检索自https://www.nordicsemi.com/Products/nRF52840

[60]

孙珂、赵婷、王伟和谢磊。2018年，Vskin：使用声音信号感应移动设备表面的触摸手势。在国际移动计算与网络年会（MobiCom）的会议记录中。591–605.

数字图书馆

[61]

孙汝嘉、周小河、本杰明·斯蒂珀、张瑞东、尹思成、李珂、吴胜章、萨姆·蒂尔森、弗朗索瓦·吉姆布雷蒂埃和张成。EchoNose：使用非控制鼻子界面感应口腔内的口腔、呼吸和舌头手势。《2023年ACM可穿戴计算机国际研讨会论文集》（墨西哥金塔纳鲁坎昆）（ISWC'23）。美国纽约州纽约市计算机协会，22-26。https://doi.org/10.1145/3594738.3611358

数字图书馆

[62]

朱斯特斯·蒂斯、迈克尔·佐尔霍夫、马蒂亚斯·涅纳、利维·瓦尔加茨、马克·斯塔明格和克里斯蒂安·西奥巴特。2015.面部再现实时表情转移。《美国计算机学会图形学报》第34卷。第183条，14页。

[63]

德鲁夫·维尔玛（Dhruv Verma）、塞加尔·巴拉（Sejal Bhalla）、德鲁夫·萨赫南（Dhru v Sahnan）、贾宁德拉·舒克拉（Jainendra Shukla）和阿曼·帕纳米（Aman Parnami）。2021.ExpressEar：用Earables感知细粒度面部表情。《ACM互动、移动、可穿戴和普及技术（IMWUT）会议录》，第5卷。1–28.

数字图书馆

[64]

乌尔里希·冯·阿格里斯（Ulrich von Agris）、莫里茨·克诺尔（Moritz Knorr）和卡尔·弗里德里希·克拉斯（Karl-Friedrich Krass）。2008.面部特征对自动手语识别的重要性。参加IEEE自动人脸和手势识别国际会议。1–6. https://doi.org/10.109/AFGR.2008.4813472

[65]

王天本、张大庆、郑元庆、顾涛、周星社和贝纳黛特·多里兹。2018.基于C-FMCW的非接触式呼吸检测，使用声波信号。《ACM互动、移动、可穿戴和普及技术（IMWUT）会议录》，第1卷。1–20.

数字图书馆

[66]

Wei Wang、Alex X Liu和Ke Sun。2016.使用声音信号进行无设备手势跟踪。在移动计算和网络年度国际会议（MobiCom）的会议记录中。82–94.

[67]

王梓、任伊丽、陈莹莹和杨杰。2022.Tooth Sonic：通过声学牙印进行听觉认证。程序。ACM互动。暴徒。可穿戴的无所不在技术。第6、2条，第78条（2022年7月），24页。https://doi.org/10.1145/3534606

数字图书馆

[68]

Shih-En Wei、Jason Saragih、Tomas Simon、Adam W。Harley、Stephen Lombardi、Michal Perdoch、Alexander Hypes、Dawei Wang、Hernan Badino和Yaser Sheikh。2019.通过多视图图像翻译实现VR面部动画。《美国计算机学会图形学报》第38卷。第67条，16页。https://doi.org/10.1145/3306346.3323030

数字图书馆

[69]

维基百科。2023.谷歌眼镜。2023年9月14日检索自https://en.wikipedia.org/wiki/Google_Glass网站

[70]

SG无线。2022.SGW111X BLE模块。2022年8月19日检索自https://www.sgwireless.com/product/SGW111X

[71]

Wayne Wu、Chen Qian、Shuo Yang、Quan Wang、Yici Cai和Qiang Zhou。2018.查看边界：一种有边界感知的人脸对齐算法。IEEE计算机视觉和模式识别会议（CVPR）论文集。2129–2138.

[72]

Yi Wu、Vimal Kakaraparthi、Zhoohang Li、Tien Pham、Jian Liu和Phuc Nguyen。2021.BioFace-3D：通过轻型单耳生物传感器进行连续三维面部重建。在移动计算和网络年度国际会议（MobiCom）的会议记录中。350–363.

数字图书馆

[73]

谢佳红、郝刚、余嘉迪、陈莹莹、孔凌河、朱延敏和唐飞龙。2023.mm3DFace：利用毫米波信号进行非侵入性三维面部重建。《移动系统、应用程序和服务年度国际会议（MobiSys）会议记录》（MobiSys’23）。462–474. https://doi.org/10.1145/3581791.3596839

数字图书馆

[74]

谢文涛、张倩和张锦。2021.智能眼镜的基于声学的上面部动作识别。《ACM互动、移动、可穿戴和普及技术（IMWUT）会议录》，第5卷。第41条，28页。https://doi.org/10.1145/3448105

数字图书馆

[75]

熊思杰、朱素杰、季一生、姜斌耀、田晓华、郑学生和王新兵。2017年，IBlink：面瘫患者智能眼镜。《第15届移动系统、应用程序和服务年度国际会议论文集》（MobiSys’17）。359–370. https://doi.org/10.1145/3081333.3081343

数字图书馆

[76]

Xreal。2024.Xreal Air 2 Ultra公司。2024年2月13日检索自https://developer.xrel.com/？lang=en

[77]

徐海旭、史海天、辛毅、刘文佳、严玉康、史元春、亚历克斯·马里亚卡基斯、詹妮弗·曼考夫和安妮德·卡戴伊。2020年。EarBuddy：通过无线耳机实现现场交互。CHI计算机系统人为因素会议论文集。1–14.

数字图书馆

[78]

桑基云、陈一超、郑慧煌、邱丽丽和毛文光。2017.Strata：基于细粒度声学的无设备跟踪。《移动系统、应用和服务年度国际会议论文集》。15–28.

数字图书馆

[79]

Cheng Zhang、Qiuyue Xue、Anandghan Waghmare、Ruichen Meng、Sumeet Jain、Yizeng Han、Xinyu Li、Kenneth Cunefare、Thomas Ploetz、Thad Starner，2018年。手指敲击：使用主动声身体感应识别细粒度手的姿势。CHI计算机系统人为因素会议论文集。1–10.

数字图书馆

[80]

张瑞东（Ruidong Zhang）、陈浩（Hao Chen）、阿加瓦尔（Devansh Agarwal）、金理查（Richard Jin）、李柯（Ke Li）、弗朗索瓦·吉姆布雷蒂埃（Francois Guimbretire）和张成（Cheng Zhang。2023.HPSpeech：商品耳机的无声语音接口。《2023年ACM可穿戴计算机国际研讨会论文集》（墨西哥金塔纳鲁坎昆）（ISWC'23）。计算机械协会，美国纽约州纽约市，60-65。https://doi.org/10.1145/3594738.3611365

数字图书馆

[81]

张瑞东（Ruidong Zhang）、李珂（Ke Li）、郝一红（Yihong Hao）、王玉凡（Yufan Wang）、赖正南（Zhengnan Lai）、弗朗索瓦·吉姆布雷蒂埃（François Guimbretire）和张成（Cheng。2023.EchoSpeech：基于声学传感的最小干扰眼镜上的连续无声语音识别。《2023年CHI计算机系统人为因素会议论文集》（德国汉堡）（CHI'23）。美国纽约州纽约市计算机协会，第852条，18页。https://doi.org/10.1145/3544548.3580801

数字图书馆

[82]

张世嘉、卢泰婷、周浩、刘依林、刘润泽和马汉斯·戈达。2023.我是一个耳机，我可以听到我的用户的脸：使用智能耳机进行面部地标跟踪。ACM事务处理。互联网事物（TIOT）（2023年8月）。https://doi.org/10.1145/3614438

数字图书馆

[83]

张永钊、黄伟雄、杨志云、王文平、陈一超、庄文友、黄大元、薛光焘和余嘉迪。2020年。内相畸形：利用基于声学的成像发出无接触无声语音命令。《ACM互动、移动、可穿戴和普及技术（IMWUT）会议录》，第4卷。1–26.

数字图书馆

[84]

张云亭、王继良、王伟毅、王赵和刘云浩。2018.游标器：使用移动设备进行准确快速的声波运动跟踪。在IEEE国际计算机通信会议（INFOCOM）上。1709–1717.

数字图书馆

引用人

李凯（Li K）张瑞陈B陈S尹S马哈茂德S梁Q吉姆布雷蒂埃F张C甘尼桑D史伟(2024)GazeTrak：探索基于声学的玻璃框架眼动追踪第30届移动计算和网络国际年会会议记录10.1145/3636534.3649376(497-512)在线发布日期：2024年5月29日
https://dl.acm.org/doi/10.1145/3636534.3649376
Lee C公司张瑞阿加瓦尔D于特（Yu T）冈达五世洛佩兹O金·J尹S东风B李凯（Li K）坂下M吉姆布雷蒂埃F张C(2024)EchoWrist：使用腕带上的低功耗主动声传感进行连续手势跟踪和手-物交互识别CHI计算机系统人为因素会议记录10.1145/3613904.3642910(1-21)在线发布日期：2024年5月11日
https://dl.acm.org/doi/10.1145/3613904.3642910

索引术语

眼睛回声：眼镜上连续低功耗面部表情跟踪
1. 硬件
  1. 电力和能源
2. 以人为中心的计算
  1. 无处不在的移动计算
    1. 无处不在的移动设备

建议

EarIO：一种低功耗的声音传感装置，可连续跟踪面部细节运动

本文介绍了EarIO，这是一种AI驱动的声学传感技术，它允许一个可听见的（例如耳机）使用两对麦克风和扬声器（每侧一个）连续跟踪面部表情，这些麦克风和扬声器在商品中广泛使用。。。
阅读更多信息
基于表情变换的表情不变人脸识别

本文提出了一种表情不变的人脸识别方法，将具有任意表情的输入人脸图像转换为相应的中性人脸表情图像。当具有任意表达式的新人脸图像。。。
阅读更多信息
识别面部表情分析的动作单元
用于人机通信的多模式接口

大多数自动表达分析系统试图识别一小部分原型表达，如幸福、愤怒、惊讶和恐惧。然而，这种原型表达很少出现。人类的情感和意图更多。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

CHI’24：CHI计算机系统人为因素会议记录

2024年5月

18961页

国际标准图书编号：9798400703300

内政部：10.1145/3613904

编辑：
弗洛里安·弗洛伊德·米勒
莫纳什大学
,
佩尼·基伯兹
澳大利亚国立大学
,
朱莉·威廉姆森
格拉斯哥大学
,
科里纳
兰卡斯特大学
,
马克斯·L·威尔逊
诺丁汉大学
,
菲比·图普斯·杜加斯
莫纳什大学/新墨西哥州立大学
,
伊琳娜·什克洛夫斯基
哥本哈根大学

版权所有©2024 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

赞助商

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2024年5月11日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

数据可用性

视频预览：视频预览https://dl.acm.org/doi/10.1145/3613904.3642613#3613904.3642813-预览视频.mp4

视频演示：视频演示https://dl.acm.org/doi/10.1145/3613904.3642613#3613904.3642813-通话视频.mp4

资金来源

国家科学基金会
国家科学基金会？s创新团队
康奈尔大学点燃计划

会议

24岁

赞助商：

CHI'24:CHI计算机系统人为因素会议

2024年5月11日至16日

你好，美国檀香山

接受率

26314份提交文件的总体接受率为6199份，24%

即将召开的会议

24岁CHI PLAY

赞助商：
西奇

游戏中的计算机与人类交互年度研讨会

2024年10月14日至17日

坦佩雷，芬兰

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

2
引文总数
查看引文
445
总下载次数

下载量（最近12个月）445
下载次数（最近6周）445

其他指标

查看作者指标

引文

引用人

李凯（Li K）张瑞陈B陈S尹S马哈茂德S梁Q吉姆布雷蒂埃F张C甘尼桑D史伟(2024)GazeTrak：探索玻璃框架上基于声学的眼睛跟踪第30届移动计算和网络国际年会会议记录10.1145/3636534.3649376(497-512)在线发布日期：2024年5月29日
https://dl.acm.org/doi/10.1145/3636534.3649376
Lee C公司张瑞阿加瓦尔D于特（Yu T）冈达五世洛佩兹O金·J尹S东风B李凯（Li K）坂下M吉姆布雷蒂尔F张C(2024)EchoWrist：使用腕带上的低功耗主动声传感进行连续手势跟踪和手-物交互识别CHI计算机系统人为因素会议记录10.1145/3613904.3642910(1-21)在线发布日期：2024年5月11日
https://dl.acm.org/doi/10.1145/3613904.3642910

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

全文

以全文形式查看本文。

HTML格式格式

在中查看本文HTML格式格式。

媒体

数字

其他

桌子

查看全文|下载PDF