正在进行的工作

注意混合：探索增强现实系统中多模态交互的认知基础

作者:

梅·乔雷拉拉扎罗和

Sungho公司基姆作者信息和声明

CHI EA’24：CHI计算机系统人为因素会议的扩展摘要

2024年5月

文章编号：240，页数1-7

https://doi.org/10.1145/3613905.3650874

出版:2024年5月11日出版历史

获取访问权限

摘要

本研究通过对认知理论的回顾，探索增强现实（AR）中多模态交互（MMI）的复杂动力学，提出了一个新的概念框架。我们的研究深入探讨了输入模式、输出模式及其组合如何独特地影响AR环境中的用户体验。认识到现有MMI文献中的差距，特别是在AR背景下，我们提出了一个概念框架来理解这些复杂的关系。我们的框架指出了三个关键因素：输入模态的选择、输出的语言处理代码以及输入输出组合的协同效应。假设这些元素会显著影响AR系统中的用户交互和性能。这一工作进展不仅有助于HCI的理论论述，也为未来的实证研究奠定了基础，旨在加强AR技术不断发展的领域中以用户为中心的设计。

补充材料

MP4文件

谈话视频

下载
3854百万
成绩单

工具书类

[1]

A.巴德利。1992年工作记忆。《科学》255，5044（1992），556-559。

[2]

A.巴德利。情节缓冲区：工作记忆的一个新组成部分？认知科学趋势4，11（2000），417-423。

[3]

A.巴德利。2003.工作记忆：回顾和展望。《自然评论》神经科学4，10（2003），829-839。

[4]

A.D.Baddeley和G.Hitch。1974年工作记忆。学习与动机心理学，第8卷。学术出版社，47-89。

[5]

M.D.巴兹尔。2012年，多元资源理论。学习科学百科全书。2384-2385.

[6]

M.Billinghurst、H.Kato和S.Myojin。2009.增强现实应用的高级交互技术。程序中。虚拟和混合现实国际会议。施普林格，柏林，海德堡，13-22。

[7]

S.A.Brewster、P.C.Wright和A.D.Edwards。1994年，设计和评估了一个增强了审计功能的滚动条。程序中。SIGCHI计算机系统人为因素会议。ACM，173-179年。

[8]

J.L.Burke，2006年。比较视听和视动反馈对用户绩效的影响：一项荟萃分析。程序中。第八届多式联运接口国际会议。美国医学会，108-117。

数字图书馆

[9]

G.Calvert、C.Spence和B.E.Stein（编辑）。2004年，《多感官过程手册》。麻省理工学院出版社。

[10]

P.R.Cohen 1997年。Quickset：分布式应用程序的多模式交互。程序中。第五届ACM多媒体国际会议。美国医学会，31-40。

数字图书馆

[11]

E.Fintor、D.N.Stephan和I.Koch。2018.任务切换中模态映射的新特征：模态兼容性需要刺激和反应模态层面的可变性。《心理学研究》82，1（2018），121-133。

[12]

N.Hollender，2010年。整合认知负荷理论和人机交互概念。人类行为中的计算机26，6（2010），1278-1288。

[13]

W.Hürst和K.Vriens。2016.移动增强现实中基于手指的交互的多模式反馈。程序中。第18届ACM多式联运国际会议。美国医学会，302-306。

[14]

S.Irawati 2006年。使用语音和划桨手势评估增强现实多模式接口。在人工现实和远程存在国际会议上。柏林施普林格，海德堡，272-283。

数字图书馆

[15]

W·詹姆斯。1890.心理学原理。亨利·霍尔特公司，纽约。

[16]

P.A.Kirschner、P.Ayres和P.Chandler。2011.当代认知负荷理论研究：好、坏和丑。《人类行为中的计算机》27，1（2011），99-105。

数字图书馆

[17]

M.J.Lazaro 2021年。增强现实中通知信号的交互模式。程序中。2021年多式联运国际会议。美国医学会，470-477。

数字图书馆

[18]

M.Lee 2013年。增强现实环境中多模态输入的可用性研究。虚拟现实17，4（2013），293-305。

数字图书馆

[19]

A.B.Naumann和I.Wechsung。2008.开发多模式系统的可用性方法：主观和客观度量的使用。程序中。有意义措施国际研讨会：有效有用的用户体验测量（VUUM），8-12。

[20]

A.B.Naumann、I.Wechsung和J.Hurtienne。2010.多模式交互：一种适合包含老年用户的策略？与计算机交互22，6（2010），465-474。

数字图书馆

[21]

S.Oviatt和P.Cohen。2022.当代计算机接口的范式向多模态转变。瑞士查姆施普林格。

[22]

S.Oviatt。1996.动态交互式地图的多模式接口。程序中。SIGCHI计算机系统人为因素会议。顶点，95-102。

数字图书馆

[23]

S.Oviatt 2000年。为多模态语音和笔势应用程序设计用户界面：最先进的系统和未来的研究方向。人机交互15，4（2000），263-322。

[24]

A.佩维奥。双重编码和情景记忆：记忆痕迹成分的主观和客观来源。记忆和认知能力：纪念赫尔曼·埃宾浩斯研讨会。荷兰北部，阿姆斯特丹，225-236。

[25]

A.佩维奥。1991年。双重编码理论：回顾与现状。加拿大心理学杂志/Revue canadienne de psychologie 45，3（1991），255。

[26]

I.Rakkolainen 2021年。扩展现实中的多模交互技术——范围界定综述。多式联运技术与交互5，12（2021），81。

[27]

S.Schaeffner、I.Koch和A.M.Philipp。2016.感觉-运动模态兼容性在语言处理中的作用。《心理学研究》80，2（2016），212-223。

[28]

L.Schomaker。1995年。人类信息处理系统中多模式交互的分类。

[29]

W.Schnotz、M.Banner和T.Seufert。2002.面向文本和图片理解的综合观点：视觉化对心理模型构建的影响。在科学文本理解心理学中，385-416。

[30]

J.斯威勒。1988.解决问题过程中的认知负荷：对学习的影响。认知科学12，2（1988），257-285。

[31]

K.M.Stanney 2021年。扩展现实（XR）环境。在《人类因素和工效学手册》中。782-815.

[32]

E.Triantafyllidis、C.McGreavy、J.Gu和Z.Li.2020年。多模式接口的研究和遥操作的改进。IEEE接入8（2020），78213-78227。

[33]

A.瓦尔盖塞。2020年。探索增强现实中的双模反馈。《印度HCI'20：第11届印度人机交互会议论文集》。ACM，55-61。

[34]

C.D.威金斯。2002.多种资源和性能预测。人体工程学的理论问题3，2（2002），159-177。

[35]

C.D.Wickens和C.M.Carswell。2021.信息处理。《人类因素和人机工程学手册》，114-158。

索引术语

注意混合：探索增强现实系统中多模态交互的认知基础
1. 以人为中心的计算
  1. 人机交互（HCI）
    1. HCI理论、概念和模型
    2. 交互范例
      1. 混合/增强现实

建议

多模态增强现实：规范而非例外
MVAR’16：2016年多模虚拟和增强现实研讨会会议记录

增强现实（AR）通常被视为一种覆盖虚拟现实的技术图像到参与者的看法世界上最重要的。与此相一致，大多数AR研究都集中在我们看见在本文中，我们挑战这种对愿景的关注，并提出一个案例。。。
阅读更多信息
增强现实中基于视觉的多模态交互技术及问题
VINCI'15：第八届视觉信息传播与交互国际研讨会论文集

尽管多模态交互已经取得了许多进展，但大多数研究人员仍然分别对待视觉和言语等每种模态。它们在应用阶段集成结果。这是因为多重角色。。。
阅读更多信息
增强现实中的触觉
ICMCS’99：IEEE多媒体计算和系统国际会议记录-第2卷

增强现实系统将合成的感官信息融合到用户对三维环境的感知中。增强现实系统的一个重要性能目标是用户感知到一个无缝的环境。在大多数情况下。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

CHI EA’24：2024年CHI计算机系统人为因素会议的扩展摘要

2024年5月

4761页

国际标准图书编号：9798400703317

内政部：10.1145/3613905

编辑：
弗洛里安·弗洛伊德·米勒
莫纳什大学
,
佩尼·基伯兹
澳大利亚国立大学
,
朱莉·威廉姆森
格拉斯哥大学
,
科里纳
兰卡斯特大学

版权所有©2024所有者/作者。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的部分或全部数字或硬拷贝以供个人或课堂使用。必须尊重本作品第三方组件的版权。对于所有其他用途，请联系所有者/作者。

赞助商

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2024年5月11日

检查更新

作者标记

限定符

正在进行的工作
研究
推荐有限公司

数据可用性

谈话视频https://dl.acm.org/doi/10.1145/3613905.3650874#3613905.365087-通话视频.mp4

会议

24岁

赞助商：

CHI'24:CHI计算机系统人为因素会议

2024年5月11日至16日

HI，美国火奴鲁鲁

接受率

23696份提交文件的总体接受率为6164，26%

即将召开的会议

24岁CHI PLAY

赞助商：
西奇

游戏中的计算机与人类交互年度研讨会

2024年10月14日至17日

坦佩雷，芬兰

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
111
总下载次数

下载次数（过去12个月）111
下载次数（最近6周）78

其他指标

查看作者指标

引文

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

全文

以全文形式查看本文。

HTML格式格式

在中查看本文HTML格式格式。

媒体

数字

其他

桌子

查看全文|下载PDF