第条

比较视听和视动反馈对用户绩效的影响：荟萃分析

作者:

詹妮弗·L。伯克,

马修·S。普雷韦特,

阿什利A。灰色,

弗雷德里克·R·B。斯蒂尔森,

迈克尔·D·。 Coovert公司,

琳达·R。埃利奥特、和

伊丽莎白雷登作者信息和声明

ICMI’06：第八届多式联运接口国际会议记录

2006年11月

页108-117

https://doi.org/10.1145/1180995.1181017

出版:2006年11月2日出版历史

获取访问权限

摘要

在对43项研究进行的荟萃分析中，我们将视听和视动反馈与视觉反馈单独进行比较，研究了多模态反馈对用户绩效的影响。结果表明，在视觉反馈中添加额外的形式可以提高整体性能。视觉-听觉反馈和视觉-行为反馈在减少反应时间和提高绩效分数方面都有优势，但在降低错误率方面并不有效。效果由任务类型、工作量和任务数量来调节。当执行单个任务时（g=.87），在正常工作负载条件下（g=.71），视听反馈最有效。当开始执行多个任务（g=.77）且工作负载条件较高（g=.84）时，视觉-触觉反馈更有效。这两种类型的多模态反馈对目标捕获任务都有效；但其他任务类型的效率不同。讨论了对实践和研究的启示。

工具书类

[1]

Akamatsu，M.和Sato，S.（1994年）。具有触觉和力反馈的多模式鼠标。国际人类计算机研究杂志，40（3），443--453。

数字图书馆

[2]

Barfield，W.、Cohen，M.和Rosenberg，C.（1997年）。视觉和听觉定位与方位和海拔的关系。国际航空心理学杂志，7，（2），123。

[3]

Barfield，W.、Rosenberg，C.和Levasseur，G.（1991年）。在设计在线分层菜单时使用图标、耳坠和命令，IEEE Trans。Commun教授。，34(2), 101--108.

[4]

Belz，S.M.、Ribinson，G.S.和Casali，J.G.（1999年）。复杂系统的一类新的听觉警告信号：听觉图标。人为因素，41（4），608-618。

[5]

Bolia，R.S.、D’Angelo，W.R.和McKinley，R.L.（1999）。三维空间中的视听搜索。人为因素，41（4），664-669。

[6]

Borenstein，M.和Rothstein，H.（1999）。综合荟萃分析：研究综合的计算机程序。新泽西州恩格尔伍德：Biostat。

[7]

Brewster，S.A.（1997年）。使用非言语声音来克服信息过载。显示器，17，179--189。

[8]

Brewster，S.A.（1998年）。声音增强的拖放功能。《1998年ICAD会议记录》（英国格拉斯哥），英国计算机学会。

数字图书馆

[9]

Brewster，S.A.和Crease，M.G.（1999年）《用声音纠正菜单可用性问题》。行为与信息技术18（3），165--177。

[10]

Bronkhorst，A.W.、Veltman，J.A.H.和van Breda，L.（1996）。三维听觉显示器在飞行任务中的应用。人为因素，38，23-33。

[11]

Brünken，R.、Steinbacher，S.、Plass，J.L.和Leutner，D.（2002）。使用双任务方法评估多媒体学习中的认知负荷。实验心理学，49（2），109-119。

[12]

Chiasson，J.、McGrath，B.和Rupert，A.（2002年）。增强对海洋、空气和陆地环境的态势感知。在关于“军用车辆中的空间定向障碍：原因、后果和治疗”的北约RTO人为因素和医学小组研讨会论文集中，西班牙拉科鲁尼亚，编号：TRO-MP-086，1-10。

[13]

Cockburn，A.，Firth，A.（2003）。改进小目标的获取。HCI会议记录，181-196。

[14]

Diamond，D.D.、Kass，S.J.、Andrasik，F.、Raj，A.K.和Rupert，A.H.（2002）。振动触觉提示作为视觉监控的主警戒系统。人为因素与航空航天安全，2（4），339--354。

[15]

Forster，B.、Cavina-Platesi，C.、Aglioti，S.M.和Berlucchi，G.（2002）。简单反应时间内视觉-活动交互产生的冗余靶效应和感觉间促进作用。实验脑研究，143（4），480-487。

[16]

Glumm，M.和Kehring，K.（2004年）。关于威胁位置的视觉和听觉线索对目标捕获和听觉通信注意的影响。

[17]

He，F.和Agah，A.（2001）。利用图像、声音和力反馈与智能界面进行多模式人机交互。《智能与机器人系统杂志》，32（2），171-190。

数字图书馆

[18]

Hedges，L.V.和Olkin，I.O.（1985年）。荟萃分析的统计方法。加州圣地亚哥：学术出版社。

[19]

Helleberg，J.R.和Wickens，C.D.（2003年）。数据链接模式和显示冗余对飞行员表现的影响：一个注意力视角。国际航空心理学杂志，13（3），189-210。

[20]

Hopp，P.J.、Smith，C.A.R.、Clegg，B.A.和Heggestad，E.D.（2005）。中断管理：使用注意力导向的触觉线索。人为因素，47（1），1--11。

[21]

Horrey，W.J.，Wickens，C.D.（2004）。驾驶和副作用表现：显示混乱、分离和形态的影响。人为因素，46（4），611--624。

[22]

Hwang，F.、Keates，S.、Langdon，P.和Clarkson，P.J.（2003）。为受运动影响的计算机用户提供多个触觉目标。CHI'03：美国佛罗里达州劳德代尔堡SIGCHI计算机系统人为因素会议记录，41-48。

数字图书馆

[23]

Lindeman，R.W.、Sibert，J.L.、Mendez-Mendez，E.、Patil，S.和Phifer，D.（2005）。定向可控震源对建筑物清理任务的有效性。CHI'05：美国俄勒冈州波特兰市SIGCHI计算机系统人为因素会议记录，271-280。

数字图书馆

[24]

Lindeman，R.W.、Yanagida，Y.、Sibert，J.L.和Lavine，R.（2003）。视觉搜索任务中的有效振动提示。第九届IFIP TC13人机交互国际会议记录（INTERACT 2003），2003年9月1日至5日，瑞士苏黎世，第89-96页。

[25]

Lipsey，M.和Wilson，D.（2001年）。实用荟萃分析（第49卷）。千橡树：SAGE出版物。

[26]

Liu，Y.C.（2001）。高级旅行者信息系统中听觉、视觉和多模态显示对驾驶员表现影响的比较研究。人机工程学，44（4），425--442。

[27]

Maltz，M.和Shinar，D.（2004年）。不完善的车内防撞警告系统可以帮助驾驶员。人为因素，46（2），357--366。

[28]

Mayer，R.E.，Moreno，R.（1998年）。多媒体学习中的分心效应：工作记忆中双重处理系统的证据。《教育心理学杂志》，90，312--320。

[29]

McGee，M.R.（1999）。触觉增强的滚动条：作为减少滚动相关问题的一种手段的强制反馈，第一届PHANTOM用户研究研讨会，5月，德国海德堡Deutsches Krebsforschungszentrum。

[30]

Mirchandani，P.B.（1972年）。双轴跟踪任务中的听觉显示。IEEE系统、人类和控制论汇刊，2（3），375-380。

[31]

Moorhead，I.R.、Holmes，S.和Furnell，A.（2004）。了解飞行员空间定向的多传感器集成。QINETIQ/KI/CHS/TR042277。

[32]

Oakley，I.和O’Modhrain，S.（2005）。倾斜滚动：评估基于运动的振动触觉移动界面。WHC’05：第一届欧洲触觉联合会议和虚拟环境和遥操作系统触觉界面研讨会会议记录，意大利比萨，40-49。

数字图书馆

[33]

Oakley，I.、McGee，M.R.、Brewster，S.和Gray，P.（2000）。把感觉放在“外观”中。CHI'00:SIGCHI计算机系统人为因素会议记录，荷兰海牙，415-422。

数字图书馆

[34]

Perrott，D.R.、Sadralodabai，T.、Saberi，K.和Strybel，T.Z.（1991年）。中央视野中的听觉辅助视觉搜索：视觉负荷和目标视觉增强的影响。人为因素，33389--400。

数字图书馆

[35]

Richard，C.M.、Wright，R.D.和Ee，C.（2002）。驾驶相关图像舔任务中并发听觉任务对视觉搜索性能的影响。人为因素，44（1），108-119。

[36]

佐藤·T、戴蒙·T、川岛·H、基诺西塔·M和池田·A（2003）。基于驾驶员认知过程的狭窄道路驾驶辅助系统人机界面基础研究。JSAE评论，24（2），189-196。自适应多模式中断接口。IUI’03年。

[37]

Swindells，C.、Unden，A.和Sang，T.（2003）。扭矩棒：一种未接地的触觉反馈设备。ICMI’03：加拿大不列颠哥伦比亚省温哥华第五届多式联运接口国际会议记录，52-59。

数字图书馆

[38]

Tang，H.、Beebe，D.J.和Kramer，A.F.（1997）。多状态输入机制的触觉和视觉反馈的比较。IEMBS’97：美国伊利诺伊州芝加哥市第19届IEEE医学和生物工程国际年会论文集，41697-1700。

[39]

Tannen，R.S.、Nelson，W.T.、Bolia，R.S、Warm，J.S.和Dember，W.N.（2004）。评估飞行任务中目标定位的自适应多传感器显示。国际航空心理学杂志，14（3），297--312。三维音频与头朝下交通警报和防撞系统显示。国际航空心理学杂志，6，79-93。

[40]

Unger，B.J.、Nicolaidis，A.、Berkelman，P.J.、Thompson，A.、Lederman，S.和Klatzky，R.L.等人（2002年）。使用六自由度磁悬浮触觉装置的虚拟钉入孔性能：与实际力和仅视觉指导进行比较。HAPTIC’02：第十届虚拟环境和遥操作系统触觉界面研讨会论文集，美国佛罗里达州奥兰多，263-270。

数字图书馆

[41]

Van Erp，J.和Van Veen，H.（2004）。振动触觉车载导航系统。运输研究第F部分，247--256。

[42]

Van Erp，J.B.F.和Verschoor，M.H.（2004年）。跨模式视觉和振动跟踪。应用工效学，35（2），105--112。

[43]

Wickens，C.D.、Goh，J.、Helleberg，J.，Horrey，W.J.和Talleur，D.A.（2003）。使用先进显示技术的多任务飞行员性能注意模型。人为因素，45（3），360-380。

[44]

Wickens，C.D.、Goh，J.、Helleberg，J.和Talleur，D.A.（2002年）。高级驾驶舱显示器的模态差异：比较导航通信和交通感知的听觉视觉和冗余度。技术报告ARL-02-8/NASA-02-6）。航空研究所航空研究实验室。

[45]

Wickens，C.（2002年）。多种资源和性能预测。人类工效学的理论问题，3，2，159--177。

[46]

Zhou，Z.，Cheok，A.D.，Yang，X.，&Qiu，Y.（2004）。增强现实环境中软件合成3D声音作用的实验研究。与计算机交互，16（5），989--1016。

引用人

马兰贝M杜尔斯托克BWachs J公司(2024)机器人辅助浇注任务中的多传感器反馈优化方法执行机构10.3390/法案1304015213:4(152)在线发布日期：2024年4月18日
https://doi.org/10.3390/act13040152
蒋P肯特C罗斯特J(2024)朝向感官替代和增强：将视觉距离映射为音频和触觉频率PLOS ONE系列10.1371/新闻稿.029921319:3（e0299213）在线发布日期：2024年3月26日
https://doi.org/10.1371/journal.pone.0299213
帕舍尔MGoldau F公司克伦哈特KFrese UGerken J公司(2024)AdaptiX-一个用于开发和评估辅助机器人共享控制应用程序的过渡XR框架ACM人机交互会议录10.1145/36602438：二十碳五烯酸(1-28)在线发布日期：2024年6月17日
https://dl.acm.org/doi/10.1145/3660243
显示更多引用者

索引术语

比较视听和视动反馈对用户绩效的影响：一项荟萃分析
1. 以人为中心的计算
  1. 人机交互（HCI）
  2. 交互设计
    1. 交互设计过程和方法
      1. 以用户为中心的设计
    2. 交互设计理论、概念和范式

建议

多模态信息的益处：一项比较视觉和视觉反馈的元分析
ICMI’06：第八届多式联运接口国际会议记录

信息显示系统变得越来越复杂，人类认知更难有效处理。基于威肯的多元资源理论（MRT），使用多种方式（即视觉和触觉）传递信息。。。
阅读更多信息
听觉剥夺和手语在听觉和视觉皮层中的作用比较

为了研究早期听觉剥夺和美国手语使用导致的神经可塑性，我们使用功能磁共振成像测量了聋哑签名者、听觉签名者和听觉非签名者对视觉刺激的反应。。。
阅读更多信息
多式联运听觉、视觉和触觉注意调节神经处理的早期阶段

我们使用事件相关电位（ERPs）和伽马带振荡反应（GBRs）来检查互调注意力是否在听觉、视觉和触觉模式的早期发挥作用。为了控制空间注意的影响，我们在空间上。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

ICMI’06：第八届多式联运接口国际会议记录

2006年11月

404页

国际标准图书编号：159593541倍

DOI（操作界面）：10.1145/1180995

一般主席：
弗朗西斯·奎克
美国弗吉尼亚理工大学
,
杨杰（音译）
美国卡内基梅隆大学
,
课程主席：
多米尼克·马萨罗
美国加州大学圣克鲁斯分校
,
阿贝尔·阿尔万
美国洛杉矶加利福尼亚大学
,
蒂莫西·哈森
美国麻省理工学院

版权所有©2006 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人拥有的本作品组件的版权。允许赊账提取。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

发起人

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2006年11月2日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

第条

会议

国际资本市场协会06

主办单位：

ICMI06:2006年第八届多式联运接口国际会议

2006年11月2日至4日

加拿大班夫省阿尔伯塔省

接受率

1080份提交文件的总体接受率为453，42%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

153
引文总数
查看引文
3,428
总下载次数

下载次数（过去12个月）213
下载次数（最近6周）18

其他指标

查看作者指标

引文

引用人

马兰贝M杜尔斯托克BWachs J公司(2024)机器人辅助浇注任务中的多传感器反馈优化方法执行机构10.3390/法案1304015213:4(152)在线发布日期：2024年4月18日
https://doi.org/10.3390/act13040152
蒋P肯特C罗斯特J(2024)朝向感官替代和增强：将视觉距离映射为音频和触觉频率PLOS ONE系列10.1371/新闻稿.029921319:3（e0299213）在线发布日期：2024年3月26日
https://doi.org/10.1371/journal.pone.0299213
帕舍尔MGoldau F公司克伦哈特KFrese UGerken J公司(2024)AdaptiX-一个用于开发和评估辅助机器人共享控制应用程序的过渡XR框架ACM人机交互会议录10.1145/36602438：EICS(1-28)在线发布日期：2024年6月17日
https://dl.acm.org/doi/10.1145/3660243
贝基尼C扎法里SGallhuber K公司克罗宁格一世Puthenkalam J公司Tscheligi M公司(2024)感知机器：评估智能动态制导的多模态交互第29届智能用户界面国际会议记录10.1145/3640543.3645179(66-73)在线发布日期：2024年3月18日
https://dl.acm.org/doi/10.1145/3640543.3645179
拉扎罗M金·S(2024)注意混合：探索增强现实系统中多模态交互的认知基础2024年CHI计算机系统人为因素会议的扩展摘要10.1145/3613905.3650874(1-7)在线发布日期：2024年5月11日
https://dl.acm.org/doi/10.1145/3613905.3650874
崔D穆萨斯C(2024)触觉中断对手眼协调任务绩效的影响2024年IEEE虚拟现实和3D用户界面会议摘要和研讨会（VRW）10.1109/VRW62533.2024.00024(104-111)在线发布日期：2024年3月16日
https://doi.org/10.1109/VRW62533.2024.00024
杨杰（Yang J）邱L科罗纳-莫雷诺EShi L公司别克H兰姆·M兰代·J(2024)AMMA：通过自动状态跟踪和用户模型导向制导规划的自适应多模态助理2024 IEEE会议虚拟现实和3D用户界面（VR）10.1109/VR58804.2024.00108(892-902)在线发布日期：2024年3月16日
https://doi.org/10.109/VR58804.2024.00108
Raitor M公司努内兹C斯托尔卡P冈村A卡尔伯特森H(2024)超声穿刺过程中触觉引导的设计与评价生物医学工程汇刊10.1109/TBME.2023.3290919（待定）71:1(26-35)在线发布日期：2024年1月
https://doi.org/10.109/TBME.2023.3290919
任X张X邹（音）严R于B(2024)EmoVis：探索数据支持的模拟日志，以促进大学生心理健康的自我反思行为与信息技术10.1080/0144929X.2024.2349182(1-23)在线发布日期：2024年5月10日
https://doi.org/10.1080/0144929X.2024.2349182
刘S罗B高一冯G(2024)虚拟机床与耐磨振动装置相结合的研究科学报告10.1038/s41598-024-59208-年14:1在线发布日期：2024年4月17日
https://doi.org/10.1038/s41598-024-59208-y
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子