研究论文

开放式访问

以人为中心的延迟推理：测量用户交互并为人机团队设置延迟标准

作者:

斯蒂芬·J 莱麦尔,

安宏郭、和

杰森·J 科尔索作者信息和声明

IUI’23：第28届智能用户界面国际会议记录

2023年3月

页681-694

https://doi.org/10.1145/3581641.3584092

出版:2023年3月27日出版历史

所有格式 PDF格式

摘要

尽管深度学习有希望获得新颖且有影响力的界面，但在实践中实现这一承诺仍然是一个挑战：因为数据集驱动的深度学习模型假设一次性人工输入，所以当他们不理解用户提供的输入时，就没有任何追索权。通过延迟推断解决这一问题的工作——当不确定性显示出有意义的改进时，请求额外的人工输入，但忽略了用户和模型如何交互的关键方面。在这项工作中，我们重点关注用户在延迟推理中的作用，并认为延迟标准应该是用户和模型作为一个团队的函数，而不仅仅是模型本身。为了支持这一点，我们引入了一个新的数学公式，并通过一个实验验证了该公式，该实验分析了25个个体与基于深度学习的视觉语言模型的交互作用，并确定了之前工作中未充分利用的用户特定依赖性。最后，我们演示了两个以人为中心的程序，用于设置延迟标准，这两个程序易于实现，适用于各种任务，并且执行效果等同于或优于使用更大数据集的等效程序。

补充材料

ZIP文件（iui2023-60-sup.zip）

请求论文的相关补充数据：我们实验中使用的图像的完整列表以及相应的初始查询和延迟响应（表1的源数据）

下载
24.81 KB

工具书类

[1]

[1] Stanislaw Antol、Aishwarya Agrawal、Jiasen Lu、Margaret Mitchell、Druv Batra、C.Lawrence Zitnick和Devi Parikh。2015年，VQA：视觉问题解答。2015年IEEE计算机视觉国际会议论文集。IEEE出版社，智利圣地亚哥，2425-2433。

数字图书馆

[2]

[2] Gagan Bansal、Besmira Nushi、Ece Kamar、Walter S。丹尼尔·拉塞基。Weld和Eric Horvitz。2019.超越准确性：心理模型在人-人团队绩效中的作用。在2019年AAAI人类计算和众包会议记录中。AAAI出版社，美国佛罗里达州奥兰多，2-11。

[3]

[3] Gagan Bansal、Besmira Nushi、Ece Kamar、Daniel S。沃尔特·斯维尔德（Walter S.Weld）。拉塞基和埃里克·霍维茨。2019.人机团队更新：理解和解决性能/兼容性权衡。2019年AAAI人工智能会议记录。美国夏威夷火奴鲁鲁AAAI出版社，2429-2437。

数字图书馆

[4]

[4] Gagan Bansal、Tongshuang Wu、Joyce Zhou、Raymond Fok、Besmira Nushi、Ece Kamar、Marco Tulio Ribeiro和Daniel S。焊接。2021.整体超越了部分吗？人工智能解释对互补团队绩效的影响。2021年CHI计算机系统人为因素会议记录。ACM出版社，日本横滨，1-16。

数字图书馆

[5]

[5] 朱塞佩·贝瓦夸（Giuseppe Bevacqua）、乔纳森·卡切斯（Jonathan Cacase）、阿尔贝托·芬奇（Alberto Finzi）和文森佐·利皮耶罗（Vincenzo Lippiello）。2015.搜索救援任务中多无人机的混合初始规划和执行。《2015年自动规划和调度国际会议论文集》。AAAI出版社，以色列耶路撒冷，315-323。

[6]

[6] Nilava Bhattacharya、Qing Li和Danna Gurari，2019年。为什么视觉问题有不同的答案？。2019年IEEE/CVF国际计算机视觉会议论文集。IEEE出版社，韩国首尔，4270–4279。

[7]

[7] Jeffrey P Bigham、Chandrika Jayant、Hanjie Ji、Greg Little、Andrew Miller、Robert C Miller、Robin Miller、Aubrey Tatarowicz、Brandyn White、Samual White和Tom Yeh。2010年，VizWiz：几乎实时回答视觉问题。2010年度ACM用户界面软件和技术研讨会论文集。ACM出版社，纽约，美国纽约，333–342。

[8]

[8] 杰弗里·P·。Bigham、Chandrika Jayant、Andrew Miller、Brandyn White和Tom Yeh。2010年，VizWiz:：LocateIt——使盲人能够定位环境中的物体。在2010年IEEE计算机学会计算机视觉和模式识别会议论文集-研讨会上。IEEE出版社，美国加利福尼亚州旧金山，65-72。

[9]

[9] 伊丽莎白·邦迪（Elizabeth Bondi）、拉斐尔·科斯特（Raphael Koster）、汉娜·谢罕（Hannah Sheahan）、马丁·查德威克（Martin Chadwick）、约拉姆·巴赫拉赫（Yoram Bachrach）、泰兰·塞姆吉尔（Taylan Cemgil）、乌尔里希·帕。2022.人-禽相互作用在选择性预测中的作用。《2022年AAAI人工智能会议记录》。AAAI出版社，虚拟版，5286–5294。

[10]

[10] J.Cacase、A.Finzi、V.Lippiello、M.Furci、N.Mimmo和L.Marconi。2016年。搜索和救援任务中通过多模式交互操作的多无人机的控制架构。2016年IEEE安全、安保和救援机器人国际研讨会论文集。IEEE出版社，瑞士洛桑，233-239。

[11]

[11] 雷米·卡丹和科伦汀·丹切特。2019.RUBi:减少视觉问题回答的单峰偏向。2019年神经信息处理系统进展会议记录。加拿大不列颠哥伦比亚省温哥华市科伦协会，839-850。

[12]

[12] Carrie J Cai、Emily Reif、Narayan Hegde、Jason Hipp、Been Kim、Daniel Smilkov、Martin Wattenberg、Fernanda Viegas、Greg S Corrado、Martine C Stumpe和Michael Terry。2019.医疗决策过程中处理不完善算法的人性化工具。2019年CHI计算机系统人为因素会议论文集。英国苏格兰格拉斯哥ACM出版社，第14页。

数字图书馆

[13]

[13] 费利克斯·卡洛斯、约翰娜·梅勒、戴安娜·洛夫勒、大卫·恩贝豪恩、莎拉·马蒂斯、英加·科赫、雷纳·威辛、戴夫·兰德尔、马克·哈森泽尔和沃尔克·沃尔夫。2020年。探索人与机器人与老年人的互动：来自养老院十周案例研究的结果。2020年CHI计算机系统人为因素会议论文集。ACM出版社，美国夏威夷火奴鲁鲁，1-12。

数字图书馆

[14]

[14] Rich Caruana、Yin Lou、Johannes Gehrke、Paul Koch、Marc Sturm和Noemie Elhadad。2015.医疗保健智能模型：预测肺炎风险和医院30天再住院。2015年ACM SIGKDD知识发现和数据挖掘国际会议论文集。澳大利亚新南威尔士州悉尼ACM出版社，1721-1730年。

数字图书馆

[15]

[15] 郝岑（Hao Cen）、肯尼思·科丁格（Kenneth Koedinger）和布莱恩·容克（Brian Junker）。2006.学习因素分析——认知模型评估和改进的通用方法。2006年智能教学系统国际会议论文集。台湾Jhongli Springer，164-175。

数字图书馆

[16]

[16] Minsuk Chang、Mina Huh和Juho Kim。2021.RubySlippers：支持基于内容的语音导航，用于操作视频。2021年CHI计算机系统人为因素会议记录。ACM出版社，日本横滨，97:1–97:14。

数字图书馆

[17]

[17] Minsuk Chang、Anh Truong、Oliver Wang、Maneesh Agrawala和Juho Kim。2019.如何为指导视频设计基于语音的导航。在2019 CHI计算机系统中的人为因素会议记录中。ACM出版社，英国苏格兰格拉斯哥，701-712。

数字图书馆

[18]

[18] 陈彦春、李林杰、于立成、艾哈迈德·科利、费萨尔·艾哈迈德、哲甘、于成和刘晶晶。2020年，UNITER：UNUniversal Image-TExt表征学习。《2020年欧洲计算机视觉会议论文集》。虚拟施普林格，104-120。

数字图书馆

[19]

[19] C.周。1970。关于最佳识别错误和拒绝权衡。IEEE信息理论汇刊16，1（1970年1月），41-46。

数字图书馆

[20]

[20] 科琳娜·科尔特斯（Corinna Cortes）、朱利娅·迪萨尔沃（Giulia DeSalvo）和梅赫亚尔·莫赫里（Mehryar Mohri），2016年。以弃权来推动。2016年神经信息处理系统进展会议论文集。科伦协会，西班牙巴塞罗那，1660-1668年。

[21]

[21]本杰明·R。Cowan、Nadia Pantidi、David Coyle、Kellie Morrissey、Peter Clarke、Sara Al Shehri、David Earley和Natasha Bandeira。2017.“我能帮你什么？”：很少有用户体验智能个人助理。2017年移动设备和服务人机交互国际会议论文集。奥地利维也纳ACM出版社，43:1–43:12。

数字图书馆

[22]

[22]马丁·达内尔扬（Martin Danelljan）、卢克·范·古尔（Luc Van Gool）和拉杜·蒂莫夫特（Radu Timofte）。2020年，视觉跟踪的概率回归。2020年IEEE/CVF计算机视觉和模式识别会议论文集。IEEE PRess，虚拟，7183–7192。

[23]

[23]乔治·富梅拉（Giorgio Fumera）和法比奥·罗利（Fabio Roli）。2002.支持带有嵌入式拒绝选项的向量机。2002年支持向量机模式识别研讨会论文集。施普林格-柏林-海德堡，尼亚加拉大瀑布，加拿大安大略省，68-82。

[24]

[24]Yarin Gal和Zoubin Ghahramani。2016年，辍学作为贝叶斯近似：代表深度学习中的模型不确定性。2016年机器学习国际会议论文集。PMLR，美国纽约州纽约市，1050–1059。

[25]

[25]马丹·拉维·加内什（Madan Ravi Ganesh），杰森·J。Corso和Salimeh Yasaei Sekeh。2021.MINT：通过基于互信息的神经元修剪实现深层网络压缩。《2020年模式识别国际会议论文集》。虚拟施普林格，8251–8258。

[26]

[26]奥利维尔·加斯库尔和吉勒·卡劳。1992年。无分布性能边界与重新替代误差估计。模式识别快报13、11（1992年11月），757–764。

数字图书馆

[27]

[27]Yonatan Geifman和Ran El Yaniv。2017.深度神经网络的选择性分类。《2017年神经信息处理系统进展会议论文集》。Curran Associates，美国加利福尼亚州长滩，4878–4887。

[28]

[28]约纳坦·盖夫曼（Yonatan Geifman）和兰·埃尔亚尼夫（Ran El-Yaniv）。2019.SelectiveNet：具有综合拒绝选项的深度神经网络。2019年机器学习国际会议论文集。ACM出版社，美国加利福尼亚州长滩，2151–2159。

[29]

[29]郭川，吉奥夫·普莱斯，孙瑜和基里安Q。温伯格。2017年，关于现代神经网络的校准。2017年机器学习国际会议论文集。澳大利亚新南威尔士州悉尼市PMLR，1321-1330。

[30]

[30]丹娜·古拉里（Danna Gurari）和克里斯汀·格劳曼（Kristen Grauman）。2017年，CrowdVerge：预测人们是否会对视觉问题的答案达成一致。2017年CHI计算机系统人为因素会议论文集。美国科罗拉多州丹佛市ACM出版社，3511–3522。

数字图书馆

[31]

[31]Danna Gurari，Qing Li，Abigale J。Stangl、Anhong Guo、Chi Lin、Kristen Grauman、Jiebo Luo和Jeffrey P。比格姆。2018年，VizWiz大挑战：回答盲人的视觉问题。2018年IEEE/CVF计算机视觉和模式识别会议记录。IEEE出版社，美国犹他州盐湖城，3608–3617。

[32]

[32]穆罕默德·哈希亚特（Mohammad Haghiat）和马苏德·阿米尔卡比里·拉齐安（Masoud Amirkabiri Razian）。2014.Fast-FMI：非参考图像融合度量。2014年IEEE信息和通信技术应用国际会议论文集。IEEE出版社，法国巴黎，1-3。

[33]

[33]艾哈迈德·哈桑·阿瓦达拉赫（Ahmed Hassan Awadallah）、兰吉塔·古鲁纳特·库尔卡尼（Ranjitha Gurunath Kulkarni）、乌穆特·奥泽特姆（Umut Ozertem）和罗西·琼斯（Rosie Jones）。2015年，语音查询改革的特征描述和预测。2015年ACM国际信息和知识管理会议记录。澳大利亚维多利亚州墨尔本ACM出版社，543–552。

数字图书馆

[34]

[34]Jun Hatori、Yuta Kikuchi、Sosuke Kobayashi、Kuniyuki Takahashi、Yutha Tsuboi、Yuya Unno、Wilson Ko和Jethro Tan。2018.使用无约束口语指令交互式拾取现实世界对象。2018年IEEE机器人与自动化国际会议论文集。IEEE出版社，澳大利亚昆士兰布里斯班，3774-3781。

数字图书馆

[35]

[35]丽莎·安妮·亨德里克斯（Lisa Anne Hendricks）、凯莉·伯恩斯（Kaylee Burns）、凯特·桑科（Kate Saenko）、特雷弗·达雷尔（Trevor Darrell）和安娜·罗尔巴赫（Anna Rohrbach）。2018年，《女性也是滑雪板：克服模特字幕中的偏见》。2018年欧洲计算机虚拟化会议论文集。施普林格国际出版公司，德国慕尼黑，793–811。

数字图书馆

[36]

[36]詹妮弗·希尔、W·伦道夫·福特和英格丽·G。法拉拉斯。2015.与人工智能的真实对话：人-人在线对话与人-聊天机器人对话的比较。《人类行为中的计算机》49（2015年8月），245-250。

数字图书馆

[37]

[37]莫希特·贾恩（Mohit Jain）、拉马钱德拉·科塔（Ramachandra Kota）、普拉图什·库马尔（Pratyush Kumar）和什威塔克·N。帕特尔。2018.传达：探索聊天机器人上下文视图的使用。2018年CHI计算机系统人为因素会议论文集。ACM出版社，加拿大魁北克省蒙特利尔，1-6。

数字图书馆

[38]

[38]Suyog Dutt Jain和Kristen Grauman。2016年，点击雕刻：通过点击分割视频中的对象。2016年AAAI人类计算和众包会议记录。AAAI出版社，美国德克萨斯州奥斯汀，89-98。

[39]

[39]Sahar Kazemzadeh、Vicente Ordonez、Mark Matten和Tamara Berg.2014。ReferIt游戏：指的是自然场景照片中的物体。《2014年自然语言处理实证方法会议论文集》。计算语言学协会，卡塔尔多哈，787-798。

[40]

[40]Jong-Wook Kim、Young-Lim Choi、Sang-Hyun Jeong和Jeonghye Han。2022.一种带道德感测系统的护理机器人，适用于家中的老年人。传感器22、19（2022年10月）、7515。

[41]

[41]本杰明·孔帕（Benjamin Kompa）、贾斯珀·斯诺克（Jasper Snoek）和安德鲁·L。横梁。2021.需要第二种意见：交流医学机器学习中的不确定性。npj数字医学4，1（2021年12月），4。

[42]

[42]马特杰·克里斯坦（Matej Kristan）、吉里·马塔斯（Jiri Matas）、阿列舍·莱昂纳迪斯（AlešLeonardis）、托马斯·沃吉（Tomásh Vojíř）、罗曼·普夫卢格菲尔德（Roman Pflugfelder）、古斯塔沃·费尔南德斯（Gustavo Fernández）、乔治·。2016年，针对单目标跟踪器的新型性能评估方法。IEEE模式分析和机器智能汇刊38，11（2016年11月），2137–2155。

数字图书馆

[43]

[43]赖薇薇安（Vivian Lai）、卡顿（Samuel Carton）、巴特纳加（Rajat Bhatnagar）、廖维拉（Q Vera Liao）、张云峰（Yunfeng Zhang）和谭晨浩（Chenhao Tan）。2022.通过有条件授权进行人与人之间的协作：内容适度的案例研究。2022年CHI计算机系统人为因素会议记录。美国路易斯安那州新奥尔良ACM出版社，54:1–54:18。

数字图书馆

[44]

[44]Jaewook Lee、Jaylin Herskovitz、Yi-Hao Peng和Anhong Guo。2022.ImageExplorer：多层触摸探索，鼓励对AI生成的不完善图像字幕持怀疑态度。2022年CHI计算机系统人为因素会议记录。美国路易斯安那州新奥尔良ACM出版社，462:1-462:15。

数字图书馆

[45]

[45]Christian Leibig、Vaneeda Allken、Murat Seçkin Ayhan、Philipp Berens和Siegfried Wahl。2017.利用深度神经网络的不确定性信息进行疾病检测。科学报告7，1（2017年12月），1-14。

[46]

[46]Stephan J Lemmer和Jason J Corso。2021.基本事实或DAER：选择性重新查询次要信息。2021年IEEE/CVF国际计算机视觉会议论文集。IEEE出版社，虚拟版，703–714。

[47]

[47]斯蒂芬·J。Lemmer和Jason J。科尔索。2023.评估和改进与Hazy Oracles的互动。《2023年AAAI人工智能会议记录》。AAAI出版社，美国哥伦比亚特区华盛顿，9。

[48]

[48]斯蒂芬·J。Jean Y.Lemmer。Song和Jason J。科尔索。2021.通过自动重新查询为单目标跟踪器进行众包更有效的初始化。2021年CHI计算机系统人为因素会议记录。ACM出版社，虚拟版，391:1–391:13。

数字图书馆

[49]

[49]李清，陶清怡，沙菲克·乔蒂，蔡建飞，罗杰波。2018年，VQA-E：解释、细化和增强视觉问题的答案。2018年欧洲计算机视觉会议论文集。德国慕尼黑施普林格，570-586。

数字图书馆

[50]

[50]林宗毅、迈克尔·梅尔、谢尔盖·贝隆吉、卢博米尔·波德夫、罗斯·吉希克、詹姆斯·海斯、彼得罗·佩罗纳、德瓦·拉马南、C.劳伦斯·齐特尼克和彼得罗·多拉。2014.微软COCO:上下文中的通用对象。2014年欧洲计算机视觉会议论文集。瑞士苏黎世施普林格，740-755。

[51]

[51]布莱恩·卢塞纳。2018.基于样条的概率校准。

[52]

[52]埃瓦·卢格（Ewa Luger）和阿比盖尔·塞伦（Abigail Sellen）。2016年，“就像有一个非常糟糕的PA”：用户期望和会话代理体验之间的鸿沟。2016年CHI计算机系统人为因素会议记录。美国加利福尼亚州圣何塞ACM出版社，5286–5297。

数字图书馆

[53]

[53]海莉·麦克劳德（Haley MacLeod），辛西娅·L·。Bennett、Meredith Ringel Morris和Edward Cutrell。2017.通过社交媒体图像的电脑生成字幕了解盲人的经历。2017年CHI计算机系统人为因素会议论文集。美国科罗拉多州丹佛市ACM出版社，5988–5999。

数字图书馆

[54]

[54]Aroma Mahendru、Viraj Prabhu、Akrit Mohapatra、Dhruv Batra和Stefan Lee。2017年，《前提的承诺：在视觉问答中利用问题前提》，载于2017年自然语言处理实证方法会议论文集。计算语言学协会，丹麦哥本哈根，926-935。

[55]

[55]瓦伦·曼朱纳塔（Varun Manjunatha）、尼拉特·赛尼（Nirat Saini）和拉里·塞尼（Larry S。戴维斯。2019.视觉问答模型中的显性偏见发现。2019年IEEE/CVF计算机视觉和模式识别会议。IEEE PRess，美国加利福尼亚州长滩，9554–9563。

[56]

[56]毛俊华（Junhua Mao）、黄乔纳森（Jonathan Huang）、亚历山大·托舍夫（Alexander Toshev）、奥纳·坎布鲁（Oana Camburu）、阿兰·尤耶（Alan Yuille）和凯文·墨菲。2016.无歧义对象描述的生成和理解。2016年IEEE计算机视觉和模式识别会议记录。IEEE出版社，美国内华达州拉斯维加斯，11–20。

[57]

[57]Oier Mees和Wolfram Burgard。2020年。通过基础语言编写挑选任务。2020年实验机器人国际研讨会论文集。斯普林格，拉瓦莱塔，马耳他，491-501。

[58]

[58]阿扎德赫·萨达特·莫扎法里（Azadeh Sadat Mozafari）、雨果·西奎拉·戈麦斯（Hugo Siqueira Gomes）、威尔逊·莱昂（Wilson Leáo）、斯蒂文·詹尼（Steeven Janny）和克里斯蒂安·加涅。2018年。参加温度标度：校准深层神经网络的实用方法。

[59]

[59]Caio Mucchiani、Pamela Cacchione、Michelle Johnson、Ross Mead和Mark Yim。2021.部署社交辅助机器人，用于评估新冠肺炎症状和老年人护理环境中的暴露情况。2021年IEEE机器人与人类交互通信国际会议论文集。IEEE出版社，虚拟版，1189–1195。

数字图书馆

[60]

[60]安·T。Nguyen、Aditya Kharosekar、Saumyaa Krishnan、Siddhesh Krishna、Elizabeth Tate、Byron C。华莱士和马修·莱斯。2018年。信不信由你：为混合的积极事实核查设计一个人与人之间的伙伴关系。2018年ACM用户界面软件和技术年度研讨会论文集。ACM出版社，德国柏林，189-199。

数字图书馆

[61]

[61]莫特扎·诺沙德（Morteza Noshad）、于曾（Yu Zeng）和阿尔弗雷德·O。英雄III。2019.使用依赖图的可伸缩互信息估计。2019年IEEE声学、语音和信号处理国际会议论文集。IEEE出版社，英国布莱顿，2962-2966。

[62]

[62]丹尼尔·尼加（Daniel Nyga）、苏布罗·罗伊（Subhro Roy）、罗汉·保罗（Rohan Paul）、大英公园（Daehyung Park）、米哈·波马兰（Mihai Pomarlan）、迈克尔·贝茨（Michael Beetz）和尼古拉斯·罗伊。2018年，接地机器人计划基于不完全世界知识的自然语言指令。2018年机器人学习会议记录。瑞士苏黎世PMLR，714-723。

[63]

[63]阿米莉亚·伊丽莎白·波拉德和乔纳森·L。夏皮罗。2020.视觉问答作为一个多任务问题。

[64]

[64]Prakruthi Prabhakar、Nitish Kulkarni和Linghao Zhang。2018.视觉问答中的问题相关性。

[65]

[65]Maithra Raghu、Katy Blumer、Rory Sayres、Ziad Obermeyer、Robert Kleinberg、Sendhil Mullainathan和Jon Kleinberg。2019。医学第二意见的直接不确定性预测。2019年机器学习国际会议论文集。美国加州长滩ACM出版社，5281–5290。

[66]

[66]普拉纳夫·拉杰普卡尔（Pranav Rajpurkar）、张健（Jian Zhang）、康斯坦丁·洛佩列夫（Konstantin Lopyrev）和珀西·梁（Percy Liang）。2016.SkuAD:100000多个机器理解文本的问题。2016年自然语言处理实证方法会议论文集。计算语言学协会，美国德克萨斯州奥斯汀，2383-2392。

[67]

[67]马可·图利奥·里贝罗（Marco Tulio Ribeiro）、萨米尔·辛格（Sameer Singh）和卡洛斯·古斯特林（Carlos Guestrin），2016年。“我为什么要相信你？”：解释任何分类器的预测。2016年ACM SIGKDD知识发现和数据挖掘国际会议论文集。美国加利福尼亚州旧金山ACM出版社，1135-1144。

数字图书馆

[68]

[68]凯利·里弗斯（Kelly Rivers）、埃里克·哈普斯泰德（Erik Harpstead）和肯·科丁格（Ken Koedinger）。2016年，《编程学习曲线分析：学生与哪些概念斗争？》？。2016年美国计算机学会国际计算教育研究会议论文集。澳大利亚维多利亚州墨尔本ACM出版社，143-151。

数字图书馆

[69]

[69]卢卡斯·罗森布拉特（Lucas Rosenblatt）、帕特里克·卡林顿（Patrick Carrington）、科塔罗·哈拉（Kotaro Hara）和杰弗里·P。比格姆。2018年，上身运动障碍患者的声乐节目。2018年国际万维网大会论文集。法国里昂ACM出版社，30:1–30:10。

数字图书馆

[70]

[70]埃米尔·罗森菲尔德（Amir Rosenfeld）、理查德·泽梅尔（Richard Zemel）和约翰·K·。特索斯。2018年，房间里的大象。

[71]

[71]Shumpei Sano、Nobuhiro Kaji和Manabu Sassano。2017.预测智能助理改革的原因。2017年SIGdial年度对话与对话会议记录。计算语言学协会，德国萨尔布吕肯，299-309。

[72]

[72]兰普拉萨特R。Selvaraju、Michael Cogswell、Abhishek Das、Ramakrishna Vedantam、Devi Parikh和Dhruv Batra。2020年，Grad-CAM：通过基于梯度的本地化从深度网络中进行可视化解释。国际计算机视觉杂志128，2（2020年2月），336–359。

数字图书馆

[73]

[73]普拉图沙·夏尔马（Pratyusha Sharma）、巴拉库马尔·桑达拉林加姆（Balakumar Sundalingam）、瓦尔茨·布卢基斯（Valts Blukis）、克里斯·帕克斯顿（Chris Paxton）、塔克·赫尔曼斯（Tucker Hermans）、安东尼奥·托拉尔巴（Antonio Torralba）、。2022.用自然语言反馈纠正机器人计划。《2022年机器人科学与系统会议论文集》。麻省理工学院出版社，纽约，美国纽约，1-12。

[74]

[74]莫希特·施里达尔（Mohit Shridhar）和大卫·徐（David Hsu）。2018.人机交互参考表达的交互式视觉基础。《机器人学：科学与系统》2018年版。麻省理工学院出版社，美国宾夕法尼亚州匹兹堡，1-9。

[75]

[75]克里斯蒂安·塞格迪（Christian Szegedy）、沃伊西奇·扎伦巴（Wojciech Zaremba）、伊利亚·萨茨克弗（Ilya Sutskever）、琼·布鲁纳（Joan Bruna）、杜米特鲁·埃尔汉（Dumitru Erhan）、伊恩·古德费罗（I。2014.神经网络的有趣特性。2014年学习代表国际会议论文集。OpenReview，加拿大阿尔伯塔省班夫，10。

[76]

[76]瑞安·斯泽托（Ryan Szeto）和杰森·J。科尔索。2017.点击此处：人性化关键点作为视点估算指南。2017 IEEE/CVF计算机视觉国际会议论文集。IEEE出版社，意大利威尼斯，1604-1613年。

[77]

[77]豪尔赫·桑切斯（Jorge Sánchez）、毛里西奥·马祖科斯（Mauricio Mazuecos）、埃尔南·梅纳（Hernán Maina）和卢西亚娜·贝诺蒂（Luciana Benotti）。2022.参考分辨率模型会产生什么样的错误，我们可以从中吸取什么教训？。2022年，计算语言学协会的发现。ACL出版社，美国华盛顿州西雅图，1971年至1986年。

[78]

[78]杰西·托马森（Jesse Thomason）、迈克尔·默里（Michael Murray）、玛亚·卡克马克（Maya Cakmak）和卢克·泽特莫耶（Luke Zettlemoyer）。2020年。视觉与对话导航。《2020年机器人学习会议论文集》。PMLR，虚拟，394–406。

[79]

[79]Kohei Uehara、Nan Duan和Tatsuya Harada。2022.学习提出信息性子问题以进行可视化问题回答。2022年IEEE/CVF计算机视觉和模式识别研讨会会议记录。IEEE出版社，美国路易斯安那州新奥尔良，4681–4690。

[80]

[80]贾斯珀R.R。Uijlings、Mykhaylo Andriluka和Vittorio Ferrari，2020年。具有协作助手的全景图像注释。《2020年ACM多媒体国际会议论文集》。ACM出版社，虚拟版，3302–3310。

数字图书馆

[81]

[81]英国皇家。瓦什尼。2011.具有拒绝选项的集合分类的风险。2011年IEEE统计信号处理研讨会。IEEE出版社，法国尼斯，769–772。

[82]

[82]戴维·维德曼（David Widmann）、弗雷德里克·林德斯滕（Fredrik Lindsten）和戴夫·扎卡里亚（Dave Zachariah）。2019.《多类分类的校准测试：统一框架》，《2019年神经信息处理系统进展会议论文集》。Curran Associates，加拿大不列颠哥伦比亚省温哥华，12236-12246。

[83]

[83]Xuhai Xu，Jun Gong，Carolina Brum，Lilian Liang，Bongsoo Suh，Kumar Gupta，Yash Agarwal，Laurence Lindsey，Runchang Kang，Behrooz Shahsavari，Tu Nguyen，Heriberto Nieto，Scott E。哈德森、查理·马洛夫、赛义德·穆萨维和吉拉德·拉普特。2022.在腕带设备上实现手势定制。在2022年CHI计算机系统中的人为因素会议记录中。美国路易斯安那州新奥尔良ACM出版社，496:1-496:19。

数字图书馆

[84]

[84]山本孝志、田田浩二、大木昭史、斋藤富美、浅原义明和村上春树。2019.开发人体支持机器人，作为家用移动机械手的研究平台。ROBOMECH杂志6，1（2019年12月），4。

[85]

[85]杨凯瑜，克林特·齐纳米，李飞飞，贾登，奥尔加·鲁萨科夫斯基。2020年。实现更公平的数据集：过滤和平衡ImageNet层次结构中人员子树的分布。《2020年公平、问责制和透明度会议记录》。西班牙巴塞罗那ACM出版社，547-558。

数字图书馆

[86]

[86]詹妮弗·萨莫拉。2017年。对不起，戴夫，我恐怕我做不到：聊天机器人的认知和期望。2017年人类-智能体交互国际会议论文集。ACM出版社，德国比勒费尔德，253-260。

数字图书馆

[87]

[87]张云峰，廖维拉，雷切尔K.E。贝拉米。2020年，在人工智能辅助决策中，信心和解释对准确性和信任校准的影响。《2020年公平、问责制和透明度会议记录》。西班牙巴塞罗那ACM出版社，295-305。

数字图书馆

[88]

[88]赵亚西、拉赞·贾伯、唐纳德·麦克米兰和科斯敏·蒙蒂努。2022.“回到肉的抖动部分”：理解日常任务中教学视频的语音控制。2022年CHI计算机系统人为因素会议记录。ACM出版社，美国洛杉矶新奥尔良，58:1–58:11。

数字图书馆

引用人

钱C韦克斯勒J(2024)接受、放弃或修复：衡量人与人之间合作的生产力和信任度第29届智能用户界面国际会议记录10.1145/3640543.3645198(370-384)在线发布日期：2024年3月18日
https://dl.acm.org/doi/10.1145/3640543.3645198
高JGebregziabher S公司Choo K公司李·T佩罗特S马龙T(2024)人-LLM交互模式的分类初探2024年CHI计算机系统人为因素会议的扩展摘要10.1145/3613905.3650786(1-11)在线发布日期：2024年5月11日
https://dl.acm.org/doi/10.1145/3613905.3650786

索引术语

以人为中心的延迟推理：测量用户交互并为人工智能团队设定延迟标准
1. 计算方法
  1. 人工智能
    1. 自然语言处理
2. 以人为中心的计算
  1. 人机交互（HCI）
    1. HCI实证研究
    2. 交互范例
      1. 自然语言界面

建议

描述和预测电子邮件延迟行为
WSDM’19：第十二届ACM网络搜索和数据挖掘国际会议论文集

电子邮件分类包括检查未处理的电子邮件并决定如何处理它们。随着未处理电子邮件数量的增长，这个熟悉的过程可能会变得越来越具有挑战性。在分类会话期间，用户通常会推迟处理。。。
阅读更多信息
SkeletonGAN：人-物交互的精细姿势合成
ICMVA’23：2023年第6届机器视觉与应用国际会议记录

由于人体具有复杂和多功能的表现形式，因此合成人-物交互（HOI）是一个具有挑战性的问题。现有的解决方案可以很好地生成单个对象或面，但在生成时仍然面临困难。。。
阅读更多信息
分析人与人之间的互动：一项调查
摘要
许多视频描述了人，正是他们的互动让我们了解了他们的活动、彼此之间的关系以及文化和社会背景。随着人类行为识别技术的进步，研究人员已经开始研究。。。
集锦
- 基于视觉的人-人交互识别文献的综合调查。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

IUI’23：第28届智能用户界面国际会议记录

2023年3月

972页

国际标准图书编号：9798400701061

内政部：10.1145/3581641

版权所有©2023所有者/作者。

本作品根据Creative Commons Attribution International 4.0许可证授权。

赞助商

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2023年3月27日

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

会议

IUI’23年

主办单位：

IUI'23:第28届智能用户界面国际会议

2023年3月27日至31日

新南威尔士州、悉尼、澳大利亚

接受率

2811份提交文件中的总体接受率为746份，占27%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章度量标准

2
引文总数
查看引文
580
总下载次数

下载次数（过去12个月）490
下载量（最近6周）41

其他指标

查看作者指标

引文

引用人

钱C韦克斯勒J(2024)接受、放弃或修复：衡量人类人工智能协作的生产力和信任第29届智能用户界面国际会议记录10.1145/3640543.3645198(370-384)在线发布日期：2024年3月18日
https://dl.acm.org/doi/10.1145/3640543.3645198
高JGebregziabher S公司Choo K公司李·T佩罗特S马龙T(2024)人-LLM交互模式的分类初探2024年CHI计算机系统人为因素会议的扩展摘要10.1145/3613905.3650786(1-11)在线发布日期：2024年5月11日
https://dl.acm.org/doi/10.1145/3613905.3650786

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

HTML格式格式

在中查看本文HTML格式格式。

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子