解释原因:在标记文本数据时,指令和用户界面如何影响注释器的基本原理

小贾马尔·沙利文。,威尔·布拉肯伯里,安德鲁·麦克纳特,凯文·布赖森,夸姆拜尔,陈玉欣(Yuxin Chen),利特曼,陈浩谭,Blase Ur公司


摘要
在数据标记的背景下,NLP研究人员越来越感兴趣的是让人类选择基本原理,这是与所选标签相关的输入标记的子集。我们进行了一项332名参与者的在线用户研究,以了解人类如何选择理性,特别是不同的指令和用户界面可供性如何影响所选择的理性。参与者将十篇电影评论分为正面评论和负面评论,并选择支持其标签的单词和短语作为理由。我们改变了给出的指令、定量选择任务和用户界面。参与者通常选择大约12%的输入令牌作为基本原理,但如果无法同时拖动多个令牌,则选择较少。尽管参与者的数据标签几乎一致,但他们的理论基础却远不一致。用户界面的启示和任务极大地影响了所选择的基本原理类型。我们还观察到参与者之间存在很大差异。
选集ID:
2022.naacl-main.38年
体积:
计算语言学协会北美分会2022年会议记录:人类语言技术
月份:
七月
年份:
2022
地址:
美国西雅图
编辑:
海洋木瓜,玛丽·凯瑟琳·德·马内夫,伊万·弗拉基米尔·梅扎·鲁伊斯
地点:
NAACL公司
SIG公司:
出版商:
计算语言学协会
注:
页:
521–531
语言:
网址:
https://aclantology.org/2022.naacl-main.38
内政部:
10.18653/v1/2022.naacl-main.38
比比键:
引用(ACL):
Jamar Sullivan Jr.、Will Brackenbury、Andrew McNutt、Kevin Bryson、Kwam Byll、Yuxin Chen、Michael Littman、Chenhao Tan和Blase Ur。2022解释原因:在标记文本数据时,指令和用户界面如何影响注释器的基本原理.英寸计算语言学协会北美分会2022年会议记录:人类语言技术,第521-531页,美国西雅图。计算语言学协会。
引用(非正式):
解释原因:在标记文本数据时,指令和用户界面如何影响注释器的基本原理(Sullivan Jr.等人,美国有色人种协进会2022)
复制引文:
PDF格式:
https://aclantology.org/2022.naacl-main.38.pdf
软件:
2022.naacl-main.38.软件.zip
视频:
 https://aclantology.org/2022.naacl-main.38.mp4网址