S公司ee公司GULL公司：利用生成模型进行广泛地理文化覆盖的定型基准

Akshita Jha公司,艾达·穆斯塔法扎德·达瓦尼,Chandan K Reddy公司,沙奇·戴夫,维诺德库马尔·普拉巴卡兰,Sunipa Dev公司

摘要
刻板印象基准数据集对于检测和缓解NLP模型中关于人群的社会刻板印象至关重要。然而，现有的数据集在规模和覆盖面上都有限，基本上局限于西方社会普遍存在的陈规定型观念。随着语言技术在全球范围内的普及，这一点尤其成问题。为了解决这一差距，我们提出了SeeGULL，这是一个广泛的刻板印象数据集，它是通过利用大型语言模型（如PaLM和GPT-3）的生成能力，并利用全球多样化的评分员库来验证这些刻板印象在社会中的普遍性而建立的。SeeGULL是英文的，它包含了关于跨越6大洲8个不同地缘政治区域的178个国家的身份群体的刻板印象，以及美国和印度的国家级身份。我们还包括不同刻板印象的细粒度进攻得分，并展示了它们的全球差异。此外，我们还包括了居住在该地区的解说员与居住在北美的解说员对同一群体的比较解说，并证明了区域内对群体的定型观念与北美流行的定型观念不同。
选集ID：
2023.acl长548
音量：
计算语言学协会第61届年会论文集（第一卷：长篇论文）
月份：
七月
年份：
2023
地址：
加拿大多伦多
编辑：
安娜·罗杰斯,乔丹·博伊德·格雷伯,冈崎直（Naoaki Okazaki）
地点：
国际计算语言学协会
SIG公司：
发布者：
计算语言学协会
注：
页：
9851–9870
语言：
网址：
https://aclantology.org/2023.acl-long.548
内政部：
10.18653/v1/2023.acl长度548
比比键：
引用（ACL）：
Akshita Jha、Aida Mostafazadeh Davani、Chandan K Reddy、Shachi Dave、Vinodkumar Prabhakaran和Sunipa Dev.2023。SeeGULL：利用生成模型进行广泛地理文化覆盖的定型基准.英寸计算语言学协会第61届年会论文集（第一卷：长篇论文），第9851–9870页，加拿大多伦多。计算语言学协会。
引用（非正式）：
SeeGULL：利用生成模型进行广泛地理文化覆盖的定型基准（Jha等人，ACL 2023）
复制引文：
PDF格式：
https://aclcollectory.org/2023.acl-long.548.pdf
视频：
 https://aclantology.org/2023.acl-long.548.mp4
PDF格式 引用 搜索 视频