这个克里奇失落：学习不应该模仿的语言

伦纳德·阿道夫,天宇高,景旭,库尔特·舒斯特,桑巴亚尔·苏赫巴托,杰森·韦斯顿

摘要
标准语言模型训练使用黄金人类文档或人机交互数据，并将所有训练数据视为正面示例。越来越多的证据表明，即使有非常大量的积极训练数据，问题仍然存在，可以通过相对少量的消极数据来缓解，这些数据是模型不应该做的示例。在这项工作中，我们提出了一种用这种数据进行训练的新程序，称为“CRINGE”损失（ContRastive迭代负生成）。我们通过三个不同的实验证明了该方法在安全生成、避免矛盾和开放域对话任务中的有效性。我们的模型优于多个强大的基线，概念简单，易于训练和实现。
选集ID：
2023.acl长493
体积：
计算语言学协会第61届年会论文集（第一卷：长篇论文）
月份：
七月
年份：
2023
地址：
加拿大多伦多
编辑：
安娜·罗杰斯,乔丹·博伊德·格雷伯,冈崎直（Naoaki Okazaki）
地点：
国际计算语言学协会
SIG公司：
发布者：
计算语言学协会
注：
页：
8854–8874
语言：
网址：
https://aclantology.org/2023.acl-long.493
DOI（操作界面）：
10.18653/v1/2023.acl长493
比比键：
引用（ACL）：
莱昂纳德·阿道夫（Leonard Adolphs）、高天宇（Tianyu Gao）、徐静（Jing Xu）、库尔特·舒斯特（Kurt Shuster）、桑巴亚尔·苏赫巴托（Sainbayar Sukhbaatar）和杰森·韦斯顿（Jason Weston）。2023危机的失落：学习不应该模仿的语言.英寸计算语言学协会第61届年会论文集（第一卷：长篇论文），第8854–8874页，加拿大多伦多。计算语言学协会。
引用（非正式）：
危机损失：学习什么语言不值得模仿（Adolphs等人，ACL 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.acl-long.493.pdf
视频：
 https://aclantology.org/2023.acl-long.493.mp4
PDF格式 引用 搜索 视频