基于语言模型的无监督对比一致排序

尼古拉斯·斯托尔,鹏翔程,王静（音译）,丹尼尔·普雷奥蒂奇·皮埃特罗,拉贾什·博瓦米克

摘要
语言模型包含基于等级的知识，是上下文排序任务的强大解决方案。例如，他们可能对国家大小排序有参数化知识，或者可能能够根据情绪对产品评论进行排名。我们比较了成对提示、点提示和列表提示技术来引出语言模型的排名知识。然而，我们发现，即使经过仔细的校准和约束解码，基于提示的技术在产生的排名中也可能并不总是自洽的。这促使我们探索一种替代方法，这种方法是受一种称为对比一致搜索（CCS）的无监督探测方法的启发。这个想法是训练一个由逻辑约束引导的探查器：语言模型对语句及其否定的表示必须映射到跨多个语句一致的对比真-假极点。我们假设类似的约束条件适用于通过一致、成对或列表比较关联所有项目的排序任务。为此，我们将二进制CCS方法扩展为对比一致性排序（CCR），方法是采用现有的排序方法，如最大边际损失、三重损失和序数回归目标。在不同的模型和数据集中，我们的结果证实CCR探测性能更好，或者至少与提示相当。
选集ID：
2024.每个长度54
体积：
计算语言学协会欧洲分会第18届会议记录（第1卷：长篇论文）
月份：
三月
年份：
2024
地址：
马耳他圣朱利安
编辑：
伊维特·格雷厄姆,马修·普弗
地点：
EACL公司
SIG公司：
出版商：
计算语言学协会
注：
页：
900–914
语言：
网址：
https://aclantology.org/2024.eacl-long.54
内政部：
比比键：
引用（ACL）：
Niklas Stoehr、Pengxiang Cheng、Jing Wang、Daniel Preotiuc-Pietro和Rajarshi Bhowmik。2024基于语言模型的无监督对比一致排序.英寸计算语言学协会欧洲分会第18届会议记录（第1卷：长篇论文），第900-914页，马耳他圣朱利安。计算语言学协会。
引用（非正式）：
基于语言模型的无监督对比一致排序（Stoehr等人，EACL 2024）
复制引文：
PDF格式：
https://aclantology.org/2024.eacl-long.54.pdf
软件：
2024.eacl-long.54.software.zip
注：
2024.每件长54.note.zip
视频：
 https://aclantology.org/2024.eacl-long.54.mp4
PDF格式 引用 搜索 软件 注释 视频