计算机科学>计算与语言
职务: 基于什么? 基于结构化比较推理的文本偏好预测
摘要: 比较推理在文本偏好预测中起着至关重要的作用; 然而,大型语言模型(LLM)往往在推理中表现出不一致性。 虽然像思想链这样的方法可以在许多其他环境中提高准确性,但它们很难始终区分复杂文本的相似性和差异性。 我们引入SC,这是一种通过生成结构化中间比较来预测文本偏好的提示方法。 SC首先提出比较的方面,然后在每个方面下生成文本比较。 我们使用两两一致性比较器选择一致性比较,确保每个方面的比较清楚地区分文本之间的差异,显著减少幻觉并提高一致性。 我们对各种NLP任务(包括摘要、检索和自动评分)的综合评估表明,SC使LLM在文本偏好预测方面达到了最先进的性能。