计算机科学>人机交互
标题: 制宪者:通过将反馈转化为原则,对大型语言模型进行交互评判
摘要: 大型语言模型(LLM)提示是用户创建和定制自己的聊天机器人的一种很有前途的新方法。 然而,当前用于控制聊天机器人输出的方法,如提示工程和微调,不支持用户将其对模型输出的自然反馈转换为提示或模型中的更改。 在这项工作中,我们探索了如何通过帮助用户将其反馈转化为一组指导模型行为的原则(即构成),从而使用户能够通过反馈交互地优化模型输出。 通过一项形成性研究,我们(1)发现用户需要支持将其反馈转化为聊天机器人的原则,(2)对用户所需的不同原则类型进行分类。 受这些发现的启发,我们开发了ConstitutionMaker,这是一种将用户反馈转化为原则的交互式工具,用于引导基于LLM的聊天机器人。 使用ConstitutionMaker,用户可以用自然语言提供正面或负面反馈,选择自动生成的反馈,或重写聊天机器人的响应; 每种反馈模式都会自动生成一个原则,并将其插入聊天机器人的提示符中。 在一项由14名参与者参与的用户研究中,我们将ConstitutionMaker与消融版本进行了比较,用户在消融版本中编写自己的原则。 有了ConstitutionMaker,参与者觉得他们的原则可以更好地指导聊天机器人,他们可以更容易地将反馈转化为原则,他们可以用更少的精神需求更高效地编写原则。 ConstitutionMaker帮助用户确定改进聊天机器人的方法,将他们对模型的直观反应转化为反馈,并将此反馈转化为具体明确的原则。 总之,这些发现为支持LLM输出的交互式评论的未来工具提供了信息。