为人-代理对齐进行设计：了解人类想要从他们的代理那里获得什么

我们构建利用Generative AI的自主代理的能力与日俱增。作为此类代理的构建者和用户，在代理开始代表我们执行任务之前，我们不清楚需要调整哪些参数。为了发现这些参数，我们进行了一项定性实证研究，研究对象是设计能够在虚拟但相关的在线销售相机任务中进行谈判的代理。我们发现，要让代理成功执行任务，人类/用户和代理需要在6个维度上进行协调：1）知识架构协调2）自主性和代理协调3）运营协调和培训4）声誉启发协调5）道德协调和6）人的参与协调。这些经验性研究结果扩展了以往与工艺和规范一致性以及人与人工智能交互中的价值观和安全需求相关的工作。随后，我们讨论了设计师的三个设计方向，他们正在想象一个充满人-代理协作的世界。