KuaiSim：推荐系统的综合模拟器

的一部分神经信息处理系统进展36（NeurIPS 2023）数据集和基准跟踪

作者

赵克森、刘舒畅、蔡庆鹏、赵祥宇、刘子如、董正、姜鹏、坤盖

摘要

基于强化学习（RL）的推荐系统（RS）由于能够学习最佳推荐策略和最大化长期用户回报而受到了广泛关注。然而，直接在在线环境中部署RL模型并通过A/B测试生成真实数据可能会带来挑战，并且需要大量资源。模拟器通过为RS模型提供训练和评估环境，减少对真实数据的依赖，提供了一种替代方法。现有模拟器已显示出良好的结果，但也存在局限性，如简化的用户反馈、缺乏与真实数据的一致性、模拟器评估的挑战以及跨RS迁移和扩展的困难。为了应对这些挑战，我们建议使用KuaiSim，这是一个综合的用户环境，可以通过多行为和跨会话响应提供用户反馈。生成的模拟器可以支持三个级别的推荐问题：请求级列表式推荐任务、全会话级顺序推荐任务和跨会话级保留优化任务。对于每项任务，KuaiSim还提供了评估协议和基线建议算法，进一步用作未来研究的基准。我们还重组了Kuairand数据集上现有的竞争模拟器，并将其与KuaiSim进行比较，以评估其性能和行为差异。此外，为了展示KuaiSim在容纳不同数据集方面的灵活性，我们展示了其在ML-1m数据集上部署时的多功能性和稳健性。实现代码可在线获取，以简化再现性\脚注{https://github.com/Applied-Machine-Learning-Lab/KuaiSim（应用机器学习实验室）}.