Elliot：一个全面而严格的可复制推荐系统评估框架

@第{条Anelli2021ElliotAC，title={Elliot:可复制推荐系统评估的全面而严格的框架}，作者={维托·沃尔特·阿内利（Vito Walter Anelli）、亚历杭德罗·贝洛金（Alejandro Bellog’in）、安东尼奥·费拉拉（Antonio Ferrara）、丹尼尔·马利斯塔（Daniele Maliesta）、费利斯·安东尼奥·梅拉（Felice Antonio Merra）、克劳迪奥·波莫（Claudio Po，journal={第44届国际ACM SIGIR信息检索研究与开发会议论文集}，年份={2021}，网址={https://api.semanticscholar.org/CorpusID:232105109}}
Elliot是一个全面的推荐框架，旨在通过处理一个简单的配置文件来运行和复制整个实验管道，并优化几种推荐算法的超参数。
ACM上的视图
[PDF]语义阅读器
82引文
极具影响力的引文
5
背景引文
32
方法引文
41
结果引文
2

本文图表

询问这篇论文
贝塔
AI供电

我们的系统试图限制本文中找到的信息。结果质量可能有所不同。了解更多信息关于我们如何产生这些答案。

82引文

BARS：为推荐系统建立开放基准

该倡议项目提出了一个旨在为推荐系统建立开放基准的倡议项目，该项目为可重复研究建立了一个标准化的基准管道，其中集成了有关数据集、源代码、超参数设置、运行日志和评估结果的所有详细信息。

DaisyRec 2.0：严格评估的基准建议

阐明了推荐评估中的问题，提供了严格评估的潜在解决方案，并进行了整体实证研究，以揭示不同超因素对推荐绩效的影响。

V-Elliot：设计、评估和调整视觉推荐系统

Visual-Elliot（V-Elliot）是基于Elliot的视觉推荐系统（VRS）的再现性框架，它提供了一组扩展的功能，以简化新型VRS到V-Ell-Elliot中的设计、测试和集成。

我们要从这里走到哪里？离线推荐者评估指南

本文详细研究了推荐系统研究中关于不确定性估计、泛化、超参数优化和数据集预处理的四个较大问题，以得出一套指导原则，并提出了一个TrainRec，一个轻量级且灵活的工具包，用于实现这些准则的推荐系统的离线培训和评估。

揭示Top-N度量对推荐系统优化的潜在影响

这项工作详尽地评估了除了选择top-n之外的250种选择策略的预测性能，以表明除了top-n之外，还存在提高各种算法和推荐域的预测性能的选择策略。

EasyStudy：在推荐系统上轻松部署用户研究的框架

EasyStudy是一个建立在“让简单的事情变得快速，让困难的事情成为可能”信条之上的模块化框架，它大大缩小了离线评估与用户研究之间的差距，并可能有助于对下一代RS进行更可靠、更具洞察力的以用户为中心的评估。

RecStudio：走向高度模块化的推荐系统

在RecStudio库中，这项工作开发了一个高度模块化的推荐系统——RecStudio，在该系统中，任何推荐算法都被分类为ranker或retriever，包括其他库中的通用算法和涉及多个推荐模型的复杂算法。

推荐系统中的组验证：多层绩效评估框架

一种新的方法，称为推荐者的组验证，有助于发现系统数据的紧凑子集中的关键性能变化，并揭示预测中的隐藏弱点，在典型的评估方法中，这些不利变化通常不会引起注意。

Top-N推荐算法离线评价的再研究

本文从三个方面对评价推荐系统的六个重要因素进行了大规模、系统的研究，并提供了几个对性能比较特别重要的建议设置。

iRec：一个交互式推荐框架

这项工作提出了一个名为iRec的交互式RS框架，该框架通过遵循主要的RS指南涵盖了整个实验过程，并包含几个最先进的算法、超参数调整模块、不同的评估指标、不同的结果可视化方法和统计验证。
...

116参考文献

竞争对手：在推荐系统评估中促进再现性的工具包

本文介绍了RiVal的一些功能，并逐步介绍了如何使用RiVal评估任何建议框架的结果，确保结果具有可比性和可重复性。

我们在严格评估吗？可复制评估和公平比较的基准建议

本文系统地回顾了八次顶级会议上发表的85篇推荐论文，并使用标准化程序创建了基准，并在六个广泛使用的数据集上提供了六个指标中七个经过良好调整的最新技术的性能，以供日后研究参考。

比较推荐系统评估：基准推荐框架

这项工作比较了三个流行的推荐框架中实现的常见推荐算法，并表明在报告推荐系统的评估时有必要制定明确的指南，以确保结果的再现性和比较性。

OpenRec：可扩展和自适应推荐算法的模块化框架

这项工作提出了OpenRec，这是一个开放的模块化Python框架，支持在推荐系统中进行可扩展和适应性研究，并证明OpenRec在保持培训效率和推荐准确性的同时提供了适应性、模块化和可重用性。

RecBole：建立统一、全面和高效的推荐算法框架

一个统一、全面、高效的推荐系统库，名为RecBole（发音为[rEk'boUl@r])，它提供了一个统一的框架来开发和复制用于研究目的的推荐算法，并提供了一系列辅助功能、工具和脚本来促进此库的使用。

重新思考推荐者研究生态系统：再现性、开放性和LensKit

LensKit的实用性通过复制和扩展一组推荐算法的先前比较研究来证明，并调查了推荐系统社区中的一位领导人最近就基于错误的预测评估问题提出的一个问题。

时间软件推荐系统：对现有评估协议的综合调查和分析

对时间感知推荐系统（TARS）的最新技术进行了全面调查和分析，并提出了一个方法描述框架，旨在使评估过程公平且可重复。

用于推荐模型评估的数据拆分策略探讨

结果表明，所采用的分割策略是一个重要的混淆变量，它可以显著改变推荐系统的排名，使当前发布的许多文献不具有可比性，即使使用相同的数据集和指标。

基线评估的难点：推荐系统研究

研究表明，恰当地运行基线是困难的，研究论文中的实证结果是有疑问的，除非它们是在标准化基准上获得的，而这些基准已被研究界广泛调整。

Cornac：多模式推荐系统的比较框架

Cornac是一个用于多模式推荐系统的开放源码Python框架，它强调推荐模型，这些模型利用社交网络、项目文本描述、产品图像等形式的辅助信息。
...