锦标赛标记

作为一个社交书签系统，为资源分配标签是BibSonomy最重要、最频繁的过程之一。一段时间以来，用户得到了一组推荐标签，如图1所示。

挑战

推荐系统受到了积极的研究，并出现了不同的方法。在今年的背景下ECML PKDD发现挑战BibSonomy的标签推荐是由来自7个不同国家的10个不同研究团队的14个不同推荐系统在过去五周内提供的。挑战包括三个任务，其中前两个任务处理从BibSonomy获取的固定数据集，而第三个任务的主题是向运行系统中的用户提供标签建议。

昨天，在ECML PKDD发现挑战研讨会，挑战赛的参与者展示了他们的推荐系统，并讨论了不同的方法，但他们仍然不知道第三项任务的获胜团队，该团队最终在晚上的会议开幕式上宣布。

对系统进行评级

标签推荐算法通常通过在“离线”设置中计算一些性能度量来进行评估，即通过迭代数据集中的帖子，该数据集源自社交书签系统，仅向推荐者系统呈现用户和资源。因此，对于每个帖子，建议的标签集可以与用户分配的标签进行比较。任务1和任务2的参与者在这样的环境中进行评估。

但是，这些“离线”设置不仅忽略了实际应用程序中的一些约束（例如cpu使用和内存消耗），还不能考虑向用户呈现一组推荐标签的效果。为了评估这些效果，我们设置了任务3，将推荐系统集成到BibSonomy中，并且推荐系统必须在超时时间1000毫秒.

为了评估不同的推荐系统（在离线设置和任务3中），我们计算了精度和回忆对于每个系统。在精确测量的同时，召回会考虑足够的推荐标签数量，以及用户实际分配给推荐资源的标签数量。

图2显示了在线挑战的最终结果（可用在这里). 对于每个推荐系统，我们仅考虑前n个标签（n=1,2，…，5）并计算所有帖子的平均值，计算精确度和召回率。例如，顶部的蓝色图表显示，从相应的推荐者系统的五个推荐标签（非常正确的点）中，约18%是由用户选择的（精度0.18），约23%的用户最终分配给资源的标签是由推荐者“预测”的。



获胜团队包括：

• 任务1:Marek Lipczak、Yeming Hu、Yael Kollet和Evangelos Milios（纸张）
• 任务2：Steffen Rendle和Lars Schmidt-Thieme（纸张）
• 任务3：Marek Lipczak、Yeming Hu、Yael Kollet和Evangelos Milios（纸张）

我们很高兴地说，这是一个有趣的挑战，它让我们深入了解了标签推荐任务的不同方法的性能。我们要感谢所有为这个挑战做出贡献的人——最后但并非最不重要的是BibSonomy的每个用户。