锦标赛标记

作为一个社交书签系统，为资源分配标签是BibSonomy最重要、最频繁的过程之一。一段时间以来，用户得到了一组推荐的标签，如图1所示。

挑战

推荐系统正在进行积极的研究，并出现了不同的方法。在今年的背景下ECML PKDD发现挑战BibSonomy的标签推荐是由来自7个不同国家的10个不同研究团队的14个不同推荐系统在过去五周内提供的。挑战包括三个任务，其中前两个任务处理从BibSonomy获取的固定数据集，而第三个任务的主题是向运行系统中的用户提供标签建议。

昨天，在ECML PKDD发现挑战研讨会，挑战赛的参与者展示了他们的推荐系统，并讨论了不同的方法，但他们仍然不知道第三项任务的获胜团队，该团队最终在晚上的会议开幕式上宣布。

对系统进行评级

标签推荐算法通常通过在“离线”设置中计算一些性能度量来进行评估，即通过迭代数据集中的帖子，该数据集源自社交书签系统，仅向推荐者系统呈现用户和资源。因此，对于每个帖子，建议的标签集可以与用户分配的标签进行比较。任务1和任务2的参与者在这样的环境中进行评估。

但是，这些“离线”设置不仅忽略了实际应用程序中的一些约束（例如cpu使用和内存消耗），还不能考虑向用户呈现一组推荐标签的效果。为了评估这些效果，我们设置了任务3，是否将推荐系统集成到BibEcomy中，并且推荐系统必须在超时时间内提供标签推荐1000毫秒.

为了评估不同的推荐系统（在离线设置和任务3中），我们计算了精度和回忆对于每个系统。在精确测量的同时，召回会考虑足够的推荐标签数量，以及用户实际分配给推荐资源的标签数量。

图2显示了在线挑战的最终结果（可用在这里)。对于每个推荐系统，我们仅考虑前n个标签（n=1,2，…，5）并计算所有帖子的平均值，计算精确度和召回率。例如，顶部的蓝色图表显示，从相应的推荐者系统的五个推荐标签（非常正确的点）中，约18%是由用户选择的（精度0.18），约23%的用户最终分配给资源的标签是由推荐者“预测”的。



获胜团队包括：

• 任务1：Marek Lipczak、Yeming Hu、Yael Kollet和Evangelos Milios（纸张）
• 任务2：Steffen Rendle和Lars Schmidt-Thieme（纸张）
• 任务3：Marek Lipczak、Yeming Hu、Yael Kollet和Evangelos Milios（纸张）

我们很高兴地说，这是一个有趣的挑战，它让我们深入了解了标签推荐任务的不同方法的性能。我们要感谢所有为这一挑战做出贡献的人——最后但并非最不重要的是Bibonomy的每一位用户。

ECML/PKDD发现挑战

由于我们正在组织今年的发现挑战赛，我们想宣布




呼吁参与

ECML/PKDD发现挑战

2008年9月15日，比利时安特卫普

今年的发现挑战涉及社交书签领域的两项任务。一项任务涵盖垃圾邮件检测另一个是关于标签建议。质询所基于的数据集是的快照BibSonomy公司。有关任务的更多详细信息，请访问挑战网站.

重要日期

2008年5月5日

在线提供任务和数据集。

2008年7月30日

测试数据集将发布（CEST午夜）。

2008年8月1日

结果提交截止日期（CEST午夜前）。

2008年8月4日

研讨会论文提交截止日期。

2008年8月8日

获奖通知，在网页上公布结果，书面验收通知。

2008年8月14日

研讨会记录（摄像机-就绪）截止日期。

2008年9月15日至19日

ECML/PKDD 2008研讨会