跳到主要内容
10.1145/3383313.3412489acm会议文章/章节视图摘要出版物页面recsys公司会议记录会议集合
研究论文

我们在严格评估吗?可复制评估和公平比较的基准建议

出版:2020年9月22日出版历史

摘要

由于每年都有大量推荐算法被提出,一个关键问题引起了相当大的关注:没有有效的评估基准,这导致了两个主要问题,即评估不可重复和比较不公平。本文旨在对基于隐式反馈的top-N推荐算法进行严格(即可重复和公平)的评估。我们首先系统地回顾了8次顶级会议(如RecSys、SIGIR)上发表的85篇推荐论文,总结了重要的评价因素,如数据分割和参数调整策略等。通过整体实证研究,深入分析了不同因素对推荐绩效的影响。然后,我们使用标准化程序创建基准,并在六个广泛使用的数据集上提供六个指标中七个经过良好调整的最新状态的性能,作为后续研究的参考。此外,我们发布了一个用户友好的Python工具包,它与现有的工具包不同,它解决了广泛的严格评估建议。总的来说,我们的工作揭示了推荐评估中的问题,并为进一步调查奠定了基础。我们的代码和数据集可从GitHub获得(https://github.com/AmazingDD/daisyRec).

工具书类

  1. 蒙亚·贝克(Monya Baker)。2016.再现性危机?《自然》533,26(2016),353–66。谷歌学者谷歌学者
  2. Oren Barkan和Noam Koenigstein。2016.第2vec项:用于协同过滤的神经项目嵌入。IEEE第26届国际研讨会MLSP。谷歌学者谷歌学者交叉引用交叉引用
  3. Joeran Beel 2016年。推荐系统研究的再现性。UMUAI 26,1(2016),69–101。谷歌学者谷歌学者数字图书馆数字图书馆
  4. 詹姆斯·伯格斯特拉(James Bergstra)和约舒亚·本吉奥(Yoshua Bengio)。2012.随机搜索超参数优化。JMLR 13,1(2012),281-305。谷歌学者谷歌学者数字图书馆数字图书馆
  5. Ryan Clancy 2019年。2019年开源IR可复制性挑战概述(OSIRRC 2019)。在OSIRRC@SIGIR中。谷歌学者谷歌学者
  6. Paolo Cremonesi 2010年。推荐算法在top-n推荐任务上的性能。在RecSys中。谷歌学者谷歌学者
  7. Maurizio Ferrari Dacrema 2019年。我们真的取得了很大进展吗?对最近神经推荐方法的令人担忧的分析。在RecSys中。谷歌学者谷歌学者
  8. 贾登2009。Imagenet:大规模分层图像数据库。在CVPR中。谷歌学者谷歌学者
  9. 尼古拉·费罗和黛安·凯利。2018年,SIGIR倡议实施ACM工件审查和标记。ACM SIGIR论坛,第52卷。4–10.谷歌学者谷歌学者
  10. 朱利安娜·弗雷尔(Juliana Freire)、诺伯特·富尔(Norbert Fuhr)和安德烈亚斯·劳贝尔(Andreas Rauber)。2016.电子科学中面向数据实验的再现性(Dagstuhl研讨会16041)。达格斯图尔报告6,1(2016),108–159。谷歌学者谷歌学者
  11. 郭桂冰2015。LibRec:推荐系统的Java库。。UMAP研讨会,第4卷。谷歌学者谷歌学者
  12. Allan Hanbury 2015年。程序。第37届欧洲红外研究会议。第9022卷。斯普林格。谷歌学者谷歌学者
  13. 何湘南2016。在线推荐的快速矩阵分解和隐式反馈。在SIGIR中。谷歌学者谷歌学者
  14. 香南河2017。神经协同过滤。WWW。谷歌学者谷歌学者
  15. 何湘南和蔡大胜。2017.用于稀疏预测分析的神经因子分解机。在SIGIR中。谷歌学者谷歌学者
  16. Balázs Hidasi 2018年。基于会话的推荐具有top-k增益的递归神经网络。在CIKM中。谷歌学者谷歌学者
  17. 胡一凡2008。隐式反馈数据集的协作过滤。在ICDM中。谷歌学者谷歌学者
  18. Dietmar Jannach和Malte Ludewig。2017年。当递归神经网络遇到基于会话的推荐邻域时。在RecSys中。谷歌学者谷歌学者
  19. Dawen Liang 2018年。用于协同过滤的可变自动编码器。谷歌学者谷歌学者
  20. 肖恩·麦克尼(Sean M McNee)、约翰·里德尔(John Riedl)和约瑟夫·孔斯坦(Joseph A Konstan)。2006.准确是不够的:准确度指标对推荐系统有多大影响。在CHI'06计算机系统人为因素扩展摘要中。1097–1101.谷歌学者谷歌学者
  21. 马库斯·穆纳夫2017。可再生科学宣言。《自然-人类行为》1,1(2017),1-9。谷歌学者谷歌学者
  22. 夏宁和乔治·卡里皮斯。2011.苗条:top-n推荐系统的稀疏线性方法。在ICDM中。谷歌学者谷歌学者
  23. 爱德华·拉夫。2019.走向量化独立可复制机器学习研究的一步。以NIPS为单位。谷歌学者谷歌学者
  24. 斯特芬·伦德尔。2010.保理机。在ICDM中。谷歌学者谷歌学者
  25. Steffen Rendle 2009年。BPR:基于隐含反馈的贝叶斯个性化排名。在IUI中。谷歌学者谷歌学者
  26. Steffen Rendle 2019年。评估基线的难度:推荐系统研究。arXiv预印arXiv:1905.01395(2019)。谷歌学者谷歌学者
  27. Alan Said 2014年。比较推荐系统评估:基准推荐框架。在RecSys中。谷歌学者谷歌学者
  28. Alan Said 2014年。竞争对手:在推荐系统评估中促进再现性的工具包。在RecSys中。谷歌学者谷歌学者
  29. Badrul Sarwar 2001年。基于项目的协同过滤推荐算法。在WWW中。谷歌学者谷歌学者
  30. Jasper Snoek 2012年。机器学习算法的实用贝叶斯优化。以NIPS为单位。谷歌学者谷歌学者
  31. 朱孙2018。用于有效推荐的递归知识图嵌入。在RecSys中。谷歌学者谷歌学者
  32. 朱孙2019。附带信息的建议研究评论:调查和研究方向。ECRA 37(2019),100879。谷歌学者谷歌学者数字图书馆数字图书馆
  33. 唐季良、高慧吉、刘欢和阿提什·达斯·萨尔玛。2012.eTrust:了解在线世界中的信任演变。在KDD中。谷歌学者谷歌学者
  34. 唐晓丽2019。AKUPM:用于推荐的注意力增强的知识软件用户偏好模型。在KDD中。谷歌学者谷歌学者
  35. Daniel Valcarce 2018年。关于top-n推荐的信息检索度量的稳健性和鉴别能力。在RecSys中。谷歌学者谷歌学者
  36. 王宏伟2019。用于知识图增强推荐的多任务特征学习。在WWW中。谷歌学者谷歌学者
  37. 王翔2019。Kgat:用于推荐的知识图关注网络。在KDD中。谷歌学者谷歌学者
  38. 王翔2019。神经网络图协同过滤。SIGIR。谷歌学者谷歌学者
  39. Ga Wu 2019年。单类协同滤波的噪声对比估计。SIGIR。谷歌学者谷歌学者
  40. 姚武2016。top-n推荐系统的协同去噪自动编码器。在WSDM中。谷歌学者谷歌学者
  41. 许凤丽2019。用于代理发起的社会电子商务推荐的关系感知图卷积网络。在CIKM中。谷歌学者谷歌学者
  42. 杨龙奇2018。Openrec:用于可扩展和可适应的推荐算法的模块化框架。在WSDM中。谷歌学者谷歌学者
  43. 张富政2016。推荐系统的协作知识库嵌入。在KDD中。谷歌学者谷歌学者
  44. 张帅2019。基于深度学习的推荐系统:一项调查和新观点。CSUR 52,1(2019),1-38。谷歌学者谷歌学者数字图书馆数字图书馆
  45. 张帅2019。DeepRec:基于深度学习的推荐的开源工具包。在IJCAI。谷歌学者谷歌学者
  46. 钱照2018。解释用户在推荐系统中的不作为。在RecSys中。谷歌学者谷歌学者
  47. Cai-Nicolas Ziegler 2005年。通过主题多样化改进建议列表。在WWW中。谷歌学者谷歌学者
  1. 我们在严格评估吗?可复制评估和公平比较的基准建议

    建议

    评论

    登录选项

    请检查您是否可以通过登录凭据或您的机构访问此文章以获得完全访问权限。

    登录

    完全访问权限

    • 发布于

      封面图片ACM会议
      RecSys’20:第14届ACM推荐系统会议记录
      2020年9月
      796页
      国际标准图书编号:9781450375832
      内政部:10.1145/3383313

      版权所有©2020 ACM

      如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布、在服务器上发布或重新分发到列表,需要事先获得特定许可和/或收取费用。向请求权限[电子邮件保护]

      出版商

      计算机协会

      美国纽约州纽约市

      出版历史

      • 出版:2020年9月22日

      权限

      请求有关此文章的权限。

      请求权限

      检查更新

      限定符

      • 研究论文
      • 研究
      • 推荐有限公司

      接受率

      总体验收率254属于1,295提交文件,20%

      即将召开的会议

      24年RecSys
      第18届ACM推荐系统会议
      2024年10月14日至18日
      巴里,意大利

    PDF格式

    以PDF文件查看或下载。

    PDF格式

    电子阅读器

    使用eReader联机查看。

    电子阅读器

    HTML格式

    以HTML格式查看本文。

    查看HTML格式