NSF推荐人、人员和数据职业奖 2018年,我被授予美国国家科学基金会职业奖,研究推荐系统及其评估如何应对人类输入数据的混乱。 我们计算机科学家早就知道“垃圾输入,垃圾输出”的原理:如果有坏数据,系统就会产生坏输出。 但在实践中,计算系统在如何准确地将这些输入转换为输出方面可能存在很大差异。
我们在这个项目中的目标是了解这种响应,以描述常见推荐算法以及周围的统计和实验技术的“垃圾响应曲线”。 对于给定类型和数量的垃圾(度量/意图不匹配、歧视性偏见、极化内容),我们希望了解其对推荐、后续人类行为以及实验为推荐系统操作员提供的信息的影响。 项目摘要 推荐产品、地点和服务的系统在日常生活和商业中越来越常见,因此了解推荐算法如何影响个人用户和更大的社会群体的结果非常重要。 为此,项目团队将开发基于大规模历史数据集模拟用户行为的新方法。 这些方法将用于更好地理解训练数据集中的潜在偏见对用于构建和测试推荐系统的常用基于机器学习的方法造成的漏洞, 以及在不同的人与推荐系统交互模型下,描述推荐准确性和多样性等常用评价指标的有效性。 该团队将公开发布其数据集、软件和新指标,以造福于推荐系统的其他研究人员和开发人员。 这项工作还将为开发有关数据分析和计算的社会影响的课程材料以及图书馆员的外联活动提供信息,图书馆员通常负责帮助信息寻求者了解搜索引擎和其他推荐系统如何影响他们获得所需信息的能力。
这部作品围绕两个主题进行组织。 第一种方法将量化和缓解离线推荐人评估中的受欢迎度偏差和错误分类诱饵问题,这些问题往往会导致流行的已知推荐。 为此,该团队将开发基于仿真的评估模型,该模型对用户如何选择相关商品进行购买和评级的各种假设进行编码,并使用这些假设量化这些假设在推荐质量度量中引起的统计偏差。 他们将通过与涵盖书籍、研究论文、音乐和电影的现有数据集进行比较来校准这些模拟。 这些模型和数据集将有助于推动第二个主要项目,即测量训练数据中的特征分布对推荐算法准确性和多样性的影响,同时开发抗偏差算法。 该团队将使用数据重采样技术和仿真模型,并将其扩展到随时间变化的系统行为建模,以评估不同算法如何通过其建议减轻、传播或加剧潜在的分布偏差,以及这些有偏见的建议如何反过来影响未来的用户行为和体验。
研究成果 已发表论文和成果 根据NSF政策,所有发表的论文都存放在 NSF公共访问存储库 ,可通过奖项ID搜索; 请参阅 与此补助金关联的列表 。
RSPE21距离
2021
迈克尔·D·埃克斯特兰德 , 本·卡特雷特 、和 费尔南多·迪亚兹 。 2021 。 用分布评估推荐人 .英寸 RecSys 2021推荐系统评估视角研讨会会议记录 ( RecSys系统 ’21 ). 被引用2次 。
TREC轨道 我是这次活动的组织者之一 TREC公平轨道 ; 我参与这项活动的资金来源是赠款。
FACTS-IR研讨会 我组织了 信息检索中的公平、问责、保密、透明和安全研讨会 。
论坛19
2019
亚历山德拉·奥尔特阿努 , 让·加西亚-高尔特 , 马尔滕·德·里杰克 , 迈克尔·D·埃克斯特兰德 , 亚当·罗基斯特 , 阿尔多·利帕尼 , 亚历克斯·贝特尔 , 安娜·卢西奇 , 安娜·安德里亚·斯托伊卡 , Anubrata Das公司 , 亚洲比加 , 巴特·沃恩 , 克劳迪娅·豪夫 , 达米亚诺·斯皮纳 , 大卫·刘易斯 , 道格拉斯·沃德 , 埃米娜·伊尔马兹 , 费赫·哈西比 , 加布里埃拉·卡赛 , 格雷厄姆·麦克唐纳 , 欣达·哈内德 , 伊德·乌尼斯 , 伊尔塞·范德林登 , 乔里斯·巴恩 , Kamuela N Lau公司 , 克里斯蒂安·巴洛格 , 马哈茂德说 , 玛丽亚·潘特利 , 马克·桑德森 , 马修租约 , 普雷西·拉霍蒂 、和 上岛俊弘 。 2019 。 FACTS-IR:信息检索中的公平、问责、保密、透明和安全 。 SIGIR论坛 53 ( 2 )(2019年12月12日),20-43。 内政部 10.1145/3458553.3458556 。 被引用40次 。 被引用20次 。
前期工作 这些论文是在项目期之前撰写的,并确定了有助于获得赠款的初步结果。
教育成果 作为这个项目的一部分,我有三项计划中的教育活动:
与Don Winiecki和Boise State CS教员合作,将关于道德和技术社会影响的材料纳入研究生人工智能和数据科学课程。 与博伊西州立公共服务学院的埃里克·林德奎斯特合作开发和教学 公共生活中的大数据 ,这是一门关于大数据、伦理和政策互动的跨学科本科课程,因为数据驱动的算法系统越来越多地部署在我们的社会中的公共和私营部门。 为爱达荷州的图书馆员编写培训材料,并就推荐系统和相关技术举办研讨会,以便他们在与社区合作时更好地利用这些材料,并为他们的赞助人提供与推荐人接触的指导。 Meridian图书馆区将与我合作进行这些研讨会的试点。 图书馆培训 请参阅 图书馆培训 第页了解有关图书馆培训和为图书馆安排培训的详细信息。
我给出了以下内容:
学分 本材料基于国家科学基金会(批准号:IIS 17-51278)支持的工作。 本材料中表达的任何观点、发现、结论或建议均为作者的观点,并不一定反映国家科学基金会的观点。