NSF推荐人、人员和数据职业奖

2018年,我被授予美国国家科学基金会职业奖,研究推荐系统及其评估如何应对人类输入数据的混乱。我们计算机科学家早就知道“垃圾输入,垃圾输出”的原理:如果有坏数据,系统就会产生坏输出。但在实践中,计算系统在如何准确地将这些输入转换为输出方面可能存在很大差异。

我们在这个项目中的目标是了解这种响应,以描述常见推荐算法以及周围的统计和实验技术的“垃圾响应曲线”。对于给定类型和数量的垃圾(度量/意图不匹配、歧视性偏见、极化内容),我们希望了解其对推荐、后续人类行为以及实验为推荐系统操作员提供的信息的影响。

项目摘要

推荐产品、地点和服务的系统在日常生活和商业中越来越常见,因此了解推荐算法如何影响个人用户和更大的社会群体的结果非常重要。为此,项目团队将开发基于大规模历史数据集模拟用户行为的新方法。这些方法将用于更好地理解训练数据集中的潜在偏见对用于构建和测试推荐系统的常用基于机器学习的方法造成的漏洞,以及在不同的人与推荐系统交互模型下,描述推荐准确性和多样性等常用评价指标的有效性。该团队将公开发布其数据集、软件和新指标,以造福于推荐系统的其他研究人员和开发人员。这项工作还将为开发有关数据分析和计算的社会影响的课程材料以及图书馆员的外联活动提供信息,图书馆员通常负责帮助信息寻求者了解搜索引擎和其他推荐系统如何影响他们获得所需信息的能力。

这部作品围绕两个主题进行组织。第一种方法将量化和缓解离线推荐人评估中的受欢迎度偏差和错误分类诱饵问题,这些问题往往会导致流行的已知推荐。为此,该团队将开发基于仿真的评估模型,该模型对用户如何选择相关商品进行购买和评级的各种假设进行编码,并使用这些假设量化这些假设在推荐质量度量中引起的统计偏差。他们将通过与涵盖书籍、研究论文、音乐和电影的现有数据集进行比较来校准这些模拟。这些模型和数据集将有助于推动第二个主要项目,即测量训练数据中的特征分布对推荐算法准确性和多样性的影响,同时开发抗偏差算法。该团队将使用数据重采样技术和仿真模型,并将其扩展到随时间变化的系统行为建模,以评估不同算法如何通过其建议减轻、传播或加剧潜在的分布偏差,以及这些有偏见的建议如何反过来影响未来的用户行为和体验。

研究成果

已发表论文和成果

根据NSF政策,所有发表的论文都存放在NSF公共访问存储库,可通过奖项ID搜索;请参阅与此补助金关联的列表

ECIR24-i型
2024

迈克尔·D·埃克斯特兰德,莱克斯·比蒂,玛丽亚·索莱达德·佩拉、和亨丽埃特·克拉默2024不仅仅是算法:战略性地解决信息检索中的消费者影响.英寸第46届欧洲信息检索会议记录(ECIR公司’24,良好音轨的IR).计算机科学课堂讲稿 14611:314–335.内政部 10.1007/978-3-031-56066-8_25国家科学基金会 标准 10497110合格率:35.9%。

ECIR24克
2024

阿米法·拉吉迈克尔·D·埃克斯特兰德2024面向供应商公平的网格布局优化排序.英寸第46届欧洲信息检索会议记录(ECIR公司’24,良好音轨的IR).计算机科学课堂讲稿 14612:90–105.内政部 10.1007/978-3-031-56069-9_7国家科学基金会 标准 10497109合格率:35.9%。

ECIR24米
2024

恩戈齐·伊赫梅兰杜迈克尔·D·埃克斯特兰德2024红外和推荐系统实验的多重测试.短纸输入第46届欧洲信息检索会议记录(ECIR公司’24).计算机科学课堂讲稿 14610:449–457.内政部 10.1007/978-3-031-56063-7_37国家科学基金会 标准 10497108合格率:24.3%。

FAccTRec23
2023

阿米法·拉吉迈克尔·D·埃克斯特兰德2023推荐系统中网格布局公平性的度量第六届FAccTrec负责任建议研讨会(同行评审但未存档)。 arXiv:2309.10271[cs.IR]。被引用1次

威斯康星州23
2023

恩戈齐·伊赫梅兰杜迈克尔·D·埃克斯特兰德2023用于评估排名前N的推荐的候选集抽样.英寸第22届IEEE/WIC网络智能和智能代理技术国际会议论文集(WI-IAT系统’23). 第88-94页。内政部 10.1109/WI-IAT59888.2023.00018号arXiv:2309.11723[cs.IR]。国家科学基金会 标准 10487293合格率:28%。

TORS23型
2024

迈克尔·D·埃克斯特兰德,本·卡特雷特、和费尔南多·迪亚兹2024分布式信息推荐系统评估推荐系统交易 2(1)(2024年3月7日),6:1-27。内政部 10.1145/3613455arXiv:2309.05892[cs.IR]。国家科学基金会 标准 10461937被引用7次 被引用4次

SIGIR23-q标准
2023

阿米法·拉吉,巴斯卡尔·米特拉,迈克尔·D·埃克斯特兰德、和尼克·克拉斯韦尔2023性别专用查询重构模式.短纸输入第46届国际ACM SIGIR信息检索研究与开发会议记录(SIGIR公司’23).内政部 10.1145/3539618.3592034arXiv:2304.13129国家科学基金会 标准 10423689合格率:25.12%。 被引用1次 被引用1次

SIGIR23-i标准
2023

恩戈齐·伊赫梅兰杜迈克尔·D·埃克斯特兰德2023大规模推理:大型搜索和推荐实验的显著性检验.短纸输入第46届国际ACM SIGIR信息检索研究与开发会议记录(SIGIR公司’23).内政部 10.1145/3539618.3592004arXiv:2305.02461国家科学基金会 标准 10423691合格率:25.12%。 被引用1次

智利23
2023

克里斯汀·平尼,阿米法·拉吉,亚历克斯·汉纳、和迈克尔·D·埃克斯特兰德2023关于性别的许多Ado:适当性别软件信息访问的当前实践和未来建议.英寸2023年人类信息交互和检索会议记录(首席执行官’23).内政部 10.1145/3576840.3578316arXiv:2301.04780国家科学基金会 标准 10423693验收合格率:39.4%。 被引用10次 被引用7次

FAccTRec22
2022

迈克尔·D·埃克斯特兰德玛丽亚·索莱达德·佩拉2022匹配RecSys的消费者公平目标和策略第五届FAccTrec负责任建议研讨会(同行评审但未存档)。 arXiv:2209.02662[cs.IR]。被引用1次 被引用2次

SIGI记录22
2022

阿米法·拉吉迈克尔·D·埃克斯特兰德2022火龙和独角兽公主:搜索引擎响应中的性别刻板印象和儿童产品.英寸SIGIR eCom’22内政部 10.448550/arXiv.2206.13747arXiv:2206.13747[cs.IR]。被引用5次 被引用3次

SIGIR22公司
2022

阿米法·拉吉迈克尔·D·埃克斯特兰德2022衡量排名结果的公平性:分析与实证比较.英寸第45届国际ACM SIGIR信息检索研究与开发会议记录(SIGIR公司’22). 第726-736页。内政部 10.1145/3477495.3532018国家科学基金会 标准 10329880合格率:20%。 被引用35次 被引用26次

FnT22型
2022

迈克尔·D·埃克斯特兰德,Anubrata Das公司,罗宾·伯克、和费尔南多·迪亚兹2022信息访问系统中的公平性信息检索基础与趋势® 16(1–2)(2022年7月11日),1-177。内政部 10.1561/1500000079arXiv:2105.05779[cs.IR]。国家科学基金会 标准 10347630影响系数:8。 被引用126次 被引用67次

AIMAG22型
2022

纳西姆·桑博利,罗宾·伯克,迈克尔·埃克斯特兰德、和里沙布·梅赫罗特拉2022推荐系统中公平的多面复杂性人工智能杂志 43(2)(2022年6月23日),164-176。内政部 2002年10月10日/每年12月54日国家科学基金会 标准 10334796被引用22次 被引用13次

RSHB3E公司
2022

迈克尔·D·埃克斯特兰德,Anubrata Das公司,罗宾·伯克、和费尔南多·迪亚兹2022推荐系统中的公平性.英寸推荐系统手册(第三版)。弗朗西斯科·里奇,Lior Roach公司、和布拉查·夏皮拉,编辑Springer-Verlag公司内政部 10.1007/978-1-0716-2197-4_18国际标准图书编号 978-1-0716-2196-7被引用27次 被引用15次

RSPE21距离
2021

迈克尔·D·埃克斯特兰德,本·卡特雷特、和费尔南多·迪亚兹2021用分布评估推荐人.英寸RecSys 2021推荐系统评估视角研讨会会议记录(RecSys系统’21).被引用2次

RSLBR21型
2021

劳伦斯·斯皮尔,阿什利·米尔顿,加勒特·艾伦,阿米法·拉吉,迈克尔·格林,迈克尔·D·埃克斯特兰德、和玛丽亚·索莱达德·佩拉2021从幼鲨到梭鱼:儿童音乐听觉行为分析.英寸RecSys 2021最新突破结果(RecSys系统’21).内政部 10.1145/3460231.3478856国家科学基金会 标准 10316668被引用4次 被引用3次

儿童配方奶粉21
2021

阿米法·拉吉,阿什利·米尔顿、和迈克尔·D·埃克斯特兰德2021王妃穿粉红色,超级英雄穿蓝色:在搜索和推荐中需要检查儿童产品中的性别陈规定型观念.英寸第五届儿童与推荐系统国际和跨学科研讨会会议记录(KidRec公司’21),IDC 2021。arXiv:2105.09296国家科学基金会 标准 10335669被引用6次 被引用4次

WWW21(WWW21)
2021

厄默·科纳普,费尔南多·迪亚兹,亚洲J.Biega,迈克尔·D·埃克斯特兰德,本·卡特雷特、和艾米娜·伊尔马兹2021判断不完全的公平排名指标估计.英寸2021年网络会议记录(网络会议2021).ACM公司内政部 10.1145/3442381.3450080arXiv:2108.05152国家科学基金会 标准 10237411合格率:21%。 被引用36次 被引用32次

UMUAI21号机组
2021

迈克尔·D·埃克斯特兰德丹尼尔·克鲁弗2021图书评级与推荐中的作者性别探究用户建模和用户自适应交互 31()(2021年2月4日),377–420。内政部 2007年10月17日/11257-020-09284-2arXiv:1808.07586v2版本国家科学基金会 标准 10218853影响系数:4.412。 被引用167次 被引用86次(与共享回收系统18).

CIKM20-lk公司
2020

迈克尔·D·埃克斯特兰德2020用于Python的LensKit:推荐系统实验的下一代软件.英寸第29届ACM信息与知识管理国际会议记录(CIKM公司’20,资源跟踪).ACM公司第2999–3006页。内政部 10.1145/3340531.3412778arXiv:1809.03125[cs.IR]。国家科学基金会 标准 10199450未报告接受率。 被引用73次 被引用53次

CIKM20-ee公司
2020

费尔南多·迪亚兹,巴斯卡尔·米特拉,迈克尔·D·埃克斯特兰德,亚洲J.Biega、和本·卡特雷特2020用预期风险评估随机排名.英寸第29届ACM信息与知识管理国际会议记录(CIKM公司’20).ACM公司第275-284页。内政部 10.1145/3340531.3411962arXiv:2004.13157[cs.IR]。国家科学基金会 标准 10199451合格率:20%。最佳长篇论文提名。 被引用156次 被引用137次

FAccTRec20
2020

阿米法·拉吉,康纳·伍德,阿南达·蒙托利、和迈克尔·D·埃克斯特兰德2020比较公平排名指标第三届FAccTrec负责任建议研讨会(同行评审但未存档)。 arXiv:2009.01311[cs.IR]。被引用33次 被引用25次

智利20
2020

田木村迈克尔·D·埃克斯特兰德2020离线评估结果中的估计误差和偏差.短纸输入2020年人类信息交互和检索会议记录(首席执行官’20).ACM公司第5页。内政部 10.1145/3343413.3378004arXiv:2001.09455[cs.IR]。国家科学基金会 标准 10146883合格率:47%。 被引用11次 被引用9次

RS演示19
2019

阿什利·米尔顿,迈克尔·格林,亚当·基纳,约书亚·艾姆斯,迈克尔·D·埃克斯特兰德、和玛丽亚·索莱达德·佩拉2019故事时间:激发儿童对书籍推荐的偏好。演示录制于第13届ACM推荐系统会议记录(RecSys系统19年). 第2页。内政部 10.1145/3298689.3347048国家科学基金会 标准 10133610被引用12次 被引用8次

显示18-mc
2018

田木村迈克尔·D·埃克斯特兰德2018评估度量误差和偏差的蒙特卡罗估计计算机科学系出版物和演示文稿 148博伊斯州立大学REVEAL 2018推荐系统离线评估研讨会,RecSys 2018研讨会。 内政部 10.18122/cs_facpubs/148/boisestate公司国家科学基金会 标准 10074452被引用1次 被引用1次

推荐教程

我们已经给出了IR和推荐中的公平性教程在多种设置中。

2019‽
2019

迈克尔·D·埃克斯特兰德,费尔南多·迪亚兹、和罗宾·伯克2019推荐与检索中的公平与歧视。教程位于第13届ACM推荐系统会议记录(RecSys系统19年). 第2页。内政部 10.1145/3298689.3346964被引用44次 被引用37次

2019‽
2019

迈克尔·D·埃克斯特兰德,费尔南多·迪亚兹、和罗宾·伯克2019检索与推荐中的公平与歧视。教程位于第42届国际ACM SIGIR信息检索研究与开发会议记录(SIGIR公司19年). 第2页。内政部 10.1145/3331184.3331380被引用47次 被引用36次

TREC轨道

我是这次活动的组织者之一TREC公平轨道; 我参与这项活动的资金来源是赠款。

FACTS-IR研讨会

我组织了信息检索中的公平、问责、保密、透明和安全研讨会

论坛19
2019

亚历山德拉·奥尔特阿努,让·加西亚-高尔特,马尔滕·德·里杰克,迈克尔·D·埃克斯特兰德,亚当·罗基斯特,阿尔多·利帕尼,亚历克斯·贝特尔,安娜·卢西奇,安娜·安德里亚·斯托伊卡,Anubrata Das公司,亚洲比加,巴特·沃恩,克劳迪娅·豪夫,达米亚诺·斯皮纳,大卫·刘易斯,道格拉斯·沃德,埃米娜·伊尔马兹,费赫·哈西比,加布里埃拉·卡赛,格雷厄姆·麦克唐纳,欣达·哈内德,伊德·乌尼斯,伊尔塞·范德林登,乔里斯·巴恩,Kamuela N Lau公司,克里斯蒂安·巴洛格,马哈茂德说,玛丽亚·潘特利,马克·桑德森,马修租约,普雷西·拉霍蒂、和上岛俊弘2019FACTS-IR:信息检索中的公平、问责、保密、透明和安全SIGIR论坛 53(2)(2019年12月12日),20-43。内政部 10.1145/3458553.3458556被引用40次 被引用20次

2019‽
2019

亚历山德拉·奥尔特阿努,让·加西亚-高尔特,马尔滕·德·里杰克、和迈克尔·D·埃克斯特兰德2019信息检索中的公平、问责、保密、透明和安全研讨会(FACTS-IR).英寸第42届国际ACM SIGIR信息检索研究与开发会议记录(SIGIR公司19年).ACM公司内政部 10.1145/3331184.3331644被引用6次

前期工作

这些论文是在项目期之前撰写的,并确定了有助于获得赠款的初步结果。

回收系统18
2018

迈克尔·D·埃克斯特兰德,田木村,穆罕默德·伊姆兰·卡齐,Hoda Mehrpouyan公司、和丹尼尔·克鲁弗2018图书评级与推荐中的作者性别探究.英寸第十二届ACM推荐系统会议记录(RecSys系统’18).ACM公司第242-250页。内政部 10.1145/3240323.3240373arXiv:1808.07586v1版[cs.IR]。验收合格率:17.5%。 引文报告UMUAI21号机组 引文报告UMUAI21号机组

火焰17-s
2017

迈克尔·D·埃克斯特兰德瓦比哈夫·马汉特2017鲟鱼和酷孩子:排名前N的推荐者评估中随机诱饵的问题.英寸第30届国际佛罗里达人工智能研究会会议记录(推荐系统跟踪).啊啊啊第639-644页。未报告接受率。 被引用15次 被引用10次

教育成果

作为这个项目的一部分,我有三项计划中的教育活动:

  1. 与Don Winiecki和Boise State CS教员合作,将关于道德和技术社会影响的材料纳入研究生人工智能和数据科学课程。
  2. 与博伊西州立公共服务学院的埃里克·林德奎斯特合作开发和教学公共生活中的大数据,这是一门关于大数据、伦理和政策互动的跨学科本科课程,因为数据驱动的算法系统越来越多地部署在我们的社会中的公共和私营部门。
  3. 为爱达荷州的图书馆员编写培训材料,并就推荐系统和相关技术举办研讨会,以便他们在与社区合作时更好地利用这些材料,并为他们的赞助人提供与推荐人接触的指导。Meridian图书馆区将与我合作进行这些研讨会的试点。

图书馆培训

请参阅图书馆培训第页了解有关图书馆培训和为图书馆安排培训的详细信息。

我给出了以下内容:

  • 爱达荷州图书馆协会2019年会议上的演讲

学分

国家科学基金会标志

本材料基于国家科学基金会(批准号:IIS 17-51278)支持的工作。本材料中表达的任何观点、发现、结论或建议均为作者的观点,并不一定反映国家科学基金会的观点。