研究论文

公共访问

NASRec：推荐系统的权重共享神经架构搜索

作者:

易然陈、和

世界环境学会文作者信息和声明

WWW’23:2023年ACM网络会议记录

2023年4月

页1199-1207

https://doi.org/10.1145/3543507.3583446

出版:2023年4月30日出版历史

所有格式 PDF格式

摘要

深度神经网络的兴起为优化推荐系统提供了新的机会。然而，使用深度神经网络优化推荐系统需要精细的架构制造。我们提出了NASRec，这是一种训练单个超网并通过权重共享有效生成丰富模型/子架构的范式。为了克服推荐领域中的数据多模态和架构异构挑战，NASRec建立了一个大型超网（即搜索空间）来搜索整个架构。超网融合了多种多样的操作员选择和密集的连接，从而最大限度地减少了人类寻找先验信息的努力。NASRec的规模和异质性带来了一些挑战，例如培训效率低下、操作员不平衡以及等级相关性降低。我们通过提出单操作员任意连接采样、操作员平衡交互模块和培训后微调来应对这些挑战。我们精心设计的模型NASRecNet在三个点击率（CTR）预测基准上显示了令人鼓舞的结果，表明NASRec在最先进的性能方面优于手动设计的模型和现有的NAS方法。我们的工作在这里公开。

补充材料

PDF文件

论文6819的补充材料：NASRec。

下载
894.96 KB

工具书类

[1]

吉米·雷巴（Jimmy Lei Ba）、杰米·瑞安·基罗斯（Jamie Ryan Kiros）和杰弗里·欣顿（Geoffrey E Hinton）。2016.图层归一化。arXiv预印arXiv:1607.06450（2016）。

[2]

加布里埃尔·本德（Gabriel Bender）、彼得·扬·金德曼（Pieter-Jan Kindermans）、巴雷特·佐夫（Barret Zoph）、维杰伊·瓦苏德万（Vijay Vasudevan）和奎克·勒（Quoc Le）。2018年。理解并简化一次性架构搜索。在机器学习国际会议上。PMLR，550-559。

[3]

Gabriel Bender、Hanxiao Liu、Bo Chen、Grace Chu、Shuyang Cheng、Pieter-Jan Kindermans和Quoc V Le。2020年。权重分配是否优于随机架构搜索？一项对金枪鱼的调查。IEEE/CVF计算机视觉和模式识别会议论文集。14323–14332.

[4]

韩才、庄干、王天哲、张哲凯和宋汉。2019.一次性：训练一个网络并将其专门化，以实现高效部署。arXiv预印本arXiv:1908.09791（2019）。

[5]

本·卡特雷特和罗西·琼斯。2007.通过相关性和点击率之间的关系建模来评估搜索引擎。神经信息处理系统的进展20（2007）。

[6]

陈启伟、赵欢、李伟、黄佩佩和欧文武。2019.阿里巴巴电子商务推荐的行为序列转换器。第一届高维稀疏数据深度学习实践国际研讨会论文集。1–4.

[7]

Heng Tze Cheng、Levent Koc、Jeremiah Harmsen、Tal Shaked、Tushar Chandra、Hrishi Aradhye、Glen Anderson、Greg Corrado、Wei Chai、Mustafa Ispir，2016年。推荐系统的广泛和深度学习。在推荐系统深度学习第一次研讨会的会议记录中。7–10.

[8]

保罗·科文顿、杰·亚当斯和埃姆雷·萨金。2016.youtube推荐深度神经网络。第十届ACM推荐系统会议论文集。191–198.

[9]

Wei Deng、Junwei Pan、Tian Zhou、Deguang Kong、Aaron Flores和Guang Lin.2021年。DeepLight：在广告服务中加速CTR预测的深度轻量级功能交互。第14届ACM网络搜索和数据挖掘国际会议论文集。922–930.

[10]

Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Deghani、Matthias Minderer、Georg Heigold、Sylvain Gelly，2020年。一幅图像相当于16x16个单词：用于大规模图像识别的变形金刚。arXiv预印本arXiv:2010.11929（2020）。

[11]

陈高，李银峰，姚全明，金德鹏，李勇.2021。深度稀疏网络的渐进特征交互搜索。神经信息处理系统进展34（2021）。

[12]

高璐瑜、戴竹云和杰米·卡兰。2020年。基于变压器的模块化排名框架。arXiv预印本arXiv:2004.13313（2020）。

[13]

郭桂冰、张杰和尼尔·约克史密斯。2015.Trustsvd：协同过滤，用户信任和项目评级的显性和隐性影响。《AAAI人工智能会议论文集》，第29卷。

[14]

郭慧峰、汤瑞明、叶云明、李振国、何秀强。2017.DeepFM：基于因子分解机器的神经网络，用于CTR预测。arXiv预印arXiv:1703.04247（2017）。

[15]

郭子超、张祥宇、穆浩源、文恒、刘泽春、魏宜晨、孙建军。2020年。采用均匀采样的单路径一次性神经架构搜索。在欧洲计算机视觉会议上。施普林格，544-560。

[16]

何欣然（Xinran He）、潘俊峰（Junfeng Pan）、欧进（Ou Jin）、徐天兵（Tianbing Xu）、刘波（Bo Liu）、徐涛（Tao Xu）和石彦欣（Yanxin Shi）、安托万·阿塔拉（Antoine Atallah）、拉尔夫·赫布里。预测脸书广告点击量的实际经验教训。在线广告数据挖掘第八届国际研讨会论文集。1–9.

[17]

Dominik Kowald、Subhash Chandra Pujari和Elisabeth Lex。2017.推特中哈希标签重用的时间效应：一种认知启发的哈希标签推荐方法。第26届万维网国际会议论文集。1401–1410.

[18]

拉维·克里希纳（Ravi Krishna）、阿拉文德·卡莱亚（Aravind Kalaiah）、比钦·吴（Bichen Wu）、马克西姆·诺莫夫（Maxim Naumov）、德希瓦萨·穆迪盖雷（Dheevata Mudigere）、米沙·斯梅利扬斯基（Misha Smelyanskiy）和库尔特·凯泽尔（Kurt Keutzer）。2021.可差异化NAS框架和广告CTR预测应用。arXiv预打印arXiv:2110.14812（2021）。

[19]

连建勋、周晓环、张福正、陈忠霞、谢兴和孙光忠。2018.xdeepfm：结合推荐系统的显性和隐性特征交互。第24届ACM SIGKDD知识发现与数据挖掘国际会议论文集。1754–1763.

[20]

梁汉文、张世峰、孙嘉诚、何兴秋、黄伟然、庄克晨和李振国。2019年。Darts+：改进的差异架构搜索，可提前停止。arXiv预印本arXiv:1909.06035（2019）。

[21]

刘汉晓、凯伦·西蒙扬和杨一鸣。2018.飞镖：差异化建筑搜索。arXiv预印arXiv:1806.09055（2018）。

[22]

伊利亚·洛希洛夫和弗兰克·赫特。2016年。Sgdr：伴随温暖重启的随机梯度下降。arXiv预印arXiv:1608.03983（2016）。

[23]

Maxim Naumov、Dheevata Mudigere、Hao-Jun Michael Shi、Jianyu Huang、Narayanan Sundaraman、Jongsoo Park、Xiaodong Wang、Udit Gupta、Carole-Jean Wu、Alisson G Azzolini，2019年。个性化和推荐系统的深度学习推荐模型。arXiv预印本arXiv:1906.00091（2019）。

[24]

Esteban Real、Alok Aggarwal、Yanping Huang和Quoc V Le。2019.图像分类器架构搜索的规则化演进。《人工智能aaai会议论文集》，第33卷。4780–4789.

[25]

斯特芬·伦德尔（Steffen Rendle）、泽诺·甘特纳（Zeno Gantner）、克里斯托夫·弗洛伊登塔勒（Christoph Freudenthaler）和拉尔斯·施密特·蒂姆（Lars Schmidt-Thieme）。2011年。使用因子分解机器的快速上下文软件建议。第34届ACM SIGIR国际信息检索研究与开发会议论文集。635–644.

[26]

脸书研究。2022.福科雷。https://github.com/facebook研究/fvcore,.

[27]

马修·理查森（Matthew Richardson）、埃瓦·多明诺斯卡（Ewa Dominowska）和罗伯特·拉格诺（Robert Ragno）。2007.预测点击：估计新广告的点击率。第16届万维网国际会议论文集。521–530.

[28]

应山、T Ryan Hoens、Jian Jiao、Haijing Wang、Dong Yu和JC Mao。2016.深度交叉：网络规模建模，无需手工制作组合功能。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集。255–262.

[29]

David So、Quoc Le和Chen Liang。2019.进化型变压器。在机器学习国际会议上。PMLR，5877–5886。

[30]

宋庆泉、程德华、周汉宁、杨继燕、田远东和胡霞，2020年。面向点击率预测的自动神经交互发现。第26届ACM SIGKDD知识发现与数据挖掘国际会议论文集。945–955.

[31]

宋卫平、石晨策、肖志平、段志坚、徐叶文、张明和唐健。2019.Autoint：通过自关注神经网络进行自动特征交互学习。第28届ACM信息和知识管理国际会议记录。1161–1170.

[32]

阿什什·瓦斯瓦尼（Ashish Vaswani）、诺姆·沙泽尔（Noam Shazeer）、尼基·帕尔玛（Niki Parmar）、雅各布·乌斯科雷特（Jakob Uszkoreit）、利昂·琼斯（Llion Jones）、艾丹·戈麦斯（Aidan N Gomez）、尤卡斯·凯泽（ukasz Kaiser。2017年。你所需要的就是关注。神经信息处理系统进展30（2017）。

[33]

王汉瑞、吴章浩、刘志坚、韩才、朱立庚、庄干和宋汉。2020年。帽子：用于高效自然语言处理的硬件转换器。arXiv预印arXiv:2005.14187（2020）。

[34]

王若曦、傅斌、傅刚和王明亮。2017年。深度和跨网络广告点击预测。ADKDD’17会议记录。1–7.

[35]

王若曦（Ruxi Wang）、拉凯什·希瓦纳（Rakesh Shivanna）、郑德烈（Derek Cheng）、萨加·贾恩（Sagar Jain）、董林（Dong Lin）、洪立灿（Lichan Hong）和池爱德（Ed Chi）。2021.DCN V2：改进深度、跨网络和实践课程，用于网络规模学习对系统进行排名。2021年网络会议记录。1785–1797.

[36]

王志强、佘清云和张俊林。2021.MaskNet：通过实例引导掩码将特征乘法引入CTR排名模型。arXiv预打印arXiv:2102.07619（2021）。

[37]

魏文（Wei Wen）、刘汉晓（Hanxiao Liu）、陈依然（Yiran Chen）、李海（Hai Li）、加布里埃尔·本德（Gabriel Bender）和彼得·简·金德曼（Pieter-Jan Kindermans）。2020年。神经架构搜索的神经预测器。在欧洲计算机视觉会议上。施普林格，660-676。

[38]

余佳慧、金鹏冲、刘汉晓、加布里埃尔·本德、彼得·简·金德曼、谭明兴、黄托马斯、宋晓丹、彭若明和郭乐。2020年。Bignas：使用大型单阶段模型扩大神经架构搜索。在欧洲计算机视觉会议上。施普林格，702-717。

[39]

巴雷特·佐夫（Barret Zoph）、维杰伊·瓦苏德万（Vijay Vasudevan）、乔纳森·施伦斯（Jonathon Shlens）和奎克·维勒（Quoc V Le）。2018.学习可扩展图像识别的可转换架构。在IEEE计算机视觉和模式识别会议记录中。8697–8710.

引用人

文W刘凯（Liu K）费多罗夫一世张X阴H楚W哈萨尼K太阳M刘杰王X蒋L陈毅张B刘X程D陈Z赵G汉·F杨杰（Yang J）郝Y熊L陈伟蔡美儿TNgo C公司Ka-Wei Lee R公司库马尔R劳·H(2024)Rankitect：排名体系结构搜索在元尺度上与世界级工程师对抗ACM 2024年网络会议相关会议记录10.1145/3589335.3648304(73-82)在线发布日期：2024年5月13日
https://dl.acm.org/doi/10.1145/3589335.3648304
加里比SBagheriFard K公司帕文·H内贾蒂安SYaghoubyan S公司(2024)基于本体的推荐系统：一种深度学习方法超级计算杂志2007年10月17日/11227-023-05874-0在线发布日期：2024年2月7日
https://doi.org/10.1007/s11227-023-05874-0
Wegmeth L公司(2023)通过设计决策自动化改进推荐系统第17届ACM推荐系统会议记录10.1145/3604915.3608877(1332-1338)在线发布日期：2023年9月14日
https://dl.acm.org/doi/10.1145/3604915.3608877

索引术语

NASRec：推荐系统的权重共享神经架构搜索
1. 计算方法
  1. 人工智能
    1. 搜索方法
      1. 离散空间搜索
  2. 机器学习
    1. 机器学习方法
      1. 神经网络
2. 信息系统
  1. 信息检索
    1. 检索任务和目标
      1. 推荐系统

建议

高效神经网络的可微神经结构学习
集锦
- 我们构建了一个新的基于标度sigmoid函数的独立控制模块，以丰富神经网络模块族，使神经网络体系结构。。。
摘要
随着卷积神经网络（CNN）的发展，特别是在嵌入式和移动平台上的部署，高效的神经网络受到了越来越多的关注。最大的问题之一是。。。
阅读更多信息
利用递归神经网络实现基于内容的推荐的深层架构
UMAP'17：第25届用户建模、适配和个性化会议论文集

本文研究了递归神经网络（RNN）在基于top-N内容的推荐场景中的有效性深的该架构采用长短期记忆（LSTM）网络联合学习两个。。。
阅读更多信息
获取推荐系统的用户信息需求
2013年IEEE/WIC/ACM网络智能（WI）和智能代理技术（IAT）国际联合会议记录第03卷

大多数推荐系统尝试使用协作过滤、基于内容的过滤或混合方法向新用户推荐项目。协作过滤根据相似的邻居向新用户推荐项目，并基于内容。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

WWW’23:2023年ACM网络会议记录

2023年4月

4293页

十亿英镑：9781450394161

内政部：10.1145/3543507

版权所有©2023 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

赞助商

SIGWEB:ACM超文本、超媒体和网络特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2023年4月30日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

数据可用性

论文6819的补充材料：NASRec。https://dl.acm.org/doi/10.1145/3543507.3583446#NASRec_Supplementary.pdf

资金来源

会议

WWW’23

主办单位：

SIGWEB公司

WWW’23：2023年ACM网络会议

2023年4月30日至5月4日

德克萨斯州，奥斯汀，美国

接受率

8196份提交文件的总体接受率为1899份，23%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

三
引文总数
查看引文
227
总下载次数

下载次数（过去12个月）157
下载次数（最近6周）8

其他指标

查看作者指标

引文

引用人

文W刘凯（Liu K）费多罗夫一世张X阴H楚W哈萨尼K太阳M刘杰王X蒋L陈毅张B刘X程D陈Z赵G汉·F杨杰（Yang J）郝Y熊L陈伟蔡TNgo C公司李家伟R库马尔R劳·H(2024)Rankitect：排名体系结构搜索在元尺度上与世界级工程师对抗ACM 2024年网络会议相关会议记录10.1145/3589335.3648304(73-82)在线发布日期：2024年5月13日
https://dl.acm.org/doi/10.1145/3589335.3648304
加里比SBagheriFard K公司帕文·H内贾蒂安SYaghoubyan S公司(2024)基于本体的推荐系统：一种深度学习方法超级计算杂志2007年10月17日/11227-023-05874-0在线发布日期：2024年2月7日
https://doi.org/10.1007/s11227-023-05874-0
Wegmeth L公司(2023)通过设计决策自动化改进推荐系统第17届ACM推荐系统会议记录10.1145/3604915.3608877(1332-1338)在线发布日期：2023年9月14日
https://dl.acm.org/doi/10.1145/3604915.3608877

视图选项

视图选项

PDF格式

以PDF文件的形式查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

HTML格式格式

在中查看本文HTML格式格式。

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子