推荐系统中神经网络结合注意力机制研究综述

doi:10.3778/j.issn.1002-8331.2308-0014

摘要/摘要

摘要：探讨神经网络如何结合注意力机制及其变种，以更好地学习用户和物品间复杂和隐含的关系，从而提高推荐的准确性和个性化水平。从多层感知机、卷积神经网络、循环神经网络、自编码器、图神经网络以及反向传播神经网络这六类典型神经网络出发，研究它们与注意力机制相结合进行推荐的过程，具体结合点击率预测、标签推荐和评论评分预测等典型应用场景进行优缺点分析。通过将神经网络与注意力机制相结合，模型能够聚焦于输入数据中的关键信息，降低对次要信息的注意程度，甚至直接过滤掉无关信息。现有将注意力机制与神经网络结合的推荐模型，在很大程度上能够满足常见的推荐任务需求。但是这类模型在跨域推荐、深度强化学习推荐以及多模态推荐等复杂推荐场景中，仍面临一些挑战，例如跨域推荐需要模型具备迁移学习的能力，强化学习推荐需要进行长期奖励建模。

关键词: 推荐系统, 深度学习, 神经网络, 注意力机制

摘要：探索神经网络如何将注意力机制及其变体结合起来，以更好地学习用户和项目之间复杂和隐含的关系，从而提高建议的准确性和个性化。本文从六种典型的神经网络：多层感知器、卷积神经网络、递归神经网络、自动编码器、图神经网络和反向传播神经网络出发，研究了它们与推荐注意机制相结合的过程。具体来说，基于点击率预测、标签推荐、评论评分预测等典型应用场景，分析了其优缺点。通过将神经网络与注意机制相结合，该模型可以集中于输入数据中的关键信息，减少对次要信息的注意，甚至可以直接过滤掉无关信息。现有的将注意力机制与神经网络相结合的推荐模型在很大程度上可以满足常见推荐任务的需求。然而，这种模型在跨领域推荐、深度强化学习推荐和多模式推荐等复杂推荐场景中仍然面临一些挑战。例如，跨领域推荐需要具有迁移学习能力的模型，而强化学习推荐需要长期的奖励建模。

关键词： 推荐系统，深度学习，神经网络，注意机制

高广尚. 推荐系统中神经网络结合注意力机制研究综述[J] ●●●●。计算机工程与应用, 2024, 60(10): 47-60.

高光尚。推荐系统中神经网络与注意机制相结合的研究综述[J]。计算机工程与应用，2024，60（10）：47-60。

参考文献

[1] 王喆. 深度学习推荐系统[M] ●●●●。北京: 电子工业出版社, 2020
王忠.深度学习推荐系统[M]。北京：电子工业出版社，2020年。
[2] 黄昕, 赵伟, 王本友. 推荐系统与深度学习[M] ●●●●。北京: 清华大学出版社, 2019
黄旭，赵伟，王碧英.推荐系统与深度学习[M]。北京：清华大学出版社，2019年。
[3] ROY D，DUTTA M.推荐系统的系统回顾与研究视角[J]。《大数据杂志》，2022，9（1）：59。
[4] 徐凯，BA J，KIROS R，等.展示、出席和讲述：视觉注意下的神经图像字幕生成[C]//第32届国际机器学习会议论文集，2015:2048-2057。
[5] VASWANI A，SHAZEER N，PARMAR N，et al.注意力是你所需要的一切[C]//《神经信息处理系统的进展》302017：5998-6008。
[6] JHAMB Y，EBESU T，FANG Y.推荐关注上下文去噪自动编码器[C]//2018 ACM SIGIR信息检索理论国际会议论文集，2018:27-34。
[7] TAY Y，LUU A T，HUI S C.建议的多点共同关注网络[C]//第24届ACM SIGKDD知识发现与数据挖掘国际会议论文集，2018：2309-2318。
[8] SOYDANER D.神经网络中的注意机制：它来了又去了[J]。神经计算与应用，2022，34（16）：13371-13385。
[9] 朱张莉, 饶元, 吴渊, 等. 注意力机制在深度学习中的研究进展[J] ●●●●。中文信息学报, 2019, 33(6): 1-11.
朱自立，饶毅，吴毅，等。深度学习中注意机制的研究进展[J]。中国信息处理杂志，2019，33（6）：1-11。
[10] 张S，姚立，孙安，等。基于深度学习的推荐系统：综述与新视角[J]。ACM计算调查，2019，52（1）：5。
[11] 黄立威, 江碧涛, 吕守业, 等. 基于深度学习的推荐系统研究综述[J] ●●●●。计算机学报, 2018, 41(7): 1619-1647.
HUANG L W，JIANG B T，LV S Y，et al.基于深度学习的推荐系统综述[J]。中国计算机学报，2018，41（7）：1619-1647。
[12] 肖杰，叶赫，何X，等。注意因子分解机：通过注意网络学习特征交互的权重[J]。arXiv:1708.046172017年。
[13] 周刚，朱霞，宋C，等.点击率预测的深度兴趣网络[C]//第24届ACM SIGKDD知识发现与数据挖掘国际会议论文集，2018:1059-1068。
[14] 吴俊杰, 刘冠男, 王静远, 等. 数据智能: 趋势与挑战[J] ●●●●。系统工程理论与实践, 2020, 40(8): 2116-2149.
WU J J，LIU G N，WANG J Y，et al.数据智能：趋势与挑战[J]。系统工程理论与实践，2020，40（8）：2116-2149。
[15] MU R.基于深度学习的推荐系统综述[J]。IEEE Access，2018年，6:69009-69022。
[16] 方赫，郭刚，张德，等。基于深度学习的顺序推荐系统：概念、算法和评价[C]//第十九届网络工程国际会议论文集。查姆：施普林格，2019:574-577。
[17] DA'U A，SALIM N.基于深度学习方法的推荐系统：系统回顾和新方向[J]。《人工智能评论》，2020，53（4）：2709-2748。
[18] BATMAZ Z，YUREKLI A，BILGE A，et al.推荐系统深度学习研究综述：挑战与对策[J]。《人工智能评论》，2019，52（1）：1-37。
[19] 孙忠，郭强，杨杰，等。附带信息推荐研究述评：调查与研究方向[J]。电子商务研究与应用，2019，37:100879。
[20] 黄敏, 齐海涛, 蒋春林. 基于注意力机制的耦合协同过滤模型[J] ●●●●。华南理工大学学报 (自然科学版), 2021, 49(7): 59-65.
黄敏，齐海涛，姜春林.基于注意机制的耦合协同过滤模型[J]。华南理工大学学报（自然科学版），2021，49（7）：59-65。
[21]CHENG H T，KOC L，HARMSEN J，et al.推荐系统的广泛和深入学习[C]//第一届推荐系统深度学习研讨会论文集，2016:7-10。
[22]邓磊，于丹.深度学习：方法与应用[J]。发现趋势信号过程，2014，7（3/4）：197-387。
[23]郭浩，汤瑞，叶毅，等.深度FM:一种基于因子分解机器的神经网络预测CTR[C]//第26届国际人工智能联合会议论文集，2017:1725-1731。
[24]COVINGTON P，ADAMS J，SARGIN E.Youtube推荐深度神经网络[C]//第十届ACM推荐系统会议论文集，2016:191-198。
[25]周刚，牟恩，范毅，等.点击率预测的深度兴趣演化网络[C]//第33届AAAI人工智能会议论文集，2019:5941-5948。
[26]FENG Y，LV F，SHEN W，等.点击率预测的深度会话兴趣网络[J]。arXiv:1905.064822019年。
[27]欧阳伟，张欣，李磊，等.用于点击率预测的深空时神经网络[C]//第25届ACM SIGKDD国际知识发现与数据挖掘会议论文集，2019:2078-2086。
[28]李旭，王C，童B，等.点击率预测的深度时间感知项目演化网络[C]//第29届ACM信息与知识管理国际会议论文集，2020：785-794。
[29]LEI K，FU Q，YANG M，等.基于注意胶囊网络的文本分类标签推荐[J]。神经计算，2020，391:65-73。
[30] 徐鹏宇, 刘华锋, 刘冰, 等. 标签推荐方法研究综述[J] ●●●●。软件学报, 2021, 33(4): 1244-1266.
徐鹏英，刘海峰，刘斌，等.标签推荐方法综述[J]。软件杂志，2022，33（4）：1244-1266。
[31]袁杰，金毅，刘伟，等.基于注意的神经标签推荐[C]//第24届高级应用数据库系统国际会议论文集，2019:350-365。
[32]陈X，张毅，AI Q，等.个性化关键帧建议[C]//第40届国际ACM SIGIR信息检索研究与开发会议论文集，2017:315-324。
[33]OORD A V D，DIELEMAN S，SCHRAUWEN B。基于深度内容的音乐推荐[C]//神经信息处理系统进展26，2013:2643-2651。
[34]WANG S，WANG Y，TANG J，et al.你的图像揭示了什么：利用视觉内容进行兴趣点推荐[C]//第26届国际万维网大会论文集，2017:391-400。
[35]HE R，MCAULEY J.起伏：用一类协同过滤建模时尚趋势的视觉演变[C]//第25届国际万维网大会论文集，2016:507-517。
[36]HE R，MCAULEY J.VBPR:隐式反馈的可视化贝叶斯个性化排名[C]//第30届AAAI人工智能会议论文集，2016:144-150。
[37]HE X，DU X，WANG X，等.基于外部产品的神经协同过滤[C]//第27届国际人工智能联合会议论文集，2018:2227-2233。
[38]SEO S，HUANG J，YANG H，et al.具有双重局部和全局关注的可解释卷积神经网络用于评估评级预测[C]//第十一届ACM推荐系统会议论文集，2017:297-305。
[39]ASGHAR N.Yelp数据集挑战：审查评级预测[J]。arXiv:1605.053622016年。
[40]SEO S，HUANG J，YANG H，et al.使用基于注意的卷积神经网络对用户和项目进行表征学习以进行评估评级预测[C]//2007年推荐系统机器学习方法国际研讨会论文集，2017:124-135。
[41]LIU D，LI J，DU B，et al.DAML:项目建议评级和评审之间的双注意相互学习[C]//第25届ACM SIGKDD知识发现和数据挖掘国际会议论文集，2019:344-352。
[42]黄J，韩Z，徐H，等.适应变压器网络的新闻推荐[J]。神经计算，2022，469:119-129。
[43]王赫，张飞，谢X，等.DKN:新闻推荐的深度知识软件网络[C]//2018年万维网大会论文集，2018：1835-1844。
[44]WU C，WU F，AN M，et al.NPA：个性化关注的神经新闻推荐[C]//第25届ACM SIGKDD知识发现与数据挖掘国际会议论文集，2019:2576-2584。
[45]WU G，LI Y，YAN W，et al.基于注意的神经图像哈希标签网络哈希标签推荐[C]//第25届神经信息处理国际会议论文集，2018:52-63。
[46]龚毅，张琪.使用基于注意的卷积神经网络的Hashtag推荐[C]//第25届国际人工智能联合会议论文集，2016:2782-2788。
[47]HIDASI B，KARATZOGLOU A，BALTRUNAS L，等.基于会话的递归神经网络推荐[J]。arXiv:1511.069392015年。
[48]JANNACH D，LUDEWIG M.当递归神经网络满足基于会话的推荐邻域时[C]//第11届ACM推荐系统会议论文集，科莫，2017:306-310。
[49]WU C-Y，AHMED A，BEUTEL A，et al.递归推荐网络[C]//第十届ACM网络搜索与数据挖掘国际会议论文集，剑桥，2017:495-503。
[50]XIA L，LI Z.一种基于时间注意机制的LSTM网络异常行为检测新方法[J]。超级计算杂志，2021，77（4）：3223-3241。
[51]CHOROWSKI J，BAHDANAU D，SERDYUK D，et al.基于注意的语音识别模型[C]//神经信息处理系统进展28，蒙特利尔，2015:577-585。
[52]史敏，沈德，孔毅，等.基于序列特征挖掘和公众偏好感知的下一步兴趣点推荐[J]。智能与模糊系统杂志，2021，40（3）：4075-4090。
[53]MANOTUMRUKSA J，MACDONALD C，OUNIS I.情境软件场馆推荐的情境注意重现架构[C]//第41届ACM SIGIR信息检索研究与开发国际会议论文集，安娜堡，2018:555-564。
[54] 李全, 许新华, 刘兴红, 等. 融合时空感知GRU公司和注意力的下一个地点推荐[J] ●●●●。计算机应用, 2020, 40(3): 677-682.
李强，徐晓H，刘晓H，等.基于时空感知GRU和注意力的下一步位置推荐[J]。计算机应用杂志，2020，40（3）：677-682。
[55]曾J，何X，汤H，等.基于递归神经网络和自我关注的下一步位置预测方法[C]//第15届EAI国际协作计算会议论文集：网络、应用和工作共享，伦敦，2019年8月19-22日：309-322。
[56]CHENG X，LI N，RYSBAYEVA G，et al.影响感知连续兴趣点推荐[J]。万维网，2023，26（2）：615-629。
[57]郭强，孙Z，张杰，等.个性化下一位置推荐的注意力回归神经网络[C]//第34届AAAI人工智能会议论文集，2020：83-90。
[58]陈平，李J.基于加权序列损失的回购建议递归模型[C]//材料科学与工程会议系列，2019:062062。
[59]BAI T，ZOU L，ZHAO W X，et al.CTrec:连续时间推荐的长短需求演化模型[C]//第42届国际ACM SIGIR信息检索研究与开发会议论文集，2019:675-684。
[60]CHEN P，LI J.一种产品回购建议的具有自我关注的递归模型[C]//2019年第四届国际数学与人工智能会议论文集，2019:199-203。
[61]尹峰，季明，李斯，等.异质关注下的神经电视节目推荐[J]。知识与信息系统，2022，64（7）：1759-1779。
[62]YIN F，LI S，JI M，et al.标签和用户双重关注的神经电视节目推荐[J]。应用情报，2022，52（1）：19-32。
[63]GOODFELLOW I，BENGIO Y，COURVILLE A.深度学习[M]。剑桥：麻省理工学院出版社，2016年。
[64]张刚，刘毅，金霞.基于自动编码器的推荐系统综述[J]。计算机科学前沿，2020，14（2）：430-450。
[65]陈J，张华，贺X，等.关注协同过滤：多媒体推荐与项目级和组件级关注[C]//第40届国际ACM SIGIR信息检索研究与开发会议论文集，2017:335-344。
[66]沈T，贾杰，李毅，等.利用社交媒体内容加强音乐推荐：一种专注的多模式自动编码器方法[C]//《2020年神经网络国际联合会议论文集》，2020年7月19日至24日：1-8。
[67]李磊，陶德，郑C，等.专注于内容软件音乐推荐的自动编码器[J]。CCF普及计算与交互学报，2022，4（1）：76-87。
[68]尹赫，周X，邵毅，等.基于兴趣点建议的用户签入行为联合建模[C]//第24届ACM信息与知识管理国际会议论文集，2015:1631-1640。
[69]MA C，ZHANG Y，WANG Q，et al.兴趣点建议：利用具有邻域软件影响的自关注自动编码器[C]//第27届ACM信息与知识管理国际会议论文集，都灵，2018:697-706。
[70]魏毅，王X，倪L，等.隐式反馈下多媒体推荐的图精化卷积网络[C]//第28届ACM国际多媒体会议论文集，2020：3541-3549。
[71]TING C C，BOWLES M，IDEWU I.基于图神经网络和注意机制的微视频推荐模型[J]。arXiv:2205105882022年。
[72]MA J，BIAN K，WEN J，et al.SRDPR：社会关系驱动的个性化微视频推荐动态网络[J]。专家系统与应用，2023，226:120157。
[73]SHOKEEN J，RANA C.社会推荐系统特征研究[J]。《人工智能评论》，2020年，53:965-988。
[74]FAN W，MA Y，LI Q，et al.用于社会推荐的图形神经网络[C]//2019年万维网会议论文集，旧金山，2019:417-426。
[75]马X，董磊，王毅，等.社会推荐中的强化注意内隐关系嵌入[J]。数据与知识工程，2023，145:102142。
[76]宋伟，肖泽，王毅，等.基于会话的动态图形关注网络社交推荐[C]//第十二届ACM网络搜索与数据挖掘国际会议论文集，墨尔本，2019:555-563。
[77]LIU C，LI Y，LIN H，et al.GNNRec:基于会话的社会推荐模型的门控图神经网络[J]。智能信息系统杂志，2023，60（1）：137-156。
[78]GOH A T.建模复杂系统的反向传播神经网络[J]。工程人工智能，1995，9（3）：143-151。
[79]XI W D，HUANG L，WANG C D，et al.BPAM:基于BP神经网络和注意机制的推荐[C]//第28届国际人工智能联合会议论文集，2019:3905-3911。
[80]王C D，XI W D，HUANG L，等.一种带注意机制的BP神经网络推荐框架[J]。IEEE知识与数据工程汇刊，2022，34（7）：3029-3043。
[81]HU Z Y，HUANG J，DENG Z H，et al.BCFNet：一种具有注意力机制的平衡协同过滤网络[J]。arXiv:2103.061052021。
[82]KHAN M M，IBRAHIM R，GHANI I.跨域推荐系统：一个系统的文献综述[J]。ACM计算调查，2017，50（3）：1-34。
[83]FERNáNDEZ-TOBíAS I，CANTADOR I，KAMINSKAS M，et al.跨域推荐系统：最新技术综述[C]//2012年西班牙信息检索会议论文集，2012。
[84]李L.强化学习中的非政策性评价透视[J]。计算机科学前沿，2019，13（5）：911-912。
[85] 梁星星, 冯旸赫, 黄金才, 等. 基于自回归预测模型的深度注意力强化学习方法[J] ●●●●。软件学报, 2020, 31(4): 948-966.
梁晓霞，冯永华，黄建中，等.基于注意值函数和自回归环境模型的新型深度强化学习算法[J]。软件杂志，2020，31（4）：948-966。
[86]TAY Y，LUU A T，HUI S C.建议的多点共同关注网络[C]//第24届ACM SIGKDD知识发现与数据挖掘国际会议论文集，2018：2309-2318。
[87]胡斌，史春华，赵文新，等.利用基于元路径的上下文与神经共同注意模型进行top-n推荐[C]//第24届ACM SIGKDD知识发现与数据挖掘国际会议论文集，2018：1531-1540。