计算机科学

计算机科学››2024,第51卷››问题（5）: 45-53.数字对象标识：10.11896/jsjkx.230200049

•数据库、大数据和数据科学• 以前的文章   下一篇文章

序列推荐的时序预训练方法

陈文忠1、陈红梅1,2、周丽华1,2、方圆三  

  1. 1云南大学信息科学与工程学院，昆明650500
    2云南大学智能系统与计算云南省重点实验室，昆明650500
    3云南大学西南天文学研究所，昆明650500
  • 收到：2023-02-08 修订过的：2023-05-24 在线：2024-05-15 出版：2024-05-08
  • 关于作者：陈文忠，1994年生，研究生，中共党员（No.J6048G）。他的主要研究兴趣包括推荐系统和异构信息网络分析。
    陈红梅，1976年生，博士，副教授，中共党员（49450M）。她的主要研究兴趣包括空间数据挖掘和基于位置的社交网络分析。
  • 支持单位：
    国家自然科学基金项目（622660506227627）、云南省中青年学术和技术储备领导计划项目（202205AC160033）、云南基础研究项目（202201AS070015）、云南智能系统与计算重点实验室开放项目（ISC22Z02）。

PDF（PC）

116

摘要：序列推荐旨在通过分析用户和项目之间的历史交互序列，了解用户的动态偏好，并推荐用户可能感兴趣的下一个项目。预训练模型因其适用于下游任务的优点，在序列推荐中受到了研究者的关注。现有的序列推荐预训练方法忽略了实际生活中时间对用户交互行为的影响。为了更好地捕捉用户和项目之间交互的时间语义，本文提出了一种新的模型TPTS-Rec（时序推荐的时间感知预训练方法）。首先，在嵌入层中引入时间嵌入矩阵，以获得用户交互序列中项目与时间之间的相关性。然后，在自关注层中提出了相同的时间采样方法，以学习项目之间的时间相关性。最后，在微调阶段，从时间维度放大用户交互序列以缓解数据稀疏性。在实际数据集上的实验结果表明，所提出的TPTS-Rec模型优于基线模型。

关键词： 序列建议， 训练前， 自我监督学习， 相互信息最大化， 时间属性

CLC编号：

  • TP391型
[1] 李丽华，魏聪，兰福德J，等。个性化新闻文章推荐的语境-盗版方法[C]//第十九届万维网国际会议。计算机协会，2010:661-670。
[2] 程振堂，钟涛，张春明，等.基于图学习的推荐系统综述[J]。计算机科学，2022,49（9）：1-13。
[3] 田忠，潘立明，尹平，等.深度矩阵分解的推荐算法[J]。软件杂志，2021,32（12）：3917-3928。
[4] 周福清，程文清.基于全局增强图神经网络的序列推荐[J]。计算机科学，2022,49（9）：55-63。
[5] MOONEY R J，ROY L.基于内容的书籍推荐使用学习进行文本分类[C]//第五届ACM数字图书馆会议。计算机协会，2000:195-204。
[6] CHEN X S，LIU D，LEI C Y，et al.BERT4SessRec:基于内容的视频相关性预测，具有来自Transformer的双向编码器表示[C]//27 ACM国际多媒体会议。计算机协会，2019:2597-2601。
[7] 周坤，赵晓伟，卞世喜，等.基于知识图的语义融合改进会话推荐系统[C]//第26届ACM SIGKDD国际知识发现与数据挖掘会议。计算机协会，2020:1006-1014。
[8] ZHANG Y D，LI C Z，XIE X，et al.几何纠缠协同过滤[C]//第45届国际ACM SIGIR信息检索研究与发展会议。计算机协会，2022:80-90。
[9] 赵明华，吴磊，梁玉玲，等.基于图的协同过滤的准确性和新颖性研究[C]//45届国际ACM SIGIR信息检索研究与开发会议。计算机协会，2022:50-59。
[10] 周凯、王华、赵晓伟等三-Rec：基于相互信息最大化的序贯推荐的自我监督学习[C]//29届ACM信息与知识管理国际会议。计算机协会，2020:1893-1902。
[11] 陈永杰，刘志伟，李杰，等.序贯推荐的意向对比学习[C]//ACM Web Conference 2022.计算机协会，2022:2172-2182。
[12] 周凯，余赫，赵晓伟，等.增强型MLP是顺序推荐所需的一切[C]//ACM Web Conference 2022.计算机协会，2022:2388-2399。
[13] HIDASI B，TIKK D.con-text-aware建议的一般因子分解框架[J].arXiv:1401.45292014。
[14] 方毅，谭姿，陈志毅，等.异构信息网络冷启动推荐的比较元学习[J]。软件杂志，2023,34（10）：1-19。
[15] WU S，TANG S，ZHU Y Y，等.基于会话的图形神经网络推荐[C]//第三十三届AAAI人工智能大会和第三十届AAAI.人工智能创新应用大会和第九届AAAI-人工智能教育进展研讨会。AAAI出版社，2019:346-353。
[16] 邵永伟，张明，马维珍，等.集成商品潜在互补性发现的个性化推荐方法[J]。软件杂志，2020,31（4）：1090-1100。
[17] 戴夫林J，张敏伟，李凯，等.BERT:语言理解的深层双向变形金刚预训练[J].arXiv:1810.048052018。
[18] LIAN D F，WU Y J，GE Y，et al.地理感知序列位置建议[C]//第26届ACM SIGKDD国际知识发现与数据挖掘会议。计算机协会，2020:2009-2019。
[19] BREESE J S，HECKERMAN D，KADIE C.协作过滤预测算法的实证分析[C]//第十四届人工智能不确定性会议。摩根考夫曼出版社，1998:43-52。
[20] 方赫，张德，舒毅，等。顺序推荐的深度学习：算法、影响因素与评价[J]。ACM信息系统汇刊，2019,39（1）：1-42。
[21]常J X，高C，郑毅，等.基于图神经网络的序贯推荐[C]//44届国际ACM SIGIR信息检索研究与开发会议。计算机协会，2021:378-387。
[22]YANG D Q，FANKHAUSER B，ROSSO P，et al.使用RNNs对稀疏用户移动跟踪的位置预测：隐藏状态下的闪回！[C] //第二十届国际人工智能联合会议和第十七届环太平洋国际人工智能会议。2020:2156-2161。
[23]SUN F，LIU J，WU J，et al.BERT4Rec:变压器双向编码器表示的顺序建议[C]//28 ACM信息与知识管理国际会议。计算机协会，2019:1441-1450。
[24]张天腾，赵宝萍，刘永川，等.特征级深度自我注意网络的序贯推荐[C]//第二十八届国际人工智能联合会议。AAAI出版社，2019:4320-4326。
[25]HJELM R D，FEDOROV A，LAVOIE-MARCHILDON S，et al.通过相互信息估计和最大化学习深度表征[C]//ICLR 2019会议盲提交（IJCAI-19）。ICLR，2019:1-24。
[26]HE X N，DENG K，WANG X，et al.LightGCN:为建议简化和增强图卷积网络[C]//第43届国际ACM SIGIR信息检索研究与开发会议（SIGIR’20）。计算机械协会，2020:639-648。
[27]HIDASI B，QUADRANA M，KARATZOGLOU A，et al.面向特征丰富的基于会话的建议的并行递归神经网络架构[C]//ACM第十届推荐系统会议。计算机协会，2016:241-248。
[28]TANG J，WANG K.基于卷积序列嵌入的个性化Top-N序列推荐[C]//第十一届ACM网络搜索与数据挖掘国际会议。计算机械协会，2018:565-573。
[29]YUE Y，HONG S A，GUESTRIN C.加速上下文强盗的层次探索[C]//第29届国际机器学习会议（ICML’12）.2012:1-8。
[30]姚天山，易晓云，程志德，等.基于深度模型的自主学习推荐[J].arXiv:2007.128652020。
[1] 张志远、张伟彦、宋玉秋、阮彤。基于跨层次多视角特征融合的多语言事件检测[J] ●●●●。计算机科学，2024，51（5）：208-215。
[2] 吴家伟、方全、胡军、钱生生。用于多标签文档分类的异构图神经网络预训练[J] ●●●●。计算机科学，2024，51（1）：143-149。
[3] 唐佳，郭燕，叶明伟，吴贵兴。多视图对比学习和语义增强的多模态预训练方法[J] ●●●●。计算机科学，2024，51（1）：168-174。
[4] 李翔、范志光、林楠、曹杨杰、李雪香。三维真实场景问答的自监督学习[J] ●●●●。计算机科学，2023，50（9）：220-226。
[5] 刘毅，耿新宇，白静。基于并行卷积网络信息融合的分层多标签文本分类算法[J] ●●●●。计算机科学，2023，50（9）：278-286。
[6] 蔡浩然，杨健，杨林，刘聪。基于交替训练和预训练的低资源泰语语音合成[J] ●●●●。计算机科学，2023，50（6A）：220800127-5。
[7] 曾武、毛国军。基于多粒度特征聚合的少快照学习方法[J] ●●●●。计算机科学，2023，50（6A）：220400029-10。
[8] 王太炎、潘祖烈、于璐、宋景斌。基于预训练汇编指令表示的二进制代码相似性检测方法[J] ●●●●。计算机科学，2023，50（4）：288-297。
[9] 罗晓辉、吴云、王晨兴、于文婷。基于用户长期和短期偏好的序贯推荐模型[J] ●●●●。计算机科学，2023，50（4）：47-55。
[10] 刘哲、尹成峰、李天瑞。基于BERT和多特征融合嵌入的汉语拼写检查[J] ●●●●。计算机科学，2023，50（3）：282-290。
[11] 王鹏宇、泰文新、刘芳、钟婷、罗旭成、周凡。基于数据增强的自监督飞行轨迹预测[J] ●●●●。计算机科学，2023，50（2）：130-137。
[12] 朱磊、王善民、刘青山。基于细节人脸模板的自监督三维人脸重建[J] ●●●●。计算机科学，2023，50（2）：214-220。
[13] 苏琦，王洪玲，王忠清。基于预训练模型的无监督脚本摘要[J] ●●●●。计算机科学，2023，50（2）：310-316。
[14] 何文浩、吴春江、周世杰、何朝新。基于无监督SimCSE的短文本聚类研究[J] ●●●●。计算机科学，2023，50（11）：71-76。
[15] HOU Yu-tao、ABULIZI Abudukelimu、Abudukelimu Halidanmu。中国训练前模型研究进展[J] ●●●●。计算机科学，2022，49（7）：148-163。
已查看
全文


摘要

引用
  共享   
  讨论   
找不到建议阅读的文章！
渝国际比较项目16013121？-4
地址：中国重庆市渝北区洪湖西路18号邮编：401121
电话：023-63500828/023-67039612/023-67039623
电子邮件：jsjkx12@163.com
技术支持北京美格科技有限公司。