埃多尔多·法达;迪科索，伊夫琳娜;戴维·布鲁斯科;弗拉德·斯特凡·艾莱内;亚历山大·巴兰·雷尔斯 自适应预算影响最大化问题的基于数学的强化学习。 （英语） 兹比尔1533.91395 网络 83，第3号，547-569（2024）. 摘要：在社交网络中，影响最大化问题需要选择一组初始节点进行影响，以便在某些扩散模型下影响的传播达到最大。通常，问题是以两阶段未预算的方式表述的：决策者选择给定数量的节点来影响并观察结果。在问题的自适应版本中，可以在给定时间间隔的每个时间步选择节点。这使得决策者能够利用传播的观察结果，做出更好的决策。本文考虑了自适应预算影响最大化问题，即决策者有一个有限的预算来影响节点，并且每个节点都需要影响一个成本的自适应问题。我们提出了两种解决方法：第一种是利用混合整数线性问题的近似值迭代，而第二种是利用图神经网络的新概念。大量的数值实验证明了所提方法的有效性。©2023作者。网络威利期刊有限责任公司出版。 MSC公司： 91天30分 社交网络；意见动态 90立方厘米 随机规划 关键词：自适应预算影响最大化问题;近似动态规划;图形神经网络;混合整数线性问题;强化学习;两阶段随机问题 PDF格式BibTeX公司 XML格式引用 \textit{E.Fadda}等人，Networks 83，No.3，547--569（2024；Zbl 1533.91395） 全文： 内政部 OA许可证 参考文献： [1] R.Albert和A.‐L。巴拉巴西，《复杂网络的统计力学》，修订版。《物理学》第74卷（2002年），第47-97页·Zbl 1205.82086号 [2] P.Almasan、J.Suárez‐Varela、K.Rusek、P.Barlet‐Ros和A.Cabellos‐Aparicio，深度强化学习与图形神经网络：探索路由优化用例，计算。196年（2022年），184-194年。 [3] Backlinko.com.Instagram人口统计。2022 [4] A.Baldo、M.Boffa、L.Cascioli、E.Fadda、C.Lanza和A.Ravera，多项式鲁棒背包问题，欧洲期刊Oper。第305号决议（2023年），1424-1434年·Zbl 07632176号 [5] S.Bharathi、D.Kempe和M.Salek，“社交网络中的竞争影响力最大化”，《计算机科学讲义》，施普林格，柏林-海德堡，2007年，第306-311页。 [6] C.Borgs、M.Brautbar、J.Chayes和B.Lucier。在几乎最佳的时间内最大化社会影响。第二十五届ACM‐SIAM离散算法年度研讨会论文集。工业与应用数学学会，第946-957页。2013. ·兹比尔1420.68248 [7] P.Brandimarte，《从最短路径到强化学习》，施普林格国际出版社，柏林，海德堡，2021年。 [8] G.Brockman、V.Cheung、L.Pettersson、J.Schneider、J.舒尔曼、J.Tang和W.Zaremba。Openai健身房。2016 [9] 商业。受信任的商店。Gruppi utentie社交媒体。2021 [10] H.Chen、W.Qiu和H.‐C。Ou、B.An和M.Tambe。应急意识影响最大化：强化学习方法。2021 [11] T.Chen、J.Guo和W.Wu，《社交网络中的自适应多功能预算利润最大化》，Soc.Netw。分析。最低12（2022），164。 [12] W.Chen、A.Collins、R.Cummings、T.Ke、Z.Liu、D.Rincon、X.Sun、Y.Wang、W.Wei和Y.Y.Yuan。当负面意见可能出现并传播时，在社交网络中影响最大化。2011年SIAM数据挖掘国际会议记录。工业和应用数学学会，第379-390页。2011 [13] J.‐F.公司。Cordeau，F.Furini和I.Ljubić，超大规模局部集覆盖和最大覆盖位置问题的Benders分解，Eur.J.Oper。第275号决议（2019年），882-896·Zbl 1430.90372号 [14] A.Cuzzocrea、C.K.Leung、D.Deng、J.J.Mai、F.Jiang和E.Fadda，《支持社会影响预测的深度学习和转移学习相结合的方法》，《Procedia计算科学》177（2020），170-177。 [15] P.Domingos和M.Richardson。挖掘客户的网络价值。第七届ACM SIGKDD知识发现和数据挖掘国际会议论文集。计算机协会（ACM），第57-66页。2001 [16] C.Gao、S.Gu、J.Yu、H.Du和W.Wu，《社交网络中利润最大化的适应性播种》，J.Glob。优化82（2021），413-432·Zbl 1486.91062号 [17] D.Golovin和A.Krause，《自适应子模块：主动学习和随机优化的理论和应用》，J.Artif。智力。第42号决议（2011年），427-486·Zbl 1230.90141号 [18] P.Goyal和E.Ferrara，《图形嵌入技术、应用和性能：调查》，《知识》基于系统151（2018），78-94。 [19] E.Güney，《关于社会网络中预算影响最大化问题的最优解》，Oper。第19号决议（2017年），817-831。 [20] E.Güney、M.Leitner、M.Ruthmair和M.Sinnl，《通过最大覆盖位置实现大规模影响力最大化》，欧洲期刊Oper。第289（2021）号决议，第144-164页·兹比尔1487.91096 [21] K.Han、K.Huang、X.Xiao、J.Tang、A.Sun和X.Tang，自适应影响最大化的高效算法，Proc VLDB Endow11（2018），1029-1040。 [22] S.Han、F.Zhuang、Q.He和Z.Shi，“社交网络中预算影响力最大化的平衡种子选择”，《知识发现和数据挖掘的进展》，施普林格国际出版社，柏林，海德堡，2014年。 [23] H.V.Hasselt、A.Guez和D.Silver，《双q学习深度强化学习》，《AAAI Conf Artif Intell30程序》（2016），2094-2100。 [24] K.Huang，J.Tang，K.Han，X.Xiao，W.Chen，A.Sun，X.Tang和A.Lim，自适应影响最大化的有效近似算法，Vldb J.29（2020），1385-1406。 [25] K.Huang、Y.Wu、X.Zhang、S.Tu、Q.Wu、M.Wang和H.Wang。有效的强化学习可实现在线自适应影响最大化。2022 [26] C.O.Huelsnitz、R.E.Jones、J.A.Simpson、K.Joyal‐Desmarais、E.C.Standen、L.A.Auster‐Gussman和A.J.Rothman，二元健康影响模型，个人。Soc.精神科。第26版（2021年），3-34。 [27] M.Kahr、M.Leitner、M.Ruthmair和M.Sinnl，《（社会）网络中竞争影响力最大化的Benders分解》，Omega100（2021），102264。 [28] D.Kempe、J.Kleinberg和E。塔尔多斯。通过社交网络最大限度地扩大影响力。第九届ACM SIGKDD知识发现和数据挖掘国际会议论文集。计算机协会（ACM），第137-146页。2003. [29] D.Kempe、J.Kleinberg和E。塔尔多斯，“社交网络扩散模型中的影响节点”，《自动化，语言和编程》，施普林格出版社，柏林-海德堡，2005年，第1127-1138页·Zbl 1084.91053号 [30] D.P.Kingma和J.Ba.Adam：一种随机优化方法。2014 [31] S.Kumar、A.Mallik和B.Panda，《通过基于图形的LSTM使用转移学习在社交网络中实现影响力最大化》，专家系统。申请212（2023），118770。 [32] Y.LeCun、Y.Bengio和G.Hinton，《深度学习》，《自然》521（2015），第436-444页。 [33] K.M.Lee、S.G.Subramanian和M.Crowley。多智能体环境中独立强化学习算法的研究。2021 [34] J.Leskovec、D.Huttenlocher和J.Kleinberg。社交媒体中的签名网络。SIGCHI计算机系统人为因素会议记录。计算机协会（ACM），第1361-1370页。2010 [35] J.Leskovec、J.Kleinberg和C.Faloutsos，《图形进化：致密化和收缩直径》，ACM Trans。知识。发现。数据1（2007），2-43。 [36] J.Leskovec、K.J.Lang、A.Dasgupta和M.W.Mahoney，《大型网络中的社区结构：自然集群大小和缺乏定义明确的大型集群》，《互联网数学》第6期（2009年），第29-123页·Zbl 1205.91144号 [37] H.Li、M.Xu、S.S.Bhowmick、C.Sun、Z.Jiang和J.Cui。迪斯科：影响力最大化满足网络嵌入和深度学习。2019 [38] K.Liano，带离群值的监督神经网络学习的鲁棒误差度量，IEEE Trans。神经网络7（1996），246-250。 [39] J.Luo和R.Yu，追随内心还是头脑？情绪和认知的交互影响模型，Front。《心理学》第6卷（2015年），第573页。 [40] L.Ma、Z.Shao、X.Li、Q.Lin、J.Li、V.C.M.Leung和A.K.Nandi，通过使用进化深度强化学习实现复杂网络中的影响力最大化，IEEE跨新兴主题计算集成7（2023），995-1009。 [41] S.Manchanda、A.Mitaal、A.Dhawan、S.Medya、S.Ranu和A.Singh，“Gcomb:在十亿大小的图上学习预算约束组合算法”，《神经信息处理系统的进展》，第33卷，H.Larochelle（编辑）、M.Ranzato（编辑），R.Hadsell（编辑，2020年，第20000-2001页。 [42] J.McAuley和J.Leskovec。学习发现自我网络中的社交圈。第25届神经信息处理系统国际会议论文集-第1卷。NIPS’12。美国纽约州Red Hook:Curran Associates Inc.，p.539-547。2012 [43] Mention.com。Instagram关注者。2022 [44] P.Moritz、R.Nishihara、S.Wang、A.Tumanov、R.Liaw、E.Liang、M.Elibol、Z.Yang、W.Paul、M.I.Jordan和I.Stoica。雷：新兴人工智能应用程序的分布式框架。2017 [45] E.Mossel和S.Roch。关于社交网络中影响的子模块。第三十九届ACM计算理论年会论文集。计算机协会（ACM），第128-134页。2007. ·Zbl 1232.68183号 [46] 下一个数字。Esempi di社交媒体营销。2021 [47] H.Nguyen和R.Zheng，《社会网络中的预算影响力最大化》，IEEE J Sel Areas Commun31（2013），1084-1094。 [48] W.B.Powell，《近似动态规划》，John Wiley&Sons，Inc，新泽西州霍博肯，2011年·Zbl 1242.90002号 [49] S.Raghavan和R.Zhang，《社交网络上加权目标集选择问题的分支与切割方法》，INFORMS J Optim1（2019），304-322。 [50] S.Raghavan和R.Zhang，树和周期的加权目标集选择，网络77（2020），587-609。 [51] M.Richardson、R.Agrawal和P.Domingos，“语义网的信任管理”，《计算机科学讲义》，斯普林格，柏林-海德堡，2003年，第351-368页。 [52] B.Rozemberczki和R.Sarkar，“基于序列的快速嵌入与扩散图”，复杂网络IX，Springer International Publishing，Berlin，Heidelberg，2018年，第99-107页。 [53] A.斋藤。基于奖励稀疏性的课程学习用于任务完成对话管理的深度强化学习。2018年EMNLP研讨会SCAI会议记录：第二届面向搜索的会话人工智能国际研讨会。计算语言学协会。2018 [54] D.Schuler，社会计算，Commun。ACM37（1994），28-29。 [55] L.Seeman和Y.Singer。社交网络中的自适应播种。论文发表于：2013年IEEE第54届计算机科学基础年会。电气与电子工程师协会（IEEE），第459-468页。2013 [56] Statista.com。instagram用户的分布。2022 [57] R.斯特科尔什奇克。一些方法用于克服深度强化学习算法中的高估。2020 [58] R.Sutton和A.Barto，《强化学习：导论》，IEEE Trans。神经网络9（1998），1054。 [59] 唐Y.、肖X.和石Y。影响力最大化。2014年ACM SIGMOD国际数据管理会议记录。计算机协会（ACM）。2014 [60] S.Tian、S.Mo、L.Wang和Z.Peng，《基于深度强化学习的方法解决主题感知影响最大化问题》，《数据科学与工程》5（2020），第1-11页。 [61] G.Tong和R.Wang，关于一般反馈模型下的自适应影响最大化，IEEE Trans。Emerg.顶部。计算10（2022），463-475。 [62] G.Tong、R.Wang、Z.Dong和X.Li，时间约束自适应影响最大化，IEEE Trans-Comput Soc Syst8（2021），33-44。 [63] G.Tong、W.Wu、S.Tang和D.‐Z。杜，动态社交网络中的自适应影响最大化，IEEE/ACM Trans。Netw25（2017），第112-125页。 [64] S.Vaswani和L.V.S.Lakshmanan。社交网络中的适应性影响最大化：当你能够适应时，为什么要做出承诺？2016 [65] C.Wang、Y.Liu、X.Gao和G.Chen，社交网络中影响最大化的强化学习模型，数据库系统高级应用（2021），701-709。 [66] S.Wang、Z.Xu和V.‐A。特朗。超越自适应子模块：具有中间约束的自适应影响最大化。2019 [67] T.Wang、J.He和X.Wang，《基于在线社交网络的信息传播模型》，《物理A：统计力学应用》490（2018），488-496·Zbl 1514.91157号 [68] 高-高。Wu和S.Küçükyavuz，社交网络中影响最大化的两阶段随机规划方法，计算。最佳方案。申请69（2017），563-595·Zbl 1400.90238号 [69] W.Xu和W.Wu，《最佳社会影响》，施普林格国际出版社，柏林，海德堡，2020年·Zbl 1452.91009号 [70] J.Yuan和S.‐J。唐。社交网络中的自适应折扣分配。第18届ACM移动自组网和计算国际研讨会论文集。计算机协会（ACM），第1-10页。2017 [71] J.Zhu、S.Ghosh和W.Wu，《社交网络中的群体影响力最大化问题》，IEEE Trans-Comput Soc Syst6（2019），1156-1164。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。