{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{“日期-部件”：[[2024,6,7]]，“日期-时间”：“2024-06-07T05:13:32Z”，“时间戳”：1717737212858}，“参考-计数”：32，“出版商”：“计算机协会（ACM）”，“问题”：“3”，“资助者”：[{“DOI”：“10.13039\/501100001809”，“名称”：“中国国家自然科学基金”，“doi-asserted-by”：“crossref”，“award”：[“61972161”]，“id”：[{“id”:“10.13039\/501100001809”，“id type”：“doi”，“asserted by”：“crosref”}]}，{“name”：“香港RGC一般研究基金”，《award》：[“152199\/17E”]}基金会“，“doi-asserted-by”：“crossref”，“adward”：[“2020A1515011496”]，“id”：[{“id”:“10.13039\/501100021171”，“id类型”：“doi”，“asserted by”：“crosref”}]}]，“content-domain”：{“domain”:[“dl.acm.org”]，”crossmark-restriction“：true}，”short-container-title“：[”acm Trans.Knowl.Discov.Data“]，”published-print“：{“日期部分”：[[2021,6,30]]}，“摘要”：“自主式点播服务，如香港的GOGOX（前身为GoGoVan），为用户提供了一个请求服务的平台，也为供应商提供了满足此类需求的平台。在这样的平台上，供应商可以自主接受或拒绝发送给他/她的需求，因此在需求和供应商之间进行在线匹配是一项挑战。现有方法使用基于循环的方法来调度需求。在这些工作中，调度决策是基于供应商对本轮需求的预测响应模式，但它们都没有考虑未来需求和供应商对当前调度决策的影响。从未来的角度来看，这可能导致做出次优的调度决策。为了解决这个问题，我们提出了一种新的基于深度强化学习的需求调度模型。在这个模型中，我们将每个需求作为一个代理。每个代理的行为，即每个需求的调度决策，由一个集中式算法以协调的方式确定。该模型通过以下两个步骤工作。（1） 它使用历史过渡数据学习每个时空状态下的需求\u2019的预期值。（2） 基于学习值，采用组合优化算法，综合考虑下一轮需求的即时回报和期望值，进行多目标多目标调度。为了获得更高的总回报，未来期望值高（响应时间短）的需求可能会推迟到下一轮。相反，未来期望值较低（响应时间较长）的需求将立即发送。通过使用真实数据集的大量实验，我们表明该模型在取消率和平均响应时间方面优于现有模型<\/jats:p>“，”DOI“：”10.1145\/3442343“，”type“：”journal-article“，”created“：{”date-parts“：[2021,4,21]]，”date-time“：”2021-04-21T15:42:54Z“，”timestamp“：1619019774000}，”page“：“1-23”，“update-policy”：“http://\/dx.DOI.org\/10.1145\/crossmark-policy”，“source”：”Crossref“，”is-referenced-by-count“：6，”标题“：[”探索自主式点播服务中任务调度的深度强化学习“]，“前缀”：“10.1145”，“卷”：“15”，“作者”：[{“给定”：“雷”，“家庭”：“杨”，“序列”：“第一”，“隶属”：[}“名称”：“中国广东广州华南理工大学软件工程学院”}]}，{“给出”：“西”，“家人”：“余”，“sequence“：”additional“，”affiliation“：[{“name”：“中国广东广州华南理工大学软件工程学院”}]}，{“given”：“建农”，“family”：“Cao”，“sequence”：“additional”，“affiliation:[{”name“：香港九龙香港理工大学计算系”}]{，{given“：”Xuxun“，”family“：”刘“，”sequence“：”additional“，”affiliation“：[{”name“：”中国广东广州华南理工大学电子与信息工程学院“}]}，{”given“：”Pan“，”family“：”Zhou“，”sequence“:”additionable“，”feliation“:[{“name”：“”湖北省大数据安全工程研究中心、网络科学与工程学院、华中科技大学“}]}”，“成员”：“320”，“在线发布”：{“日期-部件”：[[2021,4,21]]}，“参考”：[{“密钥”：“e_1_2_1_1”，“卷-标题”：“第八届自治代理和多代理系统国际会议论文集。21\u201328”，“作者”：“Alshamsi Aamena”，“年份”：“2009”，“非结构化”：“Aamena Alshamsi、Sherief Abdallah和Iyad Rahwan。2009 . 出租车调度系统的多智能体自组织。在第八届自治代理和多代理系统国际会议的会议记录中。2013年8月21日。Aamena Alshamsi、Sherief Abdallah和Iyad Rahwan。2009年，出租车调度系统的多智能体自组织。在第八届自治代理和多代理系统国际会议的会议记录中。21\u201328.“}，{“key”：“e_1_1_2_1”，“volume-title”：“第十届IEEE协作计算国际会议论文集：网络、应用和工作共享.378\u2013387”，“author”：“Arunapuram P.”，“year”：“2014”，“unstructured”：“P.Arunapulam，J.W.Bartel，and P.Dewan.2014。堆栈溢出中响应时间的分布、关联和预测。第十届IEEE协作计算国际会议论文集：网络、应用和工作共享。378\u2013387。内政部：https:\/\/DOI.org\/10.4108\/icst.collaboratecom。2014.257265 10.4108 \/icst.collaboratecom.2014.2557265 P.Arunapuram、J.W.Bartel和P.Dewan。2014.堆栈溢出响应时间的分布、相关性和预测。第十届IEEE协作计算国际会议论文集：网络、应用和工作共享。378\u2013387。DOI:https:\/\/DOI.org\/10.4108\/icst.collaborationcom.2014.257265“}，{“key”：“e_1_1_3_1”，“volume-title”：“2015 IEEE第十四届机器学习与应用国际会议论文集.618\u2013623”，“author”：“Burlutskiy N.”，《年份》：“2015”，“非结构化”：“N.Burlutskiy，A.Fish，N.Ali，and M.Petridis.2015”。2019年问答社区用户响应时间预测。2015年IEEE第14届机器学习和应用国际会议论文集。618\u2013623。DOI:https:\/\/DOI.org\/10.109\/ICLA。2015.190 10.1109 \/ICMLA.2015.190 N.Burlutskiy、A.Fish、N.Ali和M.Petridis。2015.2019年问答社区用户响应时间预测。2015年IEEE第14届机器学习与应用国际会议论文集。618\u2013623。DOI:https:\/\/DOI.org\/10.109\/IMLA.2015.190“}，{“key”：“e_1_2_1_4_1”，“volume-title”：“第一届分布式人工智能国际会议论文集。ACM，第7条。https:\/\/doi.org/10”，“作者”：“陈勇”，“年份”：“2018”，“非结构化”：“陈勇、周明、温家宝、杨耀东、苏玉峰、张伟南、张戴尔、王军和刘汉。2018 . 大规模多智能体系统的因子化Q学习。第一届分布式人工智能国际会议论文集。ACM，第7条。https:\/\/doi.org\/10.1145\/335646.3357707 10.1145\/33564 64.3357707陈勇、周明、温颖、杨耀东、苏玉凤、张卫南、张戴尔、王军和刘韩。2018.大规模多智能体系统的因子化Q学习。第一届分布式人工智能国际会议论文集。ACM，第7条。https:\/\/doi.org\/10.1145\/3356464.3357707“}，{“key”：“e_1_2_1_5_1”，“volume-title”：“2017年IEEE第33届数据工程国际会议论文集。IEEE，997\u20131008”，“author”：“Cheng P.”，《年份》：“2017”，“unstructured”：“P.Cheng，X.Lian，L.Chen，and C.Shahabi.2017”。空间众包中基于预测的任务分配。2017年IEEE第33届国际数据工程会议论文集。IEEE，997\u20131008。DOI:https:\/\/DOI.org\/10.109\/ICDE。2017.146 10.1109 \/ICDE.2017.146 P.Cheng、X.Lian、L.Chen和C.Shahabi.2017年。空间众包中基于预测的任务分配。在2017年IEEE第33届国际数据工程会议论文集。IEEE，997\u20131008。DOI:https:\/\/DOI.org\/10.109\/ICDE.2017.146“}，{”key“：”e_1_2_1_6_1“，”volume-title“：”C“，”author“：”Geiger David“，“year”：“2014”，“unstructured”：“David Geiger and Martin Schader.2014。众包信息系统中的个性化任务推荐\u2014最新技术。决策支持系统65，C（2014），3\u201316。David Geiger和Martin Schader。2014.众包信息系统中的个性化任务建议\u2014最新技术。决策支持系统65，C（2014），3\u201316.“}，{”key“：”e_1_2_1_7_1“，”unstructured“：”GOGOX.2020。GOGOX香港。检索自https:\/\/www.gogox.com.hk.gogox。2020年，GOGOX香港。检索自https:\/\/www.gogox.com.hk.“}，{”key“：”e_1_1_8_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1145\/3357384.3357978”}，“key”：“e_2_1_9_1”，“article-title”：“学习在乘车外包系统中的延迟：一个多智能体深度强化学习框架”，“volume”：”10“，“author”：“Ke Kapolato”，“year”：“2020”，“unstructured”：“”柯锦涛、冯晓、海阳和叶洁平。2020 . 骑乘外包系统中的延迟学习：一个多智能体深度强化学习框架。IEEE知识与数据工程汇刊。DOI:10.1109。TKDE.020.3006084 10.1109。骑乘外包系统中的延迟学习：一个多智能体深度强化学习框架。IEEE知识与数据工程学报。DOI:10.1109\/TKDE.2020.3006084“，”journal-title“：”IEEE知识和数据工程学报.DOI“}，{”key“：”e_1_1_10_1“，”first page“：“3”，“article-title”：“移动众包绩效最大化的上下文软件分层在线学习”，“卷”：“26”，“作者”：“u00e9e M\u00fcller S.Klos”，“年份”：“2018年”，“非结构化”：“S.Klots n\u00e9 e M\u 00fcler，C.Tekin，M.van der Schaar，A.Klein。2018 . 移动众包中实现性能最大化的上下文软件分层在线学习。IEEE\/ACM网络交易26，3（2018年6月），1334\u20131347。内政部：https:\/\/DOI.org\/10.1109\/TNET.2018.2828415 10.1109\/TNET.2018.28215 S.Klos n\u00e9e M\u00fcller、C.Tekin、M.van der Schaar和A.Klein。2018.移动众包绩效最大化的情境软件分层在线学习。IEEE\/ACM网络交易26，3（2018年6月），1334\u20131347。DOI:https:\/\/DOI.org\/10.109\/TNET.2018.28415“，”journal-title“：”IEEE\/ACM网络事务“}，{“key”：“e_1_1_11_1”，“DOI-asserted-by”：“publisher”，”DOI“：”10.3141\/1882-23“}”，{”key“：”e_1_i_12_12_1“，”DOI-assert-by“：”publisher“，2_1_13_1“，”DOI-asserted-by“：”publisher“，“DOI”：“10.1145\/3219819.3219993“}，{“key”：“e_1_2_1_14_1”，“volume-title”：“第七届AAAI网络日志和社交媒体国际会议论文集”，“author”：“Mahmud Jalal”，“year”：“2013”，“unstructured”：“Jalal Mahmudu，Jilin Chen，and Jeffrey Nichols.2013.你什么时候回答这个问题？估计Twitter中的响应时间。第七届AAAI网络日志和社交媒体国际会议论文集。贾拉尔·马哈茂德（Jalal Mahmud）、吉林·陈（Jilin Chen）和杰弗里·尼科尔斯（Jeffrey Nichols）。2013年。你什么时候回答这个问题？估计Twitter的响应时间。第七届AAAI网络日志和社交媒体国际会议论文集。“}，{”key“：”e_1_1_15_1“，”volume-title“：”通过深度强化学习进行人类层面的控制。Nature 518，7540“，”author“：”Mnih Volodymyr“，”year“：”2015“，”unstructured“：”Volodymyer Mnih，Koray Kavukcuoglu，David Silver，Andrei A.Rusu，Joel Veness，Marc G.Bellemare，Alex Graves，Martin Riedmiller，Andreas K。菲德杰兰德、乔治·奥斯特罗夫斯基、斯蒂格·彼得森、查尔斯·贝蒂、埃米尔·萨迪克、伊奥尼斯·安东诺格鲁、海伦·金、达珊·库马兰、达安·维尔斯特拉、谢恩·莱格和黛米斯·哈萨比斯。2015年，通过深度强化学习进行人性化控制。《自然》5187540（2015），529\u2013533。内政部：https://\/DOI.org\/10.1038\/nature14236 10.1038\/nature 14236 Volodymyr Mnih，Koray Kavukcuoglu，David Silver，Andrei A.Rusu，Joel Veness，Marc G.Bellemare，Alex Graves，Martin Riedmiller，Andreas K.Fidjeland，Georg Ostrovski，Stig Petersen，Charles Beattie，Amir Sadik，Ioannis Antonoglou，Helen King，Dharshan Kumaran，Daan Wierstra，Shane Legg和Demis Hassabis，2015年。通过深度强化学习进行人性化控制。《自然》5187540（2015），529\u2013533。DOI:https:\/\/DOI.org\/10.1038\/nature14236“}，{“key”：“e_1_2_1_16_1”，“first page”：”196“，”article-title“：”分配和运输问题的算法“，”volume“：”10“，”author“：”Munkres James“，“year”：“1957”，“unstructured”：“詹姆斯·蒙克雷斯（James Munkres）。1957 . 分配和运输问题的算法。《工业和应用数学学会杂志》10，1（1957），196\u2013 210。詹姆斯·蒙克雷斯（James Munkres）。1957.分配和运输问题的算法。《工业和应用数学学会杂志》10，1（1957），196\u2013210.“，”Journal-title“：”Journal of the Society for Industrial and Applied Mathematics“}，{”key“：”e_1_1_17_1“，”first page“：“3”，“article-title”：“A collaborative multi-agent tax-dispatch system”，“volume”：“7”，“author”：“Seow K.T.”，”year“：”2010“，”unstructured“：”K.T。Seow、N.H.Dang和D.Lee。2010 . 一个协作的多智能体出租车调度系统。IEEE自动化科学与工程学报7，3（2010年7月），607\u2013616。DOI:https:\/\/DOI.org\/10.1109\/TASE.2009.2028577 10.1109\/TASE.2009.2028777 K.T.Seow、N.H.Dang和D.Lee。2010年，多智能体协同出租车调度系统。IEEE自动化科学与工程学报7，3（2010年7月），607\u2013616。DOI:https:\/\/DOI.org\/10.109\/TASE.2009.2028577“，”journal-title“：”IEEE自动化科学与工程学报“}，{“key”：“e_1_1_18_1”，“DOI-asserted-by”：“publisher”，”DOI“：”10.1145\/3292500.3330724“}”，{”key“：”e_1_i_19_1“，”DOI-assert-by“：”publisher _1“，”DOI-asserted-by“：”publisher“，“DOI”：“10.14778\/2994509.2994523“}，{“key”：“e_1_2_1_21_1”，“doi-asserted-by”：“publisher”，”doi“：“10.1109\/ICDE.2016.7498228”}，“key“：”e_1_i_1_22_22_1“，”doi-assert-by“：”publisher“，空间众包中的在线微任务分配”，“卷”：“2019年”，“作者：“Tong Y.”，“年份”：“2019年”，“非结构化”：“Y.Tong，Y.Zeng，B.Ding，L.Wang，and L.Chen。2019 . 空间众包中的双向在线微任务分配。IEEE知识与数据工程汇刊。DOI:https:\/\/DOI.org\/10.109\/TKDE。2019 . 2948863 10.1109 \/TKDE.2019.2948863 Y.Tong、Y.Zeng、B.Ding、L.Wang和L.Chen。2019.空间众包双边在线微任务分配。IEEE知识与数据工程学报。DOI:https:\/\/DOI.org\/10.109\/TKDE.2019.2948863“，”journal-title“：”IEEE知识和数据工程学报.DOI:https:\/\/DOI.org\/10.1109\/TKDE。“}，{”key“：”e_1_1_24_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1007\/s00778-019-00568-7”}，“key”：“e_2_1_25_1”，“volume-title”：“2017 ACM信息与知识管理会议论文集。ACM”，“author”：“Wang Yuqi”，“unstructured”：“Yuqi-Wang，Cao，Lifang He，Wengen Li，Lichao Sun，and Philip S.Yu.2017。物流服务响应时间预测的耦合稀疏矩阵分解。在2017年ACM信息与知识管理会议记录中。ACM，纽约州纽约市，939\u2013947。内政部：https:\/\/DOI.org\/10.1145\/3132847.3132948 10.1145\/3132877.3132848王玉琦、曹建农、何利芳、李稳根、孙立超和俞敏洪。2017.用于物流服务响应时间预测的耦合稀疏矩阵分解。2017年ACM信息和知识管理会议记录。ACM，纽约州纽约市，939\u2013947。DOI:https:\/\/DOI.org\/10.1145\/3132847.3132948“}，{“key”：“e_1_2_1_26_1”，“volume-title”：“2019 IEEE第35届国际数据工程会议论文集。IEEE，1478\u20131489”，“author”：“Wang Y.”，“year”：“199”，”非结构化：“Y.Wang，Y.Tong，C.Long，P.Xu，K.Xu，and W.Lv.2019”。自适应动态二部图匹配：一种强化学习方法。2019年IEEE第35届国际数据工程会议论文集。IEEE，1478\u20131489。DOI:https:\/\/DOI.org\/10.109\/ICDE。2019.00133 10.1109 \/ICDE.2019.00133 Y.Wang、Y.Tong、C.Long、P.Xu、K.Xu和W.Lv.2019。自适应动态二部图匹配：一种强化学习方法。2019年IEEE第35届国际数据工程会议论文集。IEEE，1478\u20131489。DOI:https:\/\/DOI.org\/10.109\/ICDE.2019.00133“}，{“key”：“e_1_2_1_27_1”，“DOI-asserted-by”：“publisher”，”DOI“：”10.1109\/ICDM.2018.00077“}”，{”key“：”e_1_i_1_28_1“，”DOI-assert-by“：”publisher“，，“文章标题”：“自主点播服务的新型需求调度模型”，“卷”：“2019年”，“作者”：“杨L.”，“年份”：“199年”、“非结构化”：“L.Yang、X.Yu、J.Cao、W.Li、Y.Wang和M.Szczecinski。2019 . 一种新的自治按需服务需求调度模型。IEEE服务计算汇刊。DOI:https:\/\/DOI.org/10.1109\/TSC。2019 . 2941680 10.1109 \/TSC.2019.2941680 L.Yang、X.Yu、J.Cao、W.Li、Y.Wang和M.Szczecinski。2019.自治按需服务的新型需求调度模型。IEEE服务计算汇刊。DOI:https:\/\/DOI.org\/10.109\/TSC.2019.2941680“，”journal-title“：”IEEE服务计算事务。DOI:https:\/\/DOI.org\/10.109\/TSC。“}，{”key“：”e_1_1_30_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1145\/3097983.3098138”}，“key”：“e_2_1_31_1”，“doi-assert-by”：“publisher”，”doi“：”10.1109\/TKDE.2017.2703848“container-title”：[“ACM从数据中发现知识的事务”]，“original-title“：[]，”language“：”en“，”link“：[{”URL“：”https:\/\/dl.acm.org\/doi\/pdf\/10.1145\/3442343“，”content-type“：”unspecified“，”content-version“：”vor“，”intended-application“：”similarity-checking“}]，”deposed“：{”date-parts“：[2023,1]]，”date-time“：“2023-01-01T21:18:55Z”，“timestamp”：1672607935000}，“score“：1，”resource“：{”primary”：{“URL”：“https:\/\/dl.acm.org\/doi\/10.1145\/3442343“}}，”副标题“：[]，”短标题“：[]，”已发布“：{”日期部分“：[[2021,4,21]]}，“引用计数”：32，“日志发布”：{“发布”：“3”，“发布发布”：}“日期部分”：[2021,6,30]]}}：\/\/dx.doi.org\/10.1145\/3442343“，”关系“：{}，”ISSN“：[”1556-4681“，”1556-472X“]，”issn-type“：[{”value“：“1556-4681”，“type”：“print”}，{”value“：”1556-472X“，”type“:”electronic“}]，“subject”：[]，“published”：{”date-parts“：[2021,4,21]]}，“assertion”：[{”value：“2020-03-01”，“order”：0，“name”：“received”，“label”：“received”，{“value”：“2020-12-01”，“order”：1，“name”：“accepted”，“label“：”Accepted“，”group“：{”name“：”publication_history“，”label“:”publication history“}}，{”value“：”2021-04-21“，”order“：2，“name”：“published”，“label”：“published”，“group”：{