研究论文

可扩展多智能体学习的进化策略几何

作者:

大卫·B·。达安布罗西奥,

乔尔雷曼兄弟,

塞巴斯蒂安里西，以及

Kenneth O。赤柱作者信息和声明

AAMAS’10：第九届自主代理和多代理系统国际会议记录：第1卷-第1卷

2010年5月

页731-738

出版:2010年5月10日出版历史

获取访问权限

摘要

传统的多智能体学习方法面临的一个主要挑战是训练团队，使其能够轻松地扩展到包括额外的智能体。问题是，这些方法通常分别对每个代理的策略进行编码。这种分离意味着计算复杂性随着团队中代理数量的增加而爆炸，也导致改造问题：必须为每个代理分别重新发现应在代理之间共享的技能。为了解决这个问题，本文提出了一种多智能体学习的替代进化方法，称为多智能体HyperNEAT将团队编码为图案而不是作为一组单独的代理。要捕获此模式，请使用策略几何介绍了用于描述每个代理的策略及其在团队中的规范几何位置之间的关系。由于策略几何可以对其所代表的所有策略中共享技能的变化进行编码，因此避免了重新设计的问题。此外，由于可以在任何分辨率下对特定团队的策略几何图形进行采样，因此它可以作为为以下团队生成策略的启发式方法任何规模，为多智能体学习提供了强大的新功能。本文在捕食者-食饵和房间清除域中测试了多智能体HyperNEAT。在这两个领域，结果都是有效的团队，无需进一步培训即可成功扩展到更大的团队规模。

工具书类

[1]

T·阿尔顿。等用CDF神经进化选择的双轻子事件测量顶部夸克质量。物理审查信函, 2009.

[2]

P.J.Bentley和S.Kumar。培养设计的方法：进化设计问题中胚胎发生的比较。在遗传和进化计算会议记录（GECCO-1999），第35-43页，旧金山，1999年。考夫曼。

数字图书馆

[3]

J.C.邦加德。进化中的模块化遗传调控网络。在2002年进化计算大会会议记录, 2002.

数字图书馆

[4]

M.Bowling和M.Veloso。使用可变学习速率的多智能体学习。人工智能, 136(2):215--250, 2002.

数字图书馆

[5]

B.D.Bryant和R.Miikkulainen。适应团队的神经进化。在2003年进化计算大会会议记录（CEC 2003）第3卷，第2194-2201页，新泽西州皮斯卡塔韦，2003年。电气与电子工程师协会。

[6]

L.Busoniu、R.Babuška和B.De Schutter。多智能体强化学习的综合综述。IEEE系统、人类和控制论汇刊，C部分：应用和评论，38（2）:156-172008年3月。

数字图书馆

[7]

L.Busoniu、B.D.Schutter和R.Babuska。动态多智能体系统中的学习与协调。《技术报告05-019》，代尔夫特理工大学，2005年。

[8]

C.克劳斯和C.布蒂利埃。协作多智能体系统中强化学习的动力学。在全国人工智能会议记录，第746--752页。约翰·威利（John Wiley）；儿子有限公司，1998年。

数字图书馆

[9]

J.Clune、B.E.Beckmann、C.Ofria和R.T.Pennock。进化出协调的四足步态和超整洁的生成编码。在程序。进化计算大会（CEC-2009）规范第。进化机器人2009年，美国新泽西州皮斯卡塔韦。IEEE出版社。

数字图书馆

[10]

J.Clune、R.T.Pennock和C.Ofria。超整洁对问题的不同几何表示的敏感性。在程序。遗传和进化计算大会（GECCO-2009）2009年，美国纽约州纽约市。ACM出版社。

数字图书馆

[11]

D.B.D’Ambrosio和K.O.Stanley。多智能体学习的生成编码。在遗传和进化计算会议记录（GECCO 2008）纽约州纽约市，2008年。ACM出版社。

数字图书馆

[12]

T.N.Dupuy。武器和战争的演变.达卡波，纽约，纽约，美国，1990年。

[13]

S.Ficici和J.Pollack。简单协同进化算法的游戏理论方法。计算机科学课堂讲稿，第467--476页，2000年。

数字图书馆

[14]

J.Gauci和K.O.Stanley。几何规律在机器学习中的关键作用的案例研究。在第二十届AAAI人工智能会议记录（AAAI-2008），加利福尼亚州门罗公园，2008年。AAAI出版社。

数字图书馆

[15]

J.Gauci和K.O.Stanley。人工神经网络中地形规则的自主演化。神经计算杂志, 2010. 出现。

数字图书馆

[16]

C.绿色。SharpNEAT主页。http://sharpneat.sourceforge.net/, 2003--2006.

[17]

F.Gruau、D.Whitley和L.Pyeatt。遗传神经网络的细胞编码和直接编码的比较。编辑J.R.Koza、D.E.Goldberg、D.B.Fogel和R.L.Riolo，遗传编程1996，第81-89页，马萨诸塞州剑桥市，1996年。麻省理工学院出版社。

数字图书馆

[18]

T.Haynes和S.Sen.团队中的共同适应。国际计算智能与组织杂志, 1(4):1--20, 1996.

[19]

G.S.Hornby和J.B.Pollack。创建具有生成性表示的高级组件，用于体脑进化。人工生命, 8(3), 2002.

数字图书馆

[20]

J.Hu和M.P.Wellman。多智能体强化学习：理论框架和算法。在程序。第十五届国际机器学习大会，第242-250页。Morgan Kaufmann，加利福尼亚州旧金山，1998年。

数字图书馆

[21]

L.Panait和S.Luke。合作多智能体学习：最新进展。自治代理和多代理系统，3（11）:383-4342005年11月。

数字图书馆

[22]

L.Panait、K.Tuyls和S.Luke。宽容学习者的理论优势：进化博弈论视角。机器学习研究杂志, 9:423--457, 2008.

数字图书馆

[23]

L.Panait、R.Wiegand和S.Luke。改进多智能体行为的协同进化搜索。第十八届国际人工智能联合会议（IJCAI）会议记录，第653-658页，2003年。

数字图书馆

[24]

M.A.Potter、K.A.De Jong和J.J.Grefenstette。学习顺序决策规则的共同进化方法。编辑L.J.Eshelman，程序。第六届国际遗传算法大会旧金山：考夫曼，1995年。

数字图书馆

[25]

B.价格和C.Boutiler。多智能体强化学习中的内隐模仿。在机器学习，第325-334页。摩根考夫曼出版社，1999年。

数字图书馆

[26]

J.Secretan、N.Beato、D.B.D’Ambrosio、A.Rodriguez、A.Campbell和K.O.Stanley。Picbreeder：在线合作发展图片。在CHI'08：程序。第二十六届SIGCHI计算机系统人为因素会议，第1759-1768页，美国纽约州纽约市，2008年。ACM公司。

数字图书馆

[27]

K.O.斯坦利。组合模式生成网络：发展的新抽象。遗传编程与进化机器发展系统专题, 8(2):131--162, 2007.

数字图书馆

[28]

K.O.Stanley、D.B.D’Ambrosio和J.Gauci。用于进化大规模神经网络的基于超立方体的间接编码。人工生命, 15(2):185--212, 2009.

数字图书馆

[29]

K.O.Stanley和R.Miikkulainen。通过增强拓扑进化神经网络。进化计算, 10:99--127, 2002.

数字图书馆

[30]

K.O.Stanley和R.Miikkulainen。人工胚胎发生的分类。人工生命, 9(2):93--130, 2003.

数字图书馆

[31]

K.O.Stanley和R.Miikkulainen。通过进化复杂化进行竞争性共同进化。人工智能研究杂志, 21:63--100, 2004.

数字图书馆

[32]

M.Tan先生。多智能体强化学习：独立智能体与合作智能体。代理中的读数，第487--494页，1997年。

数字图书馆

引用人

布德拉贾K绕线机J奥茨T(2017)基于可视化演示的群控制特征构建自主和自适应系统ACM汇刊10.1145/308454112:2(1-22)在线发布日期：2017年5月25日
https://dl.acm.org/doi/10.1145/3084541
哈·M月亮B博斯曼P(2017)基于神经网络的图表模式的演变遗传和进化计算会议记录10.1145/3071178.3071192(1113-1120)在线发布日期：2017年7月1日
https://dl.acm.org/doi/10.1145/3071178.3071192
席尔瓦·FDuarte M公司科雷亚L奥利维拉S克里斯滕森A(2016)进化机器人中的未决问题进化计算10.1162/EVCO_a_0017224:2(205-236)在线发布日期：2016年6月1日
https://dl.acm.org/doi/10.1162/EVCO_a_00172
显示更多引用者

索引术语

可扩展多智能体学习的进化策略几何
1. 计算方法
  1. 人工智能
    1. 分布式人工智能
      1. 多代理系统
  2. 机器学习
    1. 机器学习方法
      1. 神经网络

建议

多智能体学习的生成编码
GECCO’08：第十届遗传和进化计算年会论文集

本文认为，多智能体学习是生成和开发系统（GDS）潜在的“杀手级应用”，因为学习协调智能体团队的关键挑战自然是通过间接编码和。。。
阅读更多信息
多智能体系统中的聚集形成

我们现在聚集这既是描述和建模多智能体系统（MAS）的隐喻，也是降低大规模MAS中协调成本的手段。当特工必须寻找其他特工进行互动时，会众为。。。
阅读更多信息
多智能体环境中协调知识的分层学习方法

多智能体学习涉及智能体之间合作行为的获取，以满足联合目标。强化学习（RL）是一种很有前途的无监督机器学习技术，其灵感来源于早期的动物实验研究。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM其他会议

AAMAS’10：第九届自主代理和多代理系统国际会议记录：第1卷-第1卷

2010年5月

1578页

国际标准图书编号：9780982657119

一般主席：
迈克尔·勒克
英国伦敦国王学院
,
桑迪普·森
塔尔萨大学

赞助商

国际会计师联合会

合作中

SIGAI:ACM人工智能特别兴趣小组

出版商

国际自治代理和多代理系统基金会

南卡罗来纳州里奇兰

出版历史

出版：2010年5月10日

检查更新

作者标记

限定符

研究文章

会议

AAMAS’10年

赞助商：

AAMAS’10：第九届自主代理和多代理系统国际会议

2010年5月10日至14日

加拿大多伦多

接受率

5036份提交文件的总体接受率为1155份，23%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

16
引文总数
查看引文
157
下载总量

下载次数（过去12个月）5
下载次数（最近6周）0

其他指标

查看作者指标

引文

引用人

布德拉贾K绕线机J奥茨T(2017)基于可视化演示的群控制特征构建自主和自适应系统ACM汇刊10.1145/308454112:2(1-22)在线发布日期：2017年5月25日
https://dl.acm.org/doi/10.1145/3084541
哈·M月球B博斯曼P(2017)基于神经网络的图表模式的演变遗传和进化计算会议记录10.1145/3071178.3071192(1113-1120)在线发布日期：2017年7月1日
https://dl.acm.org/doi/10.1145/3071178.3071192
席尔瓦·FDuarte M公司科雷亚L奥利维拉S克里斯滕森A(2016)进化机器人中的未决问题进化计算10.1162/EVCO_a_0017224:2(205-236)在线发布日期：2016年6月1日
https://dl.acm.org/doi/10.1162/EVCO_a_00172
席尔瓦·F科雷亚L克里斯滕森A魏斯GYolum P公司博尔迪尼RElkind E公司(2015)R-HybrID2015年自治代理和多代理系统国际会议记录10.5555/2772879.2773248(735-744)在线发布日期：2015年5月4日
https://dl.acm.org/doi/10.5555/2772879.2773248
动词P哈格斯J阿诺德·D(2014)通过生成和发展系统进行深度学习2014年遗传和进化计算年会的配套出版物会议记录10.1145/2598394.2598401(103-104)在线发布日期：2014年7月12日
https://dl.acm.org/doi/10.1145/2598394.2598401
普格J古德尔S斯坦利·K阿诺德·D(2014)进化多智能体团队中的定向通信2014年遗传和进化计算年度会议记录10.1145/2576768.2598299(217-224)在线发布日期：2014年7月12日
https://dl.acm.org/doi/10.1145/2576768.2598299
范登伯格T怀特森S阿尔巴E(2013)hyperNEAT性能的关键因素第十五届遗传和进化计算年会论文集10.1145/2463372.2463460(759-766)在线发布日期：2013年7月6日
https://dl.acm.org/doi/10.1145/2463372.2463460
普格J斯坦利·K阿尔巴E(2013)使用HyperNEAT进化多模态控制器第十五届遗传和进化计算年会论文集10.1145/2463372.2463459(735-742)在线发布日期：2013年7月6日
https://dl.acm.org/doi/10.1145/2463372.2463459
Risi S公司斯坦利·K阿尔巴E(2013)面对学习灵活的神经控制器以适应多种形态的挑战第十五届遗传和进化计算年会论文集10.1145/2463372.2463397(255-262)在线发布日期：2013年7月6日
https://dl.acm.org/doi/10.1145/2463372.2463397
斯坦利·K摩尔J(2012)进化的神经网络第14届遗传和进化计算年会论文集10.1145/2330784.2330917(805-826)在线发布日期：2012年7月7日
https://dl.acm.org/doi/10.1145/2330784.2330917
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子