跳到主要内容
10.5555/3545946.3599093acm会议文章/章节视图摘要出版物页面原子吸收光谱法会议记录会议集合
海报

自适应、分布式和连续控制的时间分层体系结构

出版:2023年5月30日 出版历史
  • 获取引文提醒
  • 摘要

    我们提出了时间分层体系结构(TLA),这是一种受生物启发的用于时间自适应分布式控制的系统。TLA将快速控制器和慢速控制器分层在一起,以实现时间抽象,使每一层都能专注于不同的时间尺度。我们的设计借鉴了人脑的结构,人脑根据环境的要求在不同的时间尺度执行动作。这种分布式控制在生物系统中广泛应用,因为它提高了在特定和不确定环境中的生存能力和准确性。我们证明,与现有方法相比,TLA具有许多优点,包括持久性探索、自适应控制、可解释的时间行为、计算效率和分布式控制。我们提出了两种不同的训练TLA的算法:(a)闭环控制,其中快速控制器是在预先训练好的慢控制器上训练的,允许更好地探索快速控制器和闭环控制,在闭环控制中,快速控制器决定在每个时间步是否“执行或不执行”;和(b)部分开环控制,其中慢速控制器通过预先训练好的快速控制器进行训练,允许开环控制(慢速控制器选择一个临时扩展的动作或将下一个n动作推迟到快速控制器)。我们在一组连续控制任务上评估了我们的方法,并证明了TLA相对于几个强基线的优势。

    工具书类

    [1]
    安德烈·比登卡普(AndréBiedenkapp)、拉胡南丹·拉詹(Raghunandan Rajan)、弗兰克·赫特(Frank Hutter)和马吕斯·托马斯·林道尔(Marius Thomas Lindauer)。2021.TempoRL:学习何时行动。在ICML中。
    [2]
    Greg Brockman、Vicki Cheung、Ludwig Pettersson、Jonas Schneider、John Schulman、Jie Tang和Wojciech Zaremba。2016.OpenAI健身房。arXiv:arXiv:1606.01540
    [3]
    开放人工智能。2018年,OpenAI Five。https://blog.openai.com/openai-five/。访问时间:2022年8月12日。
    [4]
    Adam Paszke、Sam Gross、Francisco Massa、Adam Lerer、James Bradbury、Gregory Chanan、Trevor Killeen、Zeming Lin、Natalia Gimelshein、Luca Antiga、Alban Desmaison、Andreas Kopf、Edward Yang、Zachary DeVito、Martin Raison、Alykhan Tejani、Sasank Chilamkurthy、Benoit Steiner、Lu Fang、Junjie Bai和Soumith Chintala。2019.PyTorch:一个势在必行的风格、高性能的深度学习图书馆。《神经信息处理系统进展》32,H.Wallach、H.Larochelle、A.Beygelzimer、F.d'Alché-Buc、E.Fox和R.Garnett(编辑)。Curran Associates公司,8024--8035。http://papers.neurips.cc/paper/9015-pytorch-an-imperative-style-high-performance-deep-learning-library.pdf
    [5]
    德夫达尔·帕特尔(Devdhar Patel)、约书亚·罗素(Joshua Russell)、弗朗西丝卡·沃尔什(Francesca Walsh)、陶希杜尔·拉赫曼(Tauhidur Rahman)、特兰斯·塞诺夫斯基(Terrance Sejnowski)和哈瓦·西格曼。2022.自适应、分布式和连续控制的时间分层体系结构。arXiv预印arXiv:2301.00723(2022)。
    [6]
    伊曼纽尔·托多罗夫(Emanuel Todorov)、汤姆·埃雷斯(Tom Erez)和尤瓦尔·塔萨(Yuval Tassa)。2012年,MuJoCo:基于模型控制的物理引擎。2012年IEEE/RSJ智能机器人和系统国际会议。IEEE,5026--5033。https://doi.org/10.109/IROS.2012.6386109

    索引术语

    1. 自适应、分布式和连续控制的时间分层体系结构
          索引项已通过自动分类分配给内容。

          建议

          评论

          信息和贡献者

          问询处

          发布于

          封面图片ACM会议
          AAMAS’23:2023年自治代理和多代理系统国际会议记录
          2023年5月
          3131页
          国际标准图书编号:9781450394321

          赞助商

          出版商

          国际自治代理和多代理系统基金会

          南卡罗来纳州里奇兰

          出版历史

          出版:2023年5月30日

          检查更新

          作者标记

          1. 连续控制
          2. 分布式控制
          3. 强化学习
          4. 时间抽象

          限定符

          • 海报

          资金来源

          • 国防高级研究计划局(DARPA)

          会议

          AAMAS’23年
          赞助商:
          AAMAS’23:自治代理和多代理系统国际会议
          2023年5月29日至6月2日
          英国伦敦

          接受率

          5036份提交文件的总体接受率为1155份,23%

          贡献者

          其他指标

          文献计量学和引文

          文献计量学

          文章指标

          • 0
            引文总数
          • 21
            总下载次数
          • 下载量(最近12个月)19
          • 下载次数(最近6周)1

          其他指标

          引文

          视图选项

          获取访问权限

          登录选项

          完全访问权限

          查看选项

          PDF格式

          以PDF文件查看或下载。

          PDF格式

          电子阅读器

          使用联机查看电子阅读器.

          电子阅读器

          媒体

          数字

          其他

          桌子

          分享

          分享

          共享此出版物链接

          在社交媒体上分享