跳到主要内容
10.1109/ICRA46639.2022.9812276指导程序文章/章节视图摘要出版物页面会议记录acm-pubtype公司
研究论文

VISTA 2.0:一个开放的数据驱动模拟器,用于自动车辆的多模式传感和政策学习

作者信息和声明
出版:2022年5月23日出版历史记录

摘要

仿真有可能改变部署在安全关键场景中的移动代理的健壮算法的开发。然而,现有仿真引擎的照片逼真度较差,缺乏多样的传感器模式,仍然是实现这一潜力的关键障碍。这里,我们介绍VISTA<sup>&#x2020</sup><sup>&#x2020</sup>VISTA数据驱动模拟引擎的完整代码版本可在此处获得:VISTA.csail.mit.edu。,一个开源、数据驱动的模拟器,集成了多种类型的传感器用于自动驾驶车辆。VISTA使用高保真的真实世界数据集表示并模拟RGB摄像机、3D LiDAR和基于事件的摄像机,从而能够在模拟中快速生成新的视点,从而利用物理世界中难以捕获的角点案例丰富了可用于策略学习的数据。使用VISTA,我们展示了在每种传感器类型上训练和测试感知到控制策略的能力,并通过在全尺寸自动车辆上的部署展示了这种方法的威力。在VISTA中学习到的策略显示出无需修改即可实现简单到真实的传输,并且比那些仅针对真实数据进行培训的策略具有更强的鲁棒性。

工具书类

  1. [1].多索维茨基A。,罗斯·G。,Codevilla F。,洛佩兹A。、和科尔顿五世。,“CARLA:开放式城市驾驶模拟器,“inCoRL,2017年.谷歌学者谷歌学者
  2. [2].迪特克·M。,韩伟(Han W.)。,赫拉斯蒂A。,肯巴维A。,科尔夫E。,莫塔吉R。,萨尔瓦多J。,施文克·D·。,范德比尔特E。,沃林福德M。,维斯L。,Yatskar M。、和法哈迪A。,“RoboTHOR:一个开放的仿真到现实的具体化人工智能平台,“in计算机视觉和模式识别会议记录, 2020.谷歌学者谷歌学者
  3. [3].沙阿·S。,戴伊·D。,洛维特C。、和卡普尔A。,“AirSim:自主车辆的高逼真视觉和物理仿真,“in可行性研究报告,2017.谷歌学者谷歌学者
  4. [4].阿米尼A。,吉利琴斯基一世。,菲利普斯J。,莫西科J。,班纳吉·R。,卡拉曼S。、和罗斯·D。,“从数据驱动仿真中学习端到端自主驾驶的鲁棒控制策略,”IEEE机器人与自动化通讯,卷。5,没有。2,第页。11431150,2020.谷歌学者谷歌学者交叉引用交叉引用
  5. [5].王T.-H。,阿米尼A。,施瓦廷·W·。,吉利琴斯基一世。,卡拉曼S。、和罗斯·D。,“通过数据驱动模拟学习交互式驾驶政策,“arXiv预印本arXiv:2111.12137,2021.谷歌学者谷歌学者
  6. [6].肖扬(Xiao Y.)。,Codevilla F。,古拉姆A。,Urfalioglu O。、和A类.洛佩斯M。,“多模式端到端自动驾驶,“arXiv:1906.03199,2019.谷歌学者谷歌学者
  7. [7].阿米尼A。,罗斯曼·G。,卡拉曼S。、和罗斯·D。,“可变端到端导航和本地化,“inIEEE机器人与自动化国际会议(ICRA), 2019.谷歌学者谷歌学者
  8. [8] 。莱文·S·。科尔顿五世。,“指导性策略搜索,“in机器学习国际会议。PMLR公司2013年,pp。19.谷歌学者谷歌学者
  9. [9].马奎达A.I。,罗克西奥A。,加列戈G。,加西亚·N。、和Scara-muzza D。,“基于事件的视觉与自动驾驶汽车转向预测的深度学习,“inIEEE计算机视觉和模式识别会议记录2018年,pp。54195427.谷歌学者谷歌学者
  10. [10].戈达尔·C。,Mac Aodha O。、和布罗斯托·G·J。,“具有左右一致性的无监督单极点深度估计,“inIEEE计算机视觉和模式识别会议(CVPR), 2017.谷歌学者谷歌学者
  11. [11].傅H。,龚M。,王C。,Batmanghich K.公司。、和陶D。,“单目深度估计的深度有序回归网络,“inIEEE计算机视觉和模式识别会议记录2018年6月。谷歌学者谷歌学者
  12. [12].徐毅(Xu Y.)。,朱X。,史杰(Shi J.)。,张G。,鲍H。、和李浩(Li H.)。,“基于深度法线约束的稀疏激光雷达数据深度补全,“inIEEE/CVF国际计算机视觉会议(ICCV)会议记录,2019年10月。谷歌学者谷歌学者
  13. [13].赵毅(音)。,白L。,张Z。、和黄X。,“激光雷达测深的表面几何模型,”IEEE机器人与自动化通讯,卷。6,没有。,第页。44574464,2021.谷歌学者谷歌学者交叉引用交叉引用
  14. [14].图利亚科夫S。,杰里格·D·。,乔治·S·。,埃尔巴赫J。,Gehrig M。,李毅(Li Y.)。、和斯卡拉穆扎D。,“时间镜头:基于事件的视频帧插值,“inIEEE/CVF计算机视觉和模式识别(CVPR)会议记录,2021年6月,pp。16 15516 164.谷歌学者谷歌学者
  15. [15].伊达尔戈·卡里奥J。,杰里格·D·。、和斯卡拉穆扎D。,“从事件中学习单眼密集深度,“in2020年国际3D视觉会议(3DV)2020年,pp。534542.谷歌学者谷歌学者
  16. [16].杰里格·D·。,吕鸡蛋M。,Gehrig M。,伊达尔戈·卡里奥J。、和Scara-muzza D。,“使用递归异步多模式网络组合事件和帧进行单目深度预测,”IEEE机器人与自动化通讯,卷。6,没有。2,2021.谷歌学者谷歌学者
  17. [17].Rebecq H。,杰里格·D·。、和斯卡拉穆扎D。,“Esim:一个开放式事件摄影机模拟器,“in机器人学习会议。PMLR公司2018年,pp。969982.谷歌学者谷歌学者
  18. [18].Rebecq H。,兰夫特·R。,科尔顿五世。、和斯卡拉穆扎D。,“活动到视频:将现代计算机视觉引入活动摄像机,“inIEEE/CVF计算机视觉和模式识别(CVPR)会议记录2019年6月。谷歌学者谷歌学者
  19. [19].杰里格·D·。,Gehrig M。,伊达尔戈·卡里奥。、和斯卡拉穆扎D。,“视频到活动:回收活动摄像机的视频数据集,“inIEEE/CVF计算机视觉和模式识别(CVPR)会议记录2020年6月。谷歌学者谷歌学者
  20. [20].帕雷德斯-瓦尔斯F。德克伦·G·C·H·E。,“回到事件基础:通过光度恒定性对事件摄像机图像重建的自我监督学习,“inIEEE/CVF计算机视觉和模式识别(CVPR)会议记录2021年6月,pp。34463455.谷歌学者谷歌学者
  21. [21].库曼斯E。白洋。,“Pybillet是一个用于游戏、机器人和机器学习的物理模拟的python模块,”http://pybullet.org,2016–2021.谷歌学者谷歌学者
  22. [22].Tassa Y。,Tunyasuvunakool S.公司。,穆达尔A。,多龙·Y。,刘S。,博赫兹S。,梅雷尔·J。,埃雷兹·T。,Lillicrap T。、和海斯·N。,“dm_control:用于连续控制的软件和任务,“arXiv预印本:2006.12983,2020.谷歌学者谷歌学者
  23. [23].托多罗夫E。,埃雷兹·T。、和塔萨Y。,“MuJoCo:基于模型控制的物理引擎,“in智能机器人和系统国际会议记录,2012年。谷歌学者谷歌学者
  24. [24].R.Tedrake和Drake开发团队,”Drake:机器人基于模型的设计和验证,”2019。[在线]。可用:https://drake.mit.edu.谷歌学者谷歌学者
  25. [25].怀曼B。,西班牙。,吉奥瑙C。,迪米特拉卡基斯C。,库洛姆·R。、和萨姆纳A。,“Torcs,开放式赛车模拟器,“软件位于http://torcs.sourceforge.net,卷。4,没有。6,第页。2,2000.谷歌学者谷歌学者
  26. [26].米勒M。,卡瑟五世。,拉胡德·J。,史密斯N。、和加尼姆B。,“Sim4cv:用于计算机视觉应用的照片真实感模拟器,”国际计算机视觉杂志,卷。126,没有。9,第页。902919,2018.谷歌学者谷歌学者数字图书馆数字图书馆
  27. [27].沙阿·S。,戴伊·D。,洛维特C。、和卡普尔A。,“AirSim:自动飞行器的高精度视觉和物理仿真,“in现场和服务机器人(FSR),2017.谷歌学者谷歌学者
  28. [28].宋Y。,纳吉S。,考夫曼E。,罗克西奥A。、和Scara-muzza D。,“飞行梦魇:一种灵活的四驱模拟器,“arXiv预打印arXiv:2009.00563,2020.谷歌学者谷歌学者
  29. [29].夏F。,扎米尔·A·R。,何Z。,萨克斯A。,马利克·J·。、和萨瓦雷斯S。,“吉布森环境:对具体药物的现实世界认知,“in计算机视觉和模式识别会议记录, 2018.谷歌学者谷歌学者
  30. [30].萨瓦·M·。,卡迪安A。,Maksymets O。,赵毅(音)。,维杰曼斯E。,杰恩·B。,斯特劳布J。,刘杰(Liu J.)。,科尔顿五世。,马利克·J·。,帕里克·D·。、和巴特拉·D·。,“栖息地:一个具体人工智能研究平台,“in计算机视觉国际会议记录, 2019.谷歌学者谷歌学者
  31. [31].马尼瓦萨加姆S。,王S。,Wong K。,曾伟(音)。,萨扎诺维奇M。,谭S。,杨B。,马W.-C。、和Urtasun R。,“Lidarsim:利用真实世界进行真实的激光雷达模拟,“inIEEE/CVF计算机视觉和模式识别会议记录2020年,pp。11 16711 176.谷歌学者谷歌学者
  32. [32]。王T.-H。,马尼瓦萨加姆S。,梁M。,杨B。,曾伟(音)。、和Urtasun R。,“V2VNet:用于联合感知和预测的车对车通信,“in欧洲计算机视觉会议记录, 2020.谷歌学者谷歌学者
  33. [33].博亚尔斯基M。,德尔·泰斯塔D。,德沃拉科夫斯基D。,Firner B公司。,弗莱普B。,戈亚尔P。,杰克尔·L·D。,蒙福特M。,穆勒U。,张杰。,张欣。,赵杰。、和齐埃巴K。,“针对自驾汽车的端到端学习,“arXiv:1604.07316,2016.谷歌学者谷歌学者
  34. [34].徐浩(Xu H.)。,高毅。,于飞(Yu F.)。、和达雷尔·T。,“从大规模视频数据集中对驾驶模型进行端到端学习,“inIEEE计算机视觉和模式识别会议(CVPR), 2017.谷歌学者谷歌学者
  35. [35].莱切纳·M·。,哈萨尼·R。,阿米尼A。,亨廷格T.A。,罗斯·D。、和格罗苏R。,“支持可审计自治的神经电路策略,”自然机器智能,卷。2,没有。10,第页。642652,2020.谷歌学者谷歌学者交叉引用交叉引用
  36. [36].霍克·J·。,沈R。,古罗·C。,夏尔马S。,雷达·D。,尼科洛夫·N。,Mazur P.公司。,米克尔思韦特S。,格里菲斯N。,沙阿A。、和肯德尔A。,“基于条件模拟学习的城市驾驶,“inIEEE机器人与自动化国际会议(ICRA), 2020.谷歌学者谷歌学者
  37. [37].莱茵哈特N。,麦卡利斯特R。、和莱文·S·。,“用于灵活推理、规划和控制的深度模拟模型,“arXiv预打印arXiv:1810.06544,2018.谷歌学者谷歌学者
  38. [38].Codevilla F。,米勒·M·。,洛佩兹A。,科尔顿五世。、和多索维茨基A。,“通过条件模拟学习实现端到端驾驶,“inIEEE机器人与自动化国际会议(ICRA), 2018.谷歌学者谷歌学者
  39. [39].平移X。,你Y。,王Z。、和卢C。,“用于自动驾驶的虚拟到真实强化学习,”2017.谷歌学者谷歌学者
  40. [40].福斯F。,宋Y。,考夫曼E。,斯卡拉穆扎D。、和杜尔·P。,“使用深度强化学习在大都灵运动中的超人类表现,”IEEE机器人与自动化通讯,卷。6,没有。,第页。42574264,2021.谷歌学者谷歌学者
  41. [41].陈D。,周B。,科尔顿五世。、和Krähenbühl P。,“通过作弊学习,“in机器人学习会议。PMLR公司2020年,pp。6675.谷歌学者谷歌学者
  42. [42].Codevilla F。,洛佩兹A.M。,科尔顿五世。、和多索维茨基A。,“基于视觉的驾驶模型离线评估,“in欧洲计算机视觉会议记录,2018,pp。236251.谷歌学者谷歌学者数字图书馆数字图书馆
  43. [43].阿米尼A。,保罗·L·。,巴尔奇T。,卡拉曼S。、和罗斯·D。,“并行自治系统的学习指导界,“inIEEE机器人与自动化国际会议(ICRA), 2018.谷歌学者谷歌学者
  44. [44].阿米尼A。,施瓦廷·W·。,罗斯曼·G。,荒木B。,卡拉曼S。、和罗斯·D。,“用于自动驾驶端到端控制的可变自动编码器,具有新颖性检测和训练去偏倚功能,“in2018 IEEE/RSJ智能机器人和系统国际会议(IROS)IEEE,2018,pp。568575.谷歌学者谷歌学者
  45. [45].Ronneberger O。,菲舍尔P。、和布罗克斯T。,“U-net:用于生物医学图像分割的卷积网络,“in医学图像计算和计算机辅助干预国际会议施普林格,2015年,pp。234241.谷歌学者谷歌学者
  46. [46].杰里格·D·。,Gehrig M。,伊达尔戈·卡里奥J。、和斯卡拉穆扎D。,“视频到活动:回收活动摄像机的视频数据集,“inIEEE ICVF计算机视觉和模式识别会议记录2020年,pp。35863595.谷歌学者谷歌学者
  47. [47].姜浩。,太阳D。,Jampani五世。,杨M.-H。,学习型Miller E。、和考茨·J。,“Super slomo:用于视频插值的多个中间帧的高质量估计,“inIEEE计算机视觉和模式识别会议记录,2018,pp。90009008.谷歌学者谷歌学者
  48. [48].穆格勒E。,Rebecq H。,加列戈G。,德尔布鲁克T。、和斯卡拉穆扎D。,“event-camera数据集和模拟器:用于姿势估计、视觉里程计和slam的基于事件的数据,”国际机器人研究杂志,卷。36,没有。2,第页。142149,2017.谷歌学者谷歌学者数字图书馆数字图书馆
  49. [49].加列戈G。,隆德·J·E。,穆格勒E。,Rebecq H。,德尔布鲁克T。、和斯卡拉穆扎D。,“基于事件的,从光度深度图进行6自由度相机跟踪,”IEEE模式分析和机器智能事务,卷。40,没有。10,第页。24022412,2017.谷歌学者谷歌学者
  50. [50].刘忠。,阿米尼A。,朱S。,卡拉曼S。,韩S。、和罗斯D。,“基于高效和稳健的激光雷达端到端导航,“arXiv预打印arXiv:2105.09932,2021.谷歌学者谷歌学者
  51. [51].唐H。,刘忠。,赵S。,林毅(Lin Y.)。,林杰(Lin J.)。,王宏。、和韩S。,“用稀疏点盒卷积搜索高效的三维结构,“in欧洲计算机视觉会议, 2020.谷歌学者谷歌学者

建议

评论

登录选项

请检查您是否可以通过登录凭据或您的机构访问此文章以获得完全访问权限。

登录

完全访问权限

  • 发布于

    封面图片指南会议记录
    2022年机器人与自动化国际会议(ICRA)
    2022年5月
    6634页

    版权所有©2022

    出版商

    IEEE出版社

    出版历史记录

    • 出版:2022年5月23日

    限定符

    • 研究论文