DARPA SubT决赛:机器人操作员智慧

听到人们在SubT决赛上监督他们球队的机器人

15分钟读取

Evan Ackerman是IEEE Spectrum的机器人编辑。

DARPA地下挑战总决赛期间的人类操作员和机器人

每一个伟大的机器人背后都有一个机器人操作员。

国防高级研究计划局

每个DARPA地下挑战团队允许最多20人前往路易斯维尔大洞穴参加最后一场比赛。在这20个人中,只有5个人可以陪机器人到球场临时区域来安装机器人。在这五个人中,只有一个人可以成为DARPA所称的人类主管。

大多数团队称之为机器人操作员的“人类主管”角色是唯一允许在机器人在球场上与机器人交互的人。或者,更准确地说,团队的基站计算机是球场上唯一允许与机器人交互的设备,而操作员是唯一的人允许使用基站。操作员可以在集结区与队友交谈,但仅此而已,其他团队成员甚至无法查看基站屏幕。

机器人操作员是一项独特的工作,根据团队部署的机器人种类、这些机器人的自主性以及团队在比赛中使用的策略,每个团队的工作可能会有所不同。在SubT预赛的第二天,我们与来自所有八个系统轨道团队的机器人操作员进行了交谈,以了解更多关于他们的机器人的信息,他们在比赛赛跑中的确切行为,以及他们实现自主性的方法。


“DARPA感兴趣的方法是高度自治,无需实质性人工干预;能够远程绘制和/或导航复杂动态地形;并且能够使用降级和不可靠的通信链路进行操作。允许团队在基站配备一名人工主管……人工主管可以查看、访问和/或分析课程数据和状态数据。只有人力主管才能在比赛期间与系统进行无线通信。"

DARPA的想法是,大多数参加SubT比赛的机器人大部分时间都是自主的,因此他们使用的是“监督员”而不是“操作员”。需要实质性的人在操作中是有问题的,原因有两个:第一,直接监督需要不断的沟通,我们已经看到SubT课程中的沟通问题有多大。第二,操作意味着需要一个熟练且经验丰富的操作员,如果你是一个已经练习多年的SubT团队,但对于正在部署操作的机器人系统来说可能不切实际,那么这很好。

那么,让机器人操作员角色发挥作用的团队是如何运作的,他们距离成为机器人主管有多近?在预赛的第二天,我走遍了车队的车库,并就各自的角色向每个车队操作员提出了相同的三个问题。我还问了操作员,“我应该问下一个操作员一个问题是什么?”我补充道,这是一个额外的问题,每个操作员都回答了不同团队操作员提出的问题。

Robotika团队

机器人操作员:Martin Dlouhy

告诉我你正在操作的机器人团队,以及为什么你认为它是探索地下环境的最佳团队。

这是我们第三次参加SubT活动;我们尝试过各种机器人,小的,大的,但对我们来说,这两个机器人似乎是最佳的。因为我们是从捷克共和国起飞的,机器人必须放在我们托运的行李中。我们也没有像三周前那样的小型机器人或无人机,因为我们甚至不知道是否可以进入美国。因此,这对于我们能为竞争带来的东西来说是最理想的,我们想证明,我们可以用一个简单的解决方案做一些事情。

一旦你的机器人团队在球场上,你在跑步过程中会做什么?

我们有两个机器人,所以比其他球队容易。当机器人在网络范围内时,我有一些小工具来本地分析数据,以帮助找到机器人难以看到的工件,如手机或气源。如果一切顺利,我基本上不必去那里。我们在Virtual SubT竞争中取得了更大的成功,因为我们的团队有一半以上是软件开发人员。我们一直在努力使虚拟和系统软件尽可能接近,在虚拟中,它自始至终都是完全自主的。有一个步骤是我作为操作员手动完成的,机器人有神经网络来识别工件,但我需要单击“确认”以向DARPA提交工件报告。

你希望你的机器人能够做出哪些目前没有做出的自主决策,需要什么才能实现?

实际上,我想要一个无操作员的解决方案,我们可以运行它,但有一个人类操作员仍然很有用,这对机器人来说更安全,因为当机器人表现不好时,这对人类来说是显而易见的。

奖金操作员问题:你必须做出的最低和最高级别的决定是什么?

最低级别是,我打开代码并动态更改它。我昨天这样做是为了改变一些安全参数。我总是这样做,这很正常。最高级别的问题是问团队,“伙计们,今天我们将如何运行我们的机器人。”

MARBLE队

机器人操作员:Dan Riley

告诉我你正在操作的机器人团队,以及为什么你认为它是探索地下环境的最佳团队。

自比赛开始以来,我们一直在使用哈士奇(Huskies)[轮式机器人],它是一个可靠的平台,具有很多地形功能。这是一匹能做很多事情的主力。我们曾经也使用过一个类似坦克的机器人,但我们有可穿越性问题,所以我们决定在这次比赛中放弃这个机器人。我们也有无人机,因为在到达地面机器人无法到达的区域时,不必担心地面,这很有价值,但不幸的是,我们也不得不放弃,因为我们有很多人和时间。我们决定专注于我们所知道的我们可以做得很好的事情,并确保我们的基线系统是超级可靠的。我们在过去两个月内增加了Spot机器人,主要用于进入哈士奇无法进入的区域,比如上下楼梯和复杂地形。它很快,我们真的很喜欢。

我们的机器人团队与我们的部署策略密切相关。我们的计划者和多机器人协调工作的方式是,第一个机器人实际上只是在球场上犁地,寻找大的前沿和新的领域,随后的机器人将填补后面的空间,寻找更多细节。因此,我们首先部署Spots来推动环境,因为它们比哈士奇更快,哈士奇也会紧随其后,填充通信网络。

我们知道明天我们不想运行五个机器人。在我们到达这里之前,我们看到了巨大的洞穴,并认为运行更多的机器人会更好。但根据前几次跑步,我们现在知道里面的空间小得多,所以我们认为四个机器人很好。

一旦你的机器人团队在球场上,你在跑步时会做什么?

我主要关注的是机器人的伪影报告。在等待工件报告的同时,我正在监视机器人的去向,主要是希望看到它们进入新的领域。如果我看到他们后退或者去另一个机器人已经探索过的地方,我有能力在另一个区域给他们发送新的进球点。当我得到一个工件报告时,我会查看图像来验证它是否是一个好的报告。对于那些可能看不见的物体,比如手机(必须通过手机发出的无线信号进行检测),如果在任务早期,我通常会等待,看看是否收到其他机器人关于它的任何其他报告。定位对这些工件来说并不好,所以一旦我提交了,如果没有得分,我必须环顾四周才能找到可能的位置。例如,我们发现这个巨大的房间里有很多架子和东西,那是放置手机的好地方,果然,手机就在那里。

您希望您的机器人能够做出哪些目前尚未做出的自主决策,以及需要什么才能实现这一点?

我们为自己的自主性感到自豪。从一开始,这就是我们的目标,实际上在之前的比赛中,我几乎无法控制机器人,我甚至无法给它一个进球点。我得到的只是报告——这是一条单行道。我本可以阻止机器人,但仅此而已。后来,我们添加了目标点功能,以及在我需要接管机器人以摆脱困境时驾驶机器人的选项。

事实上,我也是我们虚拟赛道团队的领导者,这已经是没有决定权的了。我们在机器人上运行完全相同的软件堆栈,唯一的区别是虚拟系统也执行工件报告。老实说,我想说,让人类能够做出一些决定更有效,但完全相同的系统在没有任何人类的情况下工作得很好。

红利操作员问题:你昨晚睡了多少觉?

我有八个小时的时间,如果不是坐在那里看一会儿电视,我本可以多吃一点的。在前两场比赛中,我们压力很大,遇到了很多问题。这太可怕了,所以我们说,“我们不会再这样做了!”我们的很多问题都是从设置和启动阶段开始的,只是让机器人启动并准备好离开大门。所以我们花了大量时间确保我们的启动程序都是自动化的。当你能够轻松启动时,事情就会进展顺利。

团队资源管理器

机器人操作员:曹超

告诉我你正在操作的机器人团队,以及为什么你认为它是探索地下环境的最佳团队。

我们试图使机器人多样化,以适应挑战中的不同环境。我们有轮式车辆、空中车辆和步行车辆(Spot机器人)。我们的轮式车辆有不同的尺寸;两个相对较大,一个较小,两个在中间铰接,以便在崎岖地形中提供更好的机动性性能。我们的小型无人机可以从大型地面机器人上发射,我们有一种电池寿命更长、有效载荷更大的大型无人机。

总的来说,共有11个机器人,在有限的时间限制下,由一名操作员管理是相当多的,但如果我们管理好这些机器人,我们可以探索相当大的三维区域。

一旦你的机器人团队在球场上,你在跑步时会做什么?

老实说,大多数时候,这就像玩电子游戏。这是关于分配资源,通过分散机器人来最大化球场覆盖范围,从而获得奖励(在本例中是人工制品)。我正在监视机器人的状态,它们在哪里,它们在做什么。大多数时候,我依赖机器人的自主性,包括探索、多个机器人之间的协调以及检测工件。但仍有一些时候,机器人可能需要我的帮助,例如昨天,一个较大的机器人被卡在了洞穴的树枝上,但我能够干预,让它把车开走。

您希望您的机器人能够做出哪些目前尚未做出的自主决策,以及需要什么才能实现这一点?

人类对环境有语义理解。只需看一张相机图像,我就能预测环境的样子和风险,但机器人不具备那种更高级别的决策能力。所以我可能想让一种特定的机器人根据我看到的情况进入特定的环境,我可以重定向机器人进入更适合他们的区域。对于我这个操作员来说,至少从我个人的经验来看,我认为机器人执行这种语义理解仍然很有挑战性,我仍然需要做出这些决定。

奖金操作员问题:你的决策流程是什么?

在每次运行之前,我们将在所有团队成员之间进行讨论,以制定一个粗略的游戏计划,包括部署顺序——如果无人机是从地面车辆或集结区发射的,机器人将首先进行部署。在跑步过程中,事情在发生变化,我必须根据环境做出决定。我会和维修人员谈谈我通过基站能看到什么,然后我会根据我的直觉就我认为我们应该做的事情提出初步建议。但我在跑步过程中非常专注,有很多任务要做,所以我的队友会考虑时间限制,我们希望变得多么保守,以及其他机器人在哪里,因为我无法考虑所有这些可能性,然后他们会给我反馈。通常这种来回是快速而平稳的。

DARPA SubT决赛机器人操作员机器人操作员是唯一被允许在球场上与机器人交互的人,操作员几乎可以自己控制整个比赛。国防高级研究计划局

CTU-CRAS-NORLAB团队

机器人操作员:Vojtech Salansky

告诉我你正在操作的机器人团队,以及为什么你认为它是探索地下环境的最佳团队。

我们选择了许多不同的平台。我们有一些履带式机器人、轮式机器人、Spot机器人和其他一些实验性无人值守地面飞行器(小六足和一个大六足),每个无人值守地面飞行器都有不同的穿越地形的能力,我们正在努力涵盖所有可能的运动类型,以便能够穿越球场上的任何东西。除了UGV,我们还使用无人机,无人机能够穿越狭窄的走廊和更大的空间。

我们带来了大量的机器人,但我们使用的大约10个机器人足以探索大部分环境。对于只有五个人的维修站工作人员来说,部署更多的机器人将非常困难,而且没有足够的空间容纳更多的机器人。

一旦你的机器人团队在球场上,你在跑步时会做什么?

不同的运行方式不同,但机器人大多是自主的,所以他们决定去哪里,我正在寻找机器人上传的工件检测结果,并批准或不批准它们。如果我看到机器人被卡在某处,我可以帮助它决定去哪里。如果看起来机器人可能会失去通信,我可以移动一些机器人,使其他机器人形成一条链,以扩展我们的网络。我可以为探索提供高水平的指导,但我不必担心机器人正在更新地图并做出决策,以最佳地探索整个环境。

您希望您的机器人能够做出哪些目前尚未做出的自主决策,以及需要什么才能实现这一点?

地形评估是微妙的。在更高的级别上,操作员必须决定将步行机器人发送到哪里,以及将滚动机器人发送到何处。正是地面上的微小细节和对环境的感觉帮助操作员做出这些决定,而这并不是自主完成的。

额外的运营商问题:你有多少带宽?

我很紧张。我有一张地图,我有一些子采样图像,我有检测,我有拓扑图,但最好是所有的东西都在4K和密集的点云中。

CSIRO团队数据61

机器人操作员:Brendan Tidd

告诉我你正在操作的机器人团队,以及为什么你认为它是探索地下环境的最佳团队。

我们有三个机器人类型它们是今天出现的——小腿机器人、称为泰坦的大型履带机器人和无人机。有腿的房子非常令人惊叹,尤其是在楼梯和门道狭窄的城市环境中。这些履带式机器人在洞穴环境的复杂地形中表现得很好。无人机显然可以从更高的高度增加态势感知,并检测那些高伪影。

一旦你的机器人团队在球场上,你在跑步时会做什么?

我们用“操作员”这个词,但实际上我在监督。我们的机器人都是自主的,他们都知道如何分而治之,他们都会优化深度探索,尝试在他们可以分而治水的地方分而治污。特别是斑点和泰坦之间有一种特殊的关系,在这种关系中,泰坦会因为明显的原因而让位给斑点。因此,我在运行过程中的角色是协调节点的放置,这是我们尚未自动化的东西,我们得到了很多信息,我用这些信息来决定放置节点的好位置,下一步可能是自动化该过程。我还决定在哪里发射无人机。发射本身就是一个点击,但它仍然需要我知道哪里是一个好地方。如果一切顺利,一般来说机器人只会做他们的事情。

你希望你的机器人能够做出哪些目前没有做出的自主决策,需要什么才能实现?

节点删除是至关重要的,但我认为这是一件相当复杂的事情,因为有很多不同的方面需要考虑。节点网格非常动态,它受到周围所有机器人的影响,显然也受到环境的影响。类似地,无人机发射,但这需要机器人知道何时发射无人机是值得的。因此,这两件事,但也推动导航堆栈,以确保它可以处理疯狂的东西。我想另一方面是检测。知道什么是假阳性并不是一件小事,这很难自动化。

奖金操作员问题:知道只有你在跑步过程中控制着所有的机器人,你的压力有多大?

应付这件事很重要!我在工作时会播放音乐,我实际上是在一个金属乐队中演奏,有时我们会上台,感觉非常相似,所以在那里放音乐真的很有帮助。但你知道吗?我对我们的系统很有信心,如果我没有信心,那真的会影响我的精神状态。但我们做了很多测试,所有这些准备都有助于缓解压力。

CoSTAR团队

机器人操作员:Kyohei Otsu

告诉我你正在操作的机器人团队,以及为什么你认为它是探索地下环境的最佳团队。

我们有轮式车辆、有腿车辆和无人机,因此我们可以覆盖许多地形、操作楼梯和飞越障碍物。我们选择了三种完全不同的移动系统,以便能够使用多种不同的策略。机器人可以自主调整自己的角色;一些人探索,一些人帮助其他机器人交流。我们使用的机器人数量取决于当天的环境,我们在球场上部署了七个机器人,因为我们认为环境会很大,但比我们预期的要小一些,所以我们将调整我们的数量以适应这种环境。

一旦你的机器人团队在球场上,你在跑步时会做什么?

我们的机器人是自主的,我认为我们有很好的自主软件。在设置过程中,机器人需要操作员注意;我必须确保一切正常,包括传感器、移动系统和所有算法。但在那之后,一旦我把机器人送到球场上,我就完全忘记了它,专注于另一个机器人。有时,我会进行干预,以更好地分配我们的机器人团队——这是人类擅长的事情,利用先前的知识来了解环境。我查看工件报告,这是我的大部分工作。

在地下挑战赛的第一阶段,我们从机器人那里获取低级信息,有时使用低级命令。但随着项目的进行和我们的技术的成熟,我们发现这对操作员来说太难了,所以我们增加了机器人的功能,使其能够做出所有这些低级决策,而操作员只处理高级决策。

您希望您的机器人能够做出哪些目前尚未做出的自主决策,以及需要什么才能实现这一点?[由CoSTAR联合团队负责人Joel Burdick回答]

有两件事:系统报告它认为它发现了一个人工制品,操作员必须确认是或否。他还必须确认位置似乎正确。另一件事是,我们的多机器人协调并不像它可能的那样复杂,因此操作员可能需要重新分配机器人到不同区域的任务。如果再给我们一年时间,我们将更接近于实现这些事情的自动化。

额外的操作员问题:如果你的系统是完全自主的,并且你的工作不是必需的,你会喜欢吗?

是的,我更喜欢这样!

协调的团队机器人学

机器人操作员:Kevin Knoedler

告诉我你正在操作的机器人团队,以及为什么你认为它是探索地下环境的最佳团队。

在我的脑海中,理想的组合是一组带有激光雷达的小型无人机,但它们很难测试,也很难正确使用。地面车辆不一定更容易正确,但它们更容易测试,如果你能测试一些东西,你成功的可能性就大得多。这与我们这里的机器人团队有很大的不同。

一旦你的机器人团队在球场上,你在跑步时会做什么?

一些机器人有自动搜索功能,如果他们找到了什么,他们会报告给我喜欢要做的只是监控。但是,搜索功能只适用于更大的区域。所以现在我的目标是让他们穿过狭窄的区域,让他们进入更广阔的区域,然后让他们离开,但让他们进入搜索区域是我最需要一次手动完成的事情。

您希望您的机器人能够做出哪些目前尚未做出的自主决策,以及需要什么才能实现这一点?

理想情况下,机器人将能够自己通过这些狭窄的区域。这实际上是一个比更大领域更容易解决的问题,只是我们没有集中精力。

额外的操作员问题:你用多少接口来控制你的机器人?

我们有一台电脑,有两个显示器,一个控制器,就这样。

CERBERUS团队

机器人操作员:Marco Tranzatto

告诉我你正在操作的机器人团队,以及为什么你认为它是探索地下环境的最佳团队。

我们有腿机器人和飞行机器人,由一个携带无线天线的漫游者提供支持。这个想法是将腿式机器人带到轮式机器人可能表现不佳的恶劣环境中,再加上可以快速探索环境的空中侦察机,为操作员提供初步的态势感知,这样我就可以决定将腿式机器部署在哪里。因此,我们的目标是将腿机器人和飞行机器人结合在一个统一的任务中,为人类操作员提供尽可能多的信息。我们也有一些更大的机器人,但我们发现它们对于DARPA为我们准备的环境来说有点太大了,所以我们不打算部署它们。

一旦你的机器人团队在球场上,你在跑步时会做什么?

我们使用两种主要模式:一种是机器人的完全自主模式,另一种是监督自主模式,在这里我可以概述机器人正在做什么,并可以覆盖特定的操作。根据我能看到的高级信息,我可以决定控制一个机器人,给它一个手动航路点,以将其重新定位到环境中的不同边界。我可以从高级控制一直到发出这些单个命令,但命令仍然是相对高级的,比如“去这里探索”。每个机器人都有伪影评分功能,一旦机器人处于通信范围内,所有这些伪影检测都会发送到基站,人类操作员不得不说,“好吧,这看起来像是一个可能的工件,所以我接受它”,然后可以提交机器人报告的位置或映射服务器报告的优化位置。

您希望您的机器人能够做出哪些目前尚未做出的自主决策,以及需要什么才能实现这一点?

每个机器人都是自主的。但机器人之间的合作仍然像……操作员必须设置边界框来告诉每个机器人去哪里探索。操作员有全局概览,然后在这些盒子里,机器人是自主的。所以我认为目前在我们的管道中,我们仍然需要一个集中的人类监督员来确定哪个机器人朝哪个方向探索。我们即将实现自动化,但我们还没有实现。

额外的接线员问题:你会添加什么东西来让你作为接线员的生活更轻松?

我希望有一种更集中的方式来向机器人发出命令。现在我需要选择每个机器人并给它一个特定的命令。如果有一个集中的地图,我可以告诉机器人在考虑来自不同机器人的数据时,在给定的区域内进行探索,这将非常有用。这是我们的计划,但我们还没有成功部署。

对话(0)