介绍
机器人在当今社会中的使用越来越多(Torresen，2018年;Scassella和Vázquez，2020年). 尽管“最终目标”是实现完全自主，但目前机器人的智能和能力仍然有限。因此，仍然需要某种形式的人类监督和指导，以确保机器人在社会中的稳健部署，特别是在复杂和紧急情况下(Nunes等人，2018年;Li等人，2019年). 然而，当监督机器人时，人类的表现和能力可能会受到其不同的生理和心理状态以及其他无关活动的影响。因此，让人们参与机器人操作会带来一些不确定性和安全问题。
目前，机器人的监管变得更具挑战性，特别是由于新冠肺炎疫情(Feizi等人，2021年). 这是因为，除了保持操作员的绩效外，避免操作员与工作场所的其他人员密切接触，使他们远离潜在的现场危险，这带来了新的挑战。在这种情况下，遥操作提供了一种解决方案，它使人保持在控制回路中，但保持一定距离。然而，这种方法有局限性。在远程操作中，需要持续的人工监督和控制，因此工作量更大。操作员通过监视器观察环境时，视野有限。他们几乎感觉不到机器人在远程接收到的运动、力和振动，这进一步限制了他们在监督期间的态势感知，并影响了机器人的安全部署。
为了克服上述限制并进一步提高机器人的安全操作，我们提出了一种人机遥协作范式，该范式具有混合智能的双向性能增强功能。与现有的遥操作体系结构不同，在该体系结构中，机器人只在单个方向接收和执行人类命令，而遥协作，如图1融合并利用了人类和机器人双方的混合智能，使人类操作员远离现场危险，从而提高了人机系统的整体安全性、效率和鲁棒性，使大规模自主机器人能够在社会中稳健部署。这项技术已成功应用于200多个阿里巴巴的自动配送机器人。在新冠肺炎疫情期间，他们目前为中国52个城市的160多个社区提供服务（阿里巴巴集团）。在人工操作员的远程帮助下，一个机器人可以发送多达300个包裹，每天有4000多万个障碍物检测和5000多个交互。最近，送货机器人车队达到了100万件包裹送货的里程碑。远程协作框架的主要特征如下。
人机双向增强框架
由于人和机器各有优缺点，在这个远程协作框架下，没有固定的主从角色。操作员和机器通过感知、决策、规划和控制的多模式接口相互补充和增强。实时监控和评估人类和机器人的性能和状态。根据人和机器的状态，将整体控制权限自适应地分配给或在两者之间完全转移。由于机器人在人类远程指导下的能力得到了增强，它们在大多数时间都能正常工作。操作员只需要在必要时进行干预，这会减少他们的工作量，因为不需要全职工作。理想情况下，一个操作员可以通过远程协作同时监控多个机器人。从另一个角度来看，由于人类的帮助，机器人使用的机载硬件要求和算法的复杂性可以降低。这促进了低成本大规模部署机器人，并在社会上建立了人-机器人互信。
在人机协作过程中，由于操作员和机器的不同意图和期望之间的偏差，可能会发生冲突。为了解决这一问题并缓解人机冲突，在提出的远程协作框架下，我们进一步设计了一种无参考控制算法，其中分别监控操作员和机器人的状态、能力和意图(Huang等人，2020年). 然后根据各自评估的性能，将整个控制权限相应地分配给各方，确保整个人机系统的安全、稳定和顺畅。
人工引导下的增强机器智能
机器人不是纯机械执行器，具有一定的智能，可以在正常条件下自主操作。然而，由于机器人的能力有限，它们在复杂的情况下可能会面临相当大的挑战，而它们自己可能无法应对(Rossi等人，2020). 在这种情况下，需要人工干预，通过战略或战术层面的远程协作提供指导和补偿。通过多模态接口，包括图像处理、手势识别、自然语言处理和情感计算，可以推断操作员的意图并将其传递给机器，以增强其推理能力(Yang等人，2018年). 最近，我们提出了一种新的人机合作快速探索随机树算法，该算法引入了人类偏好和纠正措施，增强了机器人规划和跟踪控制的安全性、流畅性和人形(Huang等人，2021年). 此外，为了进一步提高机器智能，我们正在开发一种人机交互的深度强化学习（DRL）方法，在学习过程中通过实时指导将人类技能融合到DRL代理中，从而有效地改善了学习曲线(Wu等人，2021年).
利用机器智能增强人的绩效
与机器人相比，人类在场景理解和决策方面表现出更强的鲁棒性和适应性；然而，它们在诸如高精度感知、定位、测量和复杂计算等领域的能力有限(Fani等人，2018年;Su等人，2020年). 特别是，在远程协作下，人类的视野和主观感受受到限制。幸运的是，这些缺陷可以通过机器进行补偿和补充(Drnach和Ting，2019年). 现场机器人可以使用车载传感器处理多模式和多维现场信息，包括同步定位和绘图、障碍物检测和潜在风险评估，并通过电信发回，并在监视器上可视化，以提高操作员的态势感知能力。此外，在社会中部署机器人时，需要与人类进行交互。因此，交互意识和预测对于机器人的安全操作非常重要。最近，我们提出了一种新的深度学习模型，该模型仅使用一秒钟的历史数据来准确预测机器人的运动及其与周围代理的交互，最多提前8秒，在2021年Waymo开放数据集挑战赛中赢得了交互预测第一名(Mo等人，2022年). 可视化交互预测结果有效帮助操作员了解情况并做出安全决策。此外，还探索了多模式接口，包括计算机视觉、增强现实、虚拟现实、肌电图和触觉，以帮助识别操作员的认知和物理状态，并允许自动化提供个性化协助，从而提高操作员在远程协作期间的任务能力(Lv等人，2021年).
结论
大规模真实世界机器人部署结果证明了所提远程协作的可行性和有效性。开发的高级框架、子模块和算法具有很大的潜力，可以扩展到广泛的机器人和人机交互应用。然而，社交机器人部署是一项系统工程任务，需要不同领域之间的协作，例如人工智能、机器人、控制、电信、人类因素、心理学、隐私、安全、道德和法律。未来，需要从多学科方面作出更多努力，包括仿人自主、认知机器人、多模式人机界面、低成本感知、高清地图、5G通信、云计算和边缘计算、安全人工智能等，为人-机器人共存社会发展和谐生态系统。
作者贡献
ZH和YZ开发了算法，设计和执行了实验，处理和分析了数据，并解释了结果。QL开发了算法，设计并进行了实验。CL监督了该项目，设计了系统概念、方法和实验，解释了结果，并撰写了论文。所有作者都审阅了手稿。
基金
这项工作得到了新加坡南洋理工大学SUG-NAP赠款的部分支持；A*STAR项目（SERC 1922500046）；以及阿里巴巴集团，通过阿里巴巴创新研究计划和阿里巴巴-南洋理工大学联合研究院（编号：AN-GC-2020-012）。
利益冲突
作者声明，该研究是在没有任何可能被解释为潜在利益冲突的商业或金融关系的情况下进行的。
出版商备注
本文中表达的所有声明仅为作者的声明，不一定代表其附属组织的声明，也不一定代表出版商、编辑和审稿人的声明。任何可能在本文中进行评估的产品，或制造商可能提出的索赔，都不受出版商的保证或认可。
工具书类
Drnach，L.和Ting，L.H.（2019年）。向这个机器人寻求帮助。美国国家航空航天局。1, 8–9. doi:10.1038/s42256-018-0013-0
CrossRef全文|谷歌学者
Fani，S.、Ciotti，S.，Catalano，M.G.、Grioli，G.、Tognetti，A.、Valenza，G.等人（2018年）。简化遥操作机器人：可穿戴性和遥阻抗改善了遥操作中的人机交互。IEEE机器人。自动化。美格。25 (1), 77–88. doi:10.1109/mra.2017.2741579
CrossRef全文|谷歌学者
Feizi，N.、Tavakoli，M.、Patel，R.V.和Atashzar，S.F.（2021年）。机器人学和Ai，针对Covid-19时代的远程手术、远程评估和远程手术培训：现有挑战和未来愿景。前面。机器人AI8, 610677. doi:10.3389/frobt.2021.610677
PubMed摘要|CrossRef全文|谷歌学者
黄，C.，黄，H.，张，J.，杭，P.，胡，Z.，和吕，C.（2021）。安全自动驾驶的人机合作轨迹规划和跟踪。IEEE传输。智力。运输系统。doi:10.1109/tits.2021.3109596
CrossRef全文|谷歌学者
Huang，C.、Lv，C.、Naghdy，F.和Du，H.（2020年）。自动化车辆共享控制中缓解人机冲突的无参考方法。IET控制。西奥。应用程序14 (18), 2752–2763. doi:10.1049/iet-cta.2020.0289
CrossRef全文|谷歌学者
Li，L.，Wang，X.、Wang，K.、Lin，Y.、Xin，J.、Chen，L.等（2019年）。通过虚拟现实交互进行车辆智能并行测试。科学。机器人技术.doi:10.1126/scirobotics.aaw4106
CrossRef全文|谷歌学者
Lv，C.，Li，Y.，Xing，Y.、Huang，C.、Cao，D.、Zhao，Y.等（2021）。使用智能两相触觉接口实现自动驾驶的人机协作。高级智能。系统。3 (4), 2000229. doi:10.1002/aisy.202000229
CrossRef全文|谷歌学者
莫，X.，黄，Z.，邢，Y.，和吕，C.（2022）。基于异构边缘增强图注意网络的多智能体轨迹预测。IEEE传输。智力。运输系统。doi:10.1109/tits.2022.3146300
CrossRef全文|谷歌学者
Nunes，A.、Reimer，B.和Coughlin，J.F.（2018年）。人们必须保持对自动驾驶汽车的控制。自然556 (7700), 169–171. doi:10.1038/d41586-018-04158-5
CrossRef全文|谷歌学者
Rossi，S.、Rossi，A.和Dautenhan，K.（2020）。机器人的秘密生活：非交互式任务中机器人行为的视角和挑战。国际社会机器人学杂志12 (6), 1265–1278. doi:10.1007/s12369-020-00650-z
CrossRef全文|谷歌学者
Scassella，B.和Vázquez，M.（2020年）。传染病爆发期间社交辅助机器人的潜力。科学。机器人。5，s.doi:10.1126/scirobotics.abc9014
CrossRef全文|谷歌学者
Su，H.，Qi，W.，Yang，C.，Sandoval，J.，Ferrigno，G.和Momi，E.D.（2020年）。双边遥操作机器人刀具动力学识别的深度神经网络方法。IEEE机器人。自动。莱特。5 (2), 2943–2949. doi:10.1109/lra.2020.2974445
CrossRef全文|谷歌学者
Torresen，J.（2018）。机器人学和人工智能的未来和伦理观点综述。前面。机器人。人工智能4, 75. doi:10.3389/frobt.2017.00075
CrossRef全文|谷歌学者
Wu，J.，Huang，Z.，Huang.，C.，Hu，Z..，Hang，P.，Xing，Y.等人（2021年）。人性化深度强化学习及其在自动驾驶中的应用, 07246. arXiv:2104。
谷歌学者
Yang，G.Z.，Bellingham，J.，Dupont，P.E.，Fischer，P.，Floridi，L.，Full，R.等人（2018年）。科学机器人的重大挑战。科学。机器人。3（14），eaar7650。doi:10.1126/scirobotics.aar7650
PubMed摘要|CrossRef全文|谷歌学者
