人机一体化赛博物理系统开发平台

利用新颖的扩展现实技术构建人机一体化赛博物理系统开发平台，通过物联网与扩展现实主从机器人技术的集成，研究虚拟空间下的人机协同与共智技术，实体无人机/车与其数字孪生基于物联网的实时互联技术，建立对实体无人机/车进行沉浸式遥距操控和人机互理解的方法，实现在虚拟世界中开展遥远物理环境下的复杂作业。赛博物理系统开发平台架构如图1所示。

图1 赛博物理系统开发平台架构

通过将实体空间的研究对象映射到虚拟空间，提出虚实孪生互连-互通-互操作-互理解-互遵守协同框架，研究支持人机协同的智能化学习系统。攻克基于扩展现实技术的主从机器人技术，研究虚拟空间下的人机协同与共智技术，实体无人机/车与其数字孪生基于物联网的实时互联技术，构建高实时数字孪生平台，设计机器可理解的行为编码，实现虚拟空间下的人机协同仿真和实体空间下的人机遥距自适应操控，建立虚实孪生运动状态和动力学行为时空下演化一致性的互操作方法。以模型定义为框架，构建集成化三维实体模型来完整表达无人机/车本体数据信息，研究自适应生成动态感知、规划、决策数据及其运动和动力学数据，以及存储、管理和一致性分析这些数据的方法，支持可持续自主学习。

如图2精准农业应用案例所示，跨域无人系统在复杂多变环境下作业的协同机制复杂，难以有效开展成本高昂的实体试验研究。复杂动力学系统仿真平台通过高逼真、高保真、高实时的多物理耦合动力学仿真，为开展人机协同智能无人系统在复杂环境下作业策略的优化研究，突破实体资源和时间局限，提供了更有效的手段。

图2精准农业应用案例

通过构建虚实互动的边云融合系统，提供虚拟仿真科目和作业设置，以及直观有效且详略得当的多视角复杂作业过程回放，方便用户分析和评估作业效果，为人机协同自主学习提供大数据支撑。如图3所示，人机一体化赛博物理系统开发平台可提供数据驱动的无人系统自主学习服务，其软件架构包括硬件资源层、软件资源层、平台资源层和应用服务层。

1）硬件资源层

虚实互连的边云融合平台提供的硬件资源包括支撑虚拟仿真和机器学习的异构计算资源池、数据存储池、网络通信池，以及实体物理空间下的无人系统、传感器、物联网、通信模块、人机互动、虚拟现实等设备。

2）软件资源层

软件资源层包括传统计算机操作系统、编译器、基础数学库、数据库、计算图形库、硬件驱动程序库、通信接口库、文件管理、硬件资源调度和系统运营监控和分析软件等。

3）平台资源层

平台资源层包括机器学习工具、情景渲染引擎、物理仿真引擎、多物理场并行计算软件库，针对作业环境、无人系统、传感器、通信网络的建模软件库，模拟仿真性能分析软件库、并行计算优化软件库等。

平台资源层可为不同业务需求，为用户提供基准的分布式智能算法模块、算法接口和参数说明文档，功能包括环境感知、无人平台的定位与定姿、行为决策、路径规划、车辆控制/飞行控制等。

平台资源层存储和管理结构化数据、非结构化数据和日志数据。在软件开发和验证环境中部署DevOps组件，以确保100%的软件和模型部署成功。如果不成功也需要采取必要的机制快速回滚到上一个稳定的版本，以使业务服务快速恢复正常。

4）应用服务层

应用服务层包括用户服务管理平台、任务编辑器、角色分配器、作业环境库、无人系统库、传感器库、通信网络库、作业算法库、人机协同库、虚实互动案例和自主学习案例等。

应用服务层向各个仿真软件模块提供标准交互接口，并通过部署多节点路由服务，实现各模块间高可用的分布式通信、数据交互服务。其中，为了模拟无人系统的自主控制，仿真软件提供与实体无人平台相同的、兼容ROS Indigo的控制接口，提供与实体无人系统载荷相同的RGB相机、深度相机、红外相机、激光雷达、毫米波雷达以及GPS/北斗、惯性测量单元（IMU）、电子罗盘等传感器仿真数据，通过多物理仿真引擎模拟实体无人系统在复杂工况下的动力学行为。此外，仿真软件还模拟通信系统误码或通信受阻情况。

图3 数据驱动的自主学习软件架构

应用服务层可提供友好的三维物理场景设置与管理接口界面、场景属性配置和编辑界面，供用户设置天气环境和低空大气环境、物体物理属性等；为用户提供启动作业环境仿真器、数字孪生平台和可视化窗口等人机操作界面；为用户提供管理应用、数据、日志、资源服务。

应用服务层可提供作业过程观摩界面，并可根据不同用户要求，切换观摩视角。作业结束后，还可根据用户要求，从不同视角和视场回放整个过程，调用作业物理环境、无人系统、传感器、通信网络等动态数据。