微美全息科学院：虚拟现实环境下人机交互与设备远程操控关键技术应用

    在智能制造系统的研究开发实践中，会遇到大量的人机交互（Human-Machine Interaction）和需要对机器设备进行远程操控（Teleoperation)的情况。很多数字化智能化的工厂都具备了先进的人机交互系统和对设备进行远程状态检测、调试和维护的能力。尤其是在高温、有毒、高电离辐射等恶劣工况条件下，工程技术人员可以通过先进的人机交互和遥控技术对现场设备进行操作，从而保护工作人员的身体免于损伤。人机交互和远程操控技术具有大量的市场需求和广阔的应用前景，相关的研究非常热门。

    随着虚拟现实和 5G 技术的发展，为人机交互和远程操控技术注入了新的技术元素。基于传统技术的人机交互和远程操控已经不能满足人们的需求。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们认为，人们需要构建一个具有逼真可视化效果，能够与虚拟场景进行自然交互，在虚拟现实环境中对设备进行远程操控的系统。

    以下是微美全息科学院的科学与技术的融合性观点，对“虚拟现实环境下人机交互与设备远程操控关键技术”具有前沿性指导意义。

    背景介绍

    随着“智能制造”“工业 4.0”“工业互联网”等概念的提出，相关的研究开始变得热门。在制造业，工厂数字化、智能化的改造升级也在如火如荼地进行。很多数字化工厂都具备了先进的人机交互手段和对设备进行远程状态监测、运行、维护的功能。通过先进的人机交互和设备远程操控系统，工程技术人员、工作人员可以在舒适的办公室甚至在千里之外的地方即可实现对设备的运行状态监测、调试和维护，极大地提高了工作效率。尤其在高温、有毒、高电离辐射等恶劣工况条件下，工程技术人员可以通过先进的人机交互和远程操控技术对现场设备进行遥控操作，从而保护工作人员的身体免于损伤。除了工业方面的应用，在外科手术中，医生运用先进的人机交互和远程操控技术可以实现远程的手术操作，不但能让远在千里之外的患者享受到最优质的医疗服务，而且能大大减轻医疗人员的体力负担。在太空探索中，借助于人机交互和远程操控技术，科学家不必冒着生命危险亲自前往外太空，只需要在地面控制中心遥控操作远在万里之外的机器人。

    虚拟现实技术提供了一种全新的查看和操作三维数据的方式，为人机交互和设备远程操控系统注入了新的技术元素。虚拟现实技术使用户能够进入到计算机图形系统搭建的场景中，并与其中的虚拟物体进行互动。随着 HTC，Facebook 等科技公司的推动，虚拟现实硬件平台和软件开发平台开始进入市场。其中，HTC 研发推出的HTCVIVE头盔显示系统具备大视场、高度沉浸感、高刷新频率、良好的交互性等优异性能。当下，VR已成为继互联网、智能手机之后的下一个风口，世界各科技厂商都开始争相进入 VR 市场，VR 相关的研究和应用正如火如荼地开展。

    互联网技术的不断升级换代，网速和通信可靠性不断提高，为遥控操作系统提供了通信技术条件。通常遥操作系统需要建立专门的通信链路，随着互联网的性能提升，建立基于互联网的遥操作系统成为了可能。尤其是随着 5G 的全面铺开，互联网通信的网速将达到 1Gbit/s，通信的延迟将缩短为 20 毫秒以内。在 5G 支持下，人们可以在遥操作系统终端上，远程驾驶自己的汽车，远程操作家中的电器，远程使用部署在远端服务器上的大型软件，远程操作大型的实验器材。在工业生产中，的大部分设备都可以接入互联网，传输大量实时数据。工程技术人员在远程操控现场设备的操作体验将显著提升。

    虚拟现实技术国内外研究现状

    虚拟现实技术（Virtual Reality,简称 VR），又称灵境技术，是利用电脑模拟产生一个三维空间的虚拟世界，让使用者能够沉浸在虚拟空间中，如同身处实际场景中一样。虚拟现实融合了多种技术包括模型构建和3D显示技术，人体动作捕捉和传感器等技术。人机交互（Human–Machine  Interaction），主要研究的是人机界面人对机器的操作方式和交互方式。人机界面是人与机器接触的部分，包括手机电脑的软件界面，各种设备的控制面板都属于人机界面部分。远程操控（Teleoperation），是指通过有线或无线通信手段，将控制指令传递到操作终端，在操控过程中包括对设备信息的实时采集和呈现，指令的编码和传输等方面。将虚拟现实技术、人机交互技术和远程操控技术相结合，实现在虚拟现实环境下的人机交互和远程操控，国内外有很多相关的研究和实践。

    IBM、麻省理工学院和Heartport公司联手开发的达芬奇手术机器人系统运用了多种人机交互和远程操控技术。该系统采集人的操纵信息、触觉信息，经过系统处理传输到机械手执行手术动作，机械臂的成像系统采集并放大视觉信号传输至虚拟现实成像系统，将手术场景立体呈现给操作人员。该系统运用了系统界面、VR 立体成像、人体动作传感、触觉传感等多种交互手段实现人机信息传递。采用信息实时传输和高速处理技术消除信息传输和处理过程的延迟。采用精密伺服反馈控制系统和多种先进控制算法程序实现对机械臂的精确控制。

    日本丰田公司最新发布的 T-HR3 机器人系统，采用远程操控的方式完全模仿人的动作。操作系统采集到人员的动作信息，通过无线数据链路将人的动作信息传输到机器人执行同样的动作。机器人的视觉系统将采集到的视觉信息回传给操作人员，通过 VR 成像系统立体呈现给操作人员。

    美国诺斯罗普•格鲁曼公司研制的全球鹰无人机系统通过地面控制站实现人机信息传递，信息通过高速数据链传输至无人机执行，无人机的视觉传感器将采集到的信息回传至地面控制站，控制站将无人机的各项参数通过显示面板呈现给操作人员。北京航空航天大学开发的用于飞行员训练的虚拟现实系统，能够使飞行员沉浸于虚拟机舱环境，虚拟机舱根据飞行员的操作实时绘制出虚拟场景，使飞行员具有和真实驾驶环境类似的人机交互环境，大大降低了飞行员的训练成本。

    从上述研究，可以提炼出虚拟现实环境下的人机交互和远程操控的若干共性技术。这些技术可以归纳为对人信息的采集，对机器信息的采集，信息的三维呈现和远程控制等。机器视觉是信息采集获取的重要途径。无论对人还是机器，通过视觉进行信息采集都是信息获取的重要途径。对机器视觉的研究最早是对二维图像的模式识别和分析。20世纪 70 年代随着计算机的发展机器视觉的理论体系得以创建。Marr 建立了一套完整的机器视觉理论体系。Marr 的视觉理论将视觉处理分为二维数据采集、提取关键要素和三维重建。根据图像的点、线、曲率等要素及其各种要素间的关系，通过一系列的后期处理，恢复出场景的三维信息。在 Marr 视觉理论的基础上又发展出了带有特征拾取，信息反馈，带有目的的特征识别等一系列的改进模式。

    机器视觉系统的组成包括灯光系统、光电转换系统、成像系统、图像加工模块。通过光电转换将目标转换为数字信号，系统对数字信号进行处理，形成像素的灰度和彩色数字。根据数字信号的特征，获得有用知识。在光源方面，通常针对不同的特征提取需求采用不同的照明方案。在视觉系统中，有多种光照方式，包括反向照明、正向照明、结构光源和闪光等。反向照明指光源透过被照物体，光源的方向朝向摄像机。正向照明是指光源直接照射物体，物体的反射光被摄像机捕捉到形成图像。结构光源是具有一定形状特征的光源，例如线装或点状阵列光源，这些形状照射在物体上会产生变形，系统根据变形信息反推出物体的深度信息。闪光是非连续光照，仅在摄像机拍摄时有短暂光照。CCD(Charge Coupled Device)和图像采集卡技术的进步，促进了机器视觉的应用。

    随着光电转换器件的性能提升，元件越来越小，信号的传输能力越来越强。以 PC(Personal Computer)机为中心的视觉系统中，需要借助于显卡来对拍摄的图像进行处理，显卡能够将图像数字化为像素和灰度值信息。提取复杂信号的特征需要借助于多个步骤分步实现。首先要将关注的目标同背景区分开来。目标与背景差别比较小并且难以区分时，通常要对目标进行特征放大和增强。特征被放大增强以后就能够同背景进行区分。把目标从背景分离出的方法包括：伪目标删除方法、自适应阈值方法、逐步骤类方法、多信息融合方法等。

    目前，三维动作捕捉技术是研究的热点。三维运动捕捉技术能够可以测量、跟踪和记录物体在三维空间中的运动轨迹，不仅人体动作信息采集，在很多研究领域都有着广泛应用。三维运动捕捉技术的产生可以追溯到 20 世纪 70 年代，最初是由心理学家 Johansson在对人体运动的视觉感知研究中提出来的。20 世纪 80 年代以来，以 Calvert、Carol、Robertson 以及Walters 和 Tardif 为代表的教授和学者，先后对于三维运动捕捉技术进行了深入研究，推动了该技术的发展，使得该技术日趋成熟。

    随着虚拟现实技术研究的深入和相关技术的成熟，在虚拟环境中与虚拟模型进行交互控制成为了现实。虚拟现实涉及的技术领域很多，是一个多种技术共同发展的结果。虚拟现实技术涉及模型构建和 3D 显示、人机互动、穿戴式传感器、机器学习等多个领域技术。利用虚拟现实技术，可以给用户提供包括视觉触觉听觉甚至嗅觉的感官体验，使参与者具有很强的身临其境感。虚拟现实系统需要实时采集捕捉使用者的运动状态信息，从而生成相应的图像画面投影到使用者的双眼。该技术集成了 3D 显示、仿真、机器视觉、机器学习、并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。

    虚拟现实的概念最早提出与 20 世纪中期。美国宇航局对虚拟现实的显示屏和传感器等关键技术进行了研究，推出了 LCD(Liquid Crystal Display)显示屏等先进技术，使虚拟现实技术得以发展。1968 年，哈佛大学开发了一种头戴式显示器，配合头部动作捕捉系统，可以给使用者提供初步的立体视觉，这是虚拟现实技术研究的一项重要突破。之后的虚拟现实系统开发多基于这种架构。2015 年，HTC VIVE 公司研制的虚拟现实头盔系统投入市场，代表着虚拟现实技术的研究已经从实验室走向了市场。虚拟现实技术的研究也从理论研究转为应用中具体问题的研究。

    综上所述，机器视觉、动作捕捉、VR 和远程控制等技术不断进步，达芬奇手术机器人和丰田 T-HR3 机器人等通过对上述技术的整合和系统集成实现了在虚拟现实环境下的沉浸式人机交互和对机器的远程操作。在虚拟现实环境下的沉浸式人机交互将取代现有的鼠标、键盘、显示屏的人机交互方式。随着相关研究和开发的进行和关键技术的突破，电影阿凡达中出现的那种遥控外星躯体的科幻场景将成为现实。

    虚拟现实环境下人机交互与设备远程控制框架体系的结合

    为了解决虚拟现实环境下人机交互与设备远程控制系统所需解决的数据采集、模型构建和显示、人机交互、安全控制等难题，一种基于虚拟现实环境下人机交互与设备远程控制框架模型，如图1所示。从逻辑上分析，该框架模型包括五个层次：硬件执行层、工业网络层、系统层、逻辑控制层、用户操作层。这些层次之间有一定的逻辑或业务交互关系，每个层中又包含若干安全控制机制与方法，形成一套完整的虚拟现实环境下人机交互与设备远程控制逻辑架构体。

    （1）硬件执行层

    硬件执行层为系统的硬件构成，主要执行来自虚拟现实系统中的 UI 界面模块发来的各种生产指令。在智能制造车间，工业机器人、数控机床、加工中心、3D 打印机、智能 AGV(Automated Guided Vehicle)小车和工人等形成智能人机集群。这些设备的运行状态信息由数据采集设备负责采集，经过数据处理将数据提供给虚拟模型的加载和显示模块。

    （2）工业网络层

    工业网络层是将虚拟现实系统底层的现场控制单元和智能生产设备互连的实时工业通信网络，常见的有基于现场总线、工业以太网等技术手段进行工业设备网络通讯，它包括有线传输方式与无线传输方式。有线传输方式一般基于现场总线、工业以太网等，采用 Profibus、Profinet、TCP／IP 协议等多类型的标准，高速度、高频宽及高可靠度的网络传输通道。无线网络传输方式如工业无线传感器网络，进行数据传输及传感器连接，不需要现场布线，方便快捷，但是网络带宽及传输可靠性较差。

    （3）系统层

    系统层是指运行与硬件层之上的系统软件。它是虚拟现实环境下人机交互和设备远程控制系统框架模型的中间核心层，通过系统层可实现在虚拟现实环境下对智能设备的安全可靠的远程监视与控制。主要功能有数据采集、设备控制、通讯管理、模型驱动、3D 显示、系统安全管理等。在本模型中，系统安全管理的典型功能有数字签名、对称加密、非对称加密、安全机制等。

    （4）逻辑控制层

    逻辑控制层是系统的业务逻辑关系。主要处理来自用户操作层对系统层的操作指令，对相关数据进行处理。该层主要包括业务过程的逻辑控制、数据处理与算法优化等。主要模块有指令执行、数据处理、业务交互等。

    （5）用户操作层

    用户操作层是实现用户与软件系统交互、对硬件执行层发布各种指令的界面，它由各种应用系统界面接口、多类型用户终端设备（例如数据手套、摄像头、VR 眼镜等）、多种工业 API 接口等。

图1 虚拟现实环境下人机交互和设备远程控制系统框架模型

    虚拟现实环境下设备远程控制系统分为多个层级，包括客户端层、智能设备层、Server 层等。如图2所示，控制系统主体为基于 OPC(OLE for Process Control)的客户端/服务器结构。系统每一个层级都可以包含信息交互、指令执行和安全控制等模块。例如在智能设备层，信息交互模块实现了智能设备的人与机器的会话，机器与机器的会话，机器与网络的会话以及对复杂信息的处理等功能；指令执行模块可实现Server发来的各种指令的执行，如刀具更换、各运动轴变速、开关门、设备开关机等操作指令；安全控制模块具有对设备控制指令进行数字签名、对称加密和非对称加密等功能。

    图2设备远程控制系统结构模型

    为实现在虚拟现实环境下远程操控工业设备，建立了一套完整的系统。机器视觉、虚拟现实和远程控制等多项技术的发展，为这样的系统构建提供了很好的技术支撑。为使各项技术能够协调配合更好地适用于所要建立的系统环境，还需要对各项技术进行综合运用和优化改进，系统构建步骤如图3所示。

图3虚拟现实环境下人机交互与设备远程控制系统构建步骤

    如图3所示，在步骤 1 构建系统的数据采集系统。数据采集系统为系统提供数据馈送支持。现场多种设备的状态信息，通过数据采集系统获取，根据这些数据来驱动虚拟模型。然后借助于视觉标记间接获取设备运动信息的数据采集方法。

    在步骤 1 进行视觉标记设计、识别和定位相关技术的研究。

    步骤 2，完成场景实时构建和 3D 显示。在步骤 1 中获取到的现场设备数据，通过步骤 2 以三维可视化的形式呈现。步骤 2 主要研究场景的实时构建、快速加载、动态运动，虚实同步等问题的解决。最后研究 3D 显示的实现方案和在虚拟现实环境下的交互方案。

    步骤 3，搭建一个低延时、安全远程控制系统，并实现系统与被控设备的软硬件连接。在虚拟现实系统中，UI 界面产生的操作指令通过远程控制系统发送至终端设备并被执行。在该步骤中研究解决通信延迟、通信安全和基于 PLC 的终端控制系统搭建问题。

    步骤 4，将步骤 1 至 3 中所研究和提出的解决方案，以及建立的系统模块进行系统集成与测试。该部分采用数据缓存文件的方式实现系统模块间的连接。最后对系统及其各模块进行运行测试，完成系统的构建。

    研究展望

    诸多的技术发展，已经为构建一个虚拟现实环境下的人机交互与设备远程操控系统创造了很好的条件。人们希望将虚拟现实和互联网 5G 等新技术应用于数字化生产制造领域。然而集成这样的融合了软件、电子、机械诸多学科的复杂系统，还需要对各项技术进行优化改进。研究人机数据采集、场景实时建模和 3D 显示、低延时安全远程控制等关键技术，并集成关键技术，开发的虚拟现实环境下的人机交互和设备远程操控系统能够进一步提升了人机交互体验和远程操控效率，同时改进的关键技术问题具有普遍的适用性，对进一步提高智能工厂的自动化、智能化水平具有很好的参考价值，具有大量的市场需求。