专家视角 | AR/VR 与智能制造实践

    借助头盔、眼镜、耳机等虚拟现实设备，人们可以“穿越”到硝烟弥漫的古战场，融入浩瀚无边的太空旅行，将科幻小说、电影里的场景移至眼前……虚拟现实早已进入我们的生活。

    诚然，如今AR/VR技术正褪去“神秘感”，实实在在地落地到应用中。在工业领域，虚拟现实与增强现实和其他三维可视化技术的融合，为产品研发、生产制造带来了前所未有的变革。

    近日，由黄培、许之颖，张荷芳编撰的《智能制造实践》即将出版，特别剖析了AR/VR 在智能制造领域的应用和发展趋势，其中不少内容与当前ALVA 的技术场景不谋而合。

    今天就引用书中相关内容，和大家一起从专家视角，展开探讨 AR/VR 与智能制造实践。

    1.虚拟现实与增强现实的定义

    虚拟现实（virtual reality，VR）技术利用三维建模等技术，建立一个虚拟的空间，再利用虚拟现实设备，提供视觉、听觉、甚至触觉和嗅觉的感官模拟，能够使用户身临其境地沉浸在这样的虚拟的合成环境中，VR的虚拟眼镜使用户在此环境中无限地观察虚拟空间中的事物，穿戴设备还会给身体不同方位的振动反馈。

    虚拟现实技术最早应用在航空航天领域，集中在美国军方对飞行员的模拟训练，飞行员在飞行模拟器中就好像在真的飞机上一样，在屏幕上操作各种仪表设备，视景窗可以实时生成座舱外的景象，如机场与跑道、建筑物、河流、云层等。

    虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术和网络技术等多种尖端技术相结合而成。虚拟现实有4个关键要素：想象（imagination）、交互（interaction）、沉浸（immersion）和行为（behavior）[1]。

    增强现实（augmented reality，AR）也是一种计算机建模的技术，它通过捕获摄像机的位置，计算出影像物体的角度和位置来进行建模，当完成建模后，在此位置上增加一些虚拟的图像、视频或者更为立体的3D模型，这些虚拟的对象和摄像机捕捉到的真实对象融合在一起，让用户可以通过摄像头就看到真实和虚拟两种影像。

    目前，在工业应用上，AR 技术侧重于精密仪器制造和维修、工程设备的维修、在医疗上用于解剖和训练、在军事上用于作战指挥、侦查、同时AR技术还应用在教学的培训和抢修救灾等场景。

    案例分享

    ALVASystems，#AR虚拟实训 应用已适配HoloLens眼镜，复杂操作培训也可以很直观，误操作从此无处遁形！

    混合现实（mixed reality，MR）技术则是虚拟现实技术和增强现实技术的混合应用，在建筑、工业、展览、医疗等行业都有成熟的应用案例。

    1）虚拟/增强现实的关键要素

    （1）沉浸

    沉浸指通过视觉、听觉等使得用户有身临其境的感觉，来增加虚拟世界的真实性。理想的虚拟环境应该达到使用户难以分辨真假的程度，甚至超越真实，如实现比现实更逼真的照明和音响效果等。

    （2）交互

    交互指计算机通过各种各样的传感器捕捉用户的动作等信息，经过处理后与人产生相互作用。交互是沉浸感的重要影响因素，交互的实时性和交互的可操作程度都很关键。同时，交互的实时性对于硬件要求很高。

    （3）行为

    行为是交互的表达方式。大多行为通过硬件来完成，比如头戴式设备，主要限于视觉体验。现在，越来越多的传感器，诸如手柄、激光定位器、追踪器、运动传感器，以及VR座椅、VR跑步机等硬件的出现，呈现出更多样化的行为体验。

    （4）想象

    想象指虚拟场景由设计者想象出来，既可以是真实现象的重现，也可以加入想象的内容。想象主导着虚拟现实（VR）的内容，为精品内容的出现提供了可能，也为新的交互方式、新的行为方式提供了灵感。

    2）虚拟/增强现实关键技术

    虚拟/增强现实的关键技术主要包含：

    （1）环境建模技术：即虚拟环境的建立，目的是获取实际三维环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模型。

    （2）立体声合成和立体显示技术：在虚拟现实系统中消除声音的方向与用户头部运动的相关性，同时在复杂的场景中实时生成立体图形。

    （3）触觉反馈技术：在虚拟现实系统中让用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力，从而产生身临其境的感觉。

    （4）交互技术：虚拟现实技术中的人机交互远远超出了键盘和鼠标的传统模式，利用数字头盔、数字手套等复杂的传感器设备，以及三维交互技术与语音识别、语音输入技术成为重要的人机交互手段。

    （5）系统集成技术：由于虚拟现实系统中包括大量的感知信息和模型，因此系统的集成技术为重中之重。这些信息包括信息同步技术、模型标定技术、数据转换技术、识别和合成技术等等。

    推荐应用

    针对AR应用的3D建模，ALVA 能够为客户提供开箱即用的 AR模型创建发布平台，欢迎点击图片了解详情。

    2.虚拟/增强现实技术发展综述

    虚拟现实技术的概念最早来源于美国，其研究水平基本上代表国际发展的水平。目前该技术在美国的基础研究主要集中在感知、用户界面、后台软件和硬件四个方面。研究机构则主要集中于航空航天及大学实验室，如NASA的Ames实验室研究主要集中在：将数据手套工程化，使其成为可用性较高的产品；在约翰逊空间中心完成空间站操纵的实时仿真；大量运用面向座舱的飞行模拟技术；对哈勃太空望远镜进行仿真。

    麻省理工学院（MIT）是研究人工智能、机器人和计算机图形学及动画的先锋，这些技术都是虚拟现实技术的基础，其他国家也有不同程度的发展，如英国在分布式并行处理、辅助设备（包括触觉反馈）设计和应用研究方面全球领先，日本主要致力于建立大规模虚拟现实（VR）知识库的研究，在虚拟现实游戏方面的研究也处于领先地位。下图就显示了虚拟现实技术发展历程。

虚拟现实技术发展历程（来源：《虚拟现实技术发展历程及发展趋势分析》，产业研究智库）

    我国虚拟现实技术研究起步较晚，与发达国家相比还有较大差距。北京航空航天大学计算机系是国内最早进行虚拟现实（VR）研究的单位之一，在虚拟环境中物体物理特性的表示与处理、虚拟现实中视觉接口方面软硬件、分布式虚拟环境网络设计方面成果突出；浙江大学CAD&CG国家重点实验室开发出了一套桌面型虚拟建筑环境实时漫游系统，还研制出了在虚拟环境中一种新的快速漫游算法和一种递进网格的快速生成算法；哈尔滨工业大学已经成功地虚拟出人的高级行为中特定人脸图像的合成、表情的合成和唇动的合成等技术问题；清华大学计算机科学和技术系对虚拟现实和临场感的方面进行了研究；西安交通大学信息工程研究所对虚拟现实中的关键技术——立体显示技术进行了研究，提出了一种基于JPEG标准压缩编码新方案，获得了较高的压缩比、信噪比以及解压速度。

    近几年，GPU技术、立体眼镜和头显技术的进步，促使VR/AR技术在个人消费市场的爆发，在制造领域的应用场景也在加速落地。工信部在《虚拟现实产业白皮书（2019）》中指出，虚拟现实在制造业的应用主要包括虚拟研发、虚拟装配、设备维护检修等，已经在大型装备制造中实现初步应用。但虚拟现实（VR）设备的标准体系不完善，虚拟现实技术、产品和系统评价指标体系尚不健全，产品性能和质量缺乏标准规范，硬件、系统和内容之间兼容性差等，这些对于工业领域大范围的使用制造了障碍。纵观虚拟现实（VR）技术多年来的发展历程，以及未来在工业领域更为广泛的应用，VR/AR技术的研究将遵循“低成本、高性能”原则，分别有以下主要方向的发展趋势[2] [3]。

    1）动态环境建模技术

    虚拟环境的建立是虚拟现实（VR）技术的核心内容，动态环境建模技术的目的是获取实际环境的三维数据，在不降低三维模型的质量和复杂程度的前提下，实时建立相应的虚拟环境模型。该技术强调实时的数据传感、超高清显示技术，以及提高刷新频率、提升系统性能，减少晕眩和提高真实感。

    针对环境的实时动态建模，在矿业、风电等应用场景中十分具有现实意义，能够增强巡检效率，对于场地大、分布广的工厂来说，能够显著提升运维效率 ，想了解相关案例详情，欢迎点击“阅读原文”。

    因此，一是需要提升传感器性能，提高视觉传感、体感识别、眼球追踪、触觉反馈等能力，增强数据采集能力，从而精确、精准定位，快速反馈周围环境。二是突破CPU、GPU等数据处理单元的性能水平。虚拟建模技术需要对运动中大规模的数据模型进行重建，要求硬件能处理较大的并行视频数据，在虚拟世界中同步现实世界，提升用户体验。

    2）近眼显示技术

    显示延迟、晕眩、视场角狭窄是目前虚拟现实技术普遍存在的问题，为了进一步提升虚拟现实的真实感、沉浸感，显示技术还有较大的提升空间。未来，近眼显示技术将以沉浸感提升与眩晕控制为主要发展趋势。

    高角分辨率与广视场角显示成为提升虚拟现实沉浸感的重要切入点。随着虚拟现实（VR）头显在近眼显示上对清晰度提出了更高要求，分辨率将达到4K以上。增强现实强调与现实环境的人机交互，由于显示信息多为基于真实场景的提示性、补充性内容，现阶段增强现实显示技术以广视场角等高交互性（而非高分辨率等画质提升）为首要发展方向。

    目前，虚拟现实眩晕产生机理尚未完全为人所知，因此，在显示技术方面眩晕控制成为虚拟现实在近眼显示方面的发展难点，发展非固定焦深的多焦点显示、可变焦显示与光场显示成为业界在近眼显示眩晕控制方面的重中之重。

    此外，在硬件方面，AMOLED、LCOS/OLEDoS成为近眼显示屏幕技术的主导路线，分别在响应时间、蓝光辐射量、功耗、轻便程度等方面具备优势。

    3）感知交互技术

    感知交互技术聚焦于追踪定位、环境理解与多通道交互等热点领域。

    追踪定位将成为虚拟现实（VR） 与增强现实在感知交互领域的核心技术，该技术的发展趋势为由外向内的空间位姿跟踪向由内向外的空间位姿跟踪的转变。

    手部体感交互呈现由手势识别向手部姿态估计/跟踪的发展趋势。传统的手势识别是让静态手型或动态手势与确定的控制指令进行映射，触发对应的控制指令，这种方式需要用户学习和适应才能掌握。而手部姿态估计与跟踪技术不需判断手部形态实际含义，通过还原手部26个自由度的关节点姿态信息，虚拟手与现实世界中双手的活动保持一致，用户像使用真实手操作现实物体一样对虚拟信息进行操作，这种技术学习成本低，可实现更多、更复杂、更自然的交互动作。

    增强现实（AR）感知交互的发展趋势侧重于基于机器视觉的环境理解。环境理解呈现由有标识点识别向无标识点的场景分割与重建的方向发展。基于机器视觉的环境理解成为AR感知交互的技术焦点，随着深度学习和定位重建技术的发展，机器识别会逐渐拓展到对现实场景的语义与几何理解。虚拟现实（VR） 感知交互的发展趋势则侧重于多通道交互的一致性，即通过视觉、听觉、触觉等感官的一致性，以及主动行为与动作反馈的一致性。基于用户眩晕控制与沉浸体验方面的特性要求，浸入式声场、眼球追踪、触觉反馈、语音交互等交互技术成为虚拟现实的刚性需求。

    4）软件技术

    虚拟现实技术除了硬件能力上的提升外，还需要加强软件开发能力。需要鼓励应用程序开发者研发通用化、易用性高的虚拟现实软件，使AR/VR技术更容易与移动设备相结合，用户可以更方便地创建各种增强现实应用，降低开发费用，从而降低虚拟现实系统的购买成本和使用成本。

    此外，AR/VR技术需要与企业级系统结合，利用PLM系统中的三维模型、BOM和产品信息以及SLM系统中的维修服务信息，形成产品维修服务、培训指导的实时交互的能力。

    通过与企业系统平台的打通，ALVA 助力制造企业实现IoT数据的实时、立体、可视化展示。

    5）分布式虚拟现实技术

    网络分布式虚拟现实将分散的虚拟现实系统或仿真器通过网络联结起来，采用协调一致的结构、标准、协议和数据库，形成一个在时间和空间上互相耦合、虚拟、合成的环境，参与者可自由地进行交互作用。目前，分布式虚拟交互仿真已成为国际上的研究热点，相继推出了DIS、mA等相关标准。

    此外，虚拟现实的沉浸感还需要大幅提升端到端网络传输性能。虚拟现实涉及接入网、承载网、数据中心网络、网络传输运维与监控以及投影、编码压缩等多种网络传输和数据处理技术，在利用虚拟现实仿真的过程中会产生大量的实时数据，因此，网络传输技术呈现出大带宽、低时延、高容量、多业务隔离的发展趋势。

    参考文献

    [1] 李巍.虚拟现实技术的分类及应用[J].无线互联科技,2018,15(08):138-139.

    [2] 刘华益,汪莉,单磊,等.虚拟现实产业发展白皮书[R].北京:中国电子技术标准化研究院,2016.

    [3] 中国信息通信研究院.虚拟（增强）现实白皮书（2017年）[R].北京:中国信息通信研究院，华为技术有限公司,2016.