虚拟现实(VR)与数据手套的研究

虚拟现实技术简介

    虚拟现实(Virtual Reality,简称VR)技术是近年来最热门的研究领域之一，有着巨大的发展潜力和广泛的应用前景，受到各界、尤其是军方的青睐。

    虚拟现实是一种虚拟的沉浸式交互环境,具体地说,就是采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉一体化的特定范围的虚拟环境,用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响,从而产生“沉浸”于等同真实环境的感受和体验。VR带来了人机交互的新概念、新内容、新方式和新方法,使人机交互的内容更加丰富、形象,方式更加自然、和谐。

    手是人与外界进行物理接触及意识表达的主要媒介。当人与计算机控制系统进行交互操作时,传统的输入输出接口设备,如键盘、鼠标等只能限制手在桌面上或一个小区域内进行简单的运动控制,而表达意识的大多数手的自然运动被牺牲了,妨碍了人们对系统控制意识表达的全面性与灵活性。数据手套可以跟踪操作者灵活多变的手势及空间方位,使操作者自然而然地将自己的意识传送至计算机。因此数据手套作为一种重要的人机交互接口,广泛地应用于虚拟现实的研究领域中。

    本文分析了几种不同的数据手套性能,并进一步阐述作者在数据手套研制方面所做的工作。

虚拟现实简介

    1. 1　虚拟现实的基本构成及其分类

    在虚拟的现实中,人们利用头盔显示器、图形眼镜、数据服、立体声耳机、数据手套及脚踏板等多维输入输出设备通过传感器装置与计算机生成的三维虚拟环境交互作用,可获得视觉、听觉、触觉等多种感知反馈,并按照自己的意愿去实时地改变虚拟环境。

    虚拟现实系统构成模型如图1所示。

    虚拟现实系统中包括人件(HumanWare) 、媒体件(MediaWare) 、数据件(DataWare)和网络件(NetworkWare) 4部分。

    人是虚拟现实系统的“核心”,人能与虚拟世界对话,体验虚拟世界的临境感,人的参与使虚拟现实更为重要。

    媒体件将从听觉、视觉和触觉得到的信息加以综合,并以和谐的形式进行反馈处理。

    数据件和网络件是指在虚拟现实中需要进行双向会话和数据交流,必须依赖面向对象的数据库和网络通讯等基础设施。

    虚拟现实系统按其功能高低大体分为4类:

    一是桌面虚拟现实系统,也称窗口中的VR。它主要在台式计算机上实现,所以成本低,功能也最简单,主要用于CAD、CAM、建筑设计、桌面游戏等领域。

    二是沉浸虚拟现实系统,如各种用途的体验器,使人有身临其境的感觉,各种培训、演示以及高级游戏等用途均可用这种系统。

    三是分布式虚拟现实系统,它在因特网环境下,充分利用分布于各地的资源,协同开发各种虚拟现实的利用。它通常是沉浸虚拟现实系统的发展,也就是把分布于不同地方的沉浸虚拟现实系统,通过因特网连接起来,共同实现某种用途。美国大型军用交互仿真系统NPSNET以及因特网上多人游戏MUD便是这类系统。

    四是增强现实或混合现实系统。它是把真实环境和虚拟环境结合起来的一种系统,既可减少构成复杂真实环境的开销,又可对实际物体进行操作,真正达到了亦真亦幻的境界,是今后的发展方向之一。

虚拟现实的主要特征和关键技术

    总的来说,虚拟现实具备以下主要特征:

    (1)投入性

    投入性是虚拟现实最主要的技术特征。要让用户觉得自己是虚拟环境中的一部分,而不是旁观者,力图使用户在计算机所创建的三维虚拟环境中处于一种“全身心投入”的状态,有身临其境的感觉,即所谓的“沉浸感”。正是这种“沉浸感”特性使虚拟现实与一般的交互式三维计算机图形有较大的不同,用户可以暂时与现实环境隔离,沉浸于数据空间、从数据空间向外观察,以更自然、更直接的方式与数据交互,从而能真实地注视数据。理想的虚拟环境应该达到使用户难以分辨真假的程度(例如可视场景应随着视点的变化而变化) ,甚至超越真实,如实现比现实更逼真的照明和音响效果等。

    (2)交互性

    交互性是人机和谐的关键因素。指用户通过使用专用设备,用人类的自然技能实现对模拟环境的考察和操作的程度,即用户与虚拟场景中各种对象相互作用的能力,包含对象的可操作程度及用户从环境中得到反馈的自然程度(包括时实性) 。虚拟场景中,对象应正确地模拟物理、化学等自然界应遵守的定理。

    (3)构想性

    虚拟现实不仅仅是一个用户与终端的接口,用户还可以沉浸在多维信息空间中,依靠自己的感知和认知能力全方位地从环境中获取新的知识,提高感性和理性认识,产生新的构想。若将构想结果再次输入到系统中,处理结果可实时显示或由感受装置反馈给用户,如此反复,形成一个学习—创造—再学习—再创造的过程,因而,虚拟现实能启发人的创造性思维。伴随网络技术的发展,或许今后通过虚拟现实技术学习的可以是一台机器,它具有极强的数据处理能力及认知能力,通过对虚拟现实环境的访问,将获取的知识加入自己的知识库,并控制下一步动作。

虚拟现实是多种技术的综合

    其关键技术包括以下几个方面:

    (1)动态环境建模技术

    虚拟环境的建立是虚拟现实技术的核心内容。动态环境建模技术的目的是获取实际环境的三维数据,并根据应用的需要,利用获取的三维数据建立相应的虚拟环境模型,以求有真实感。三维数据的获取可以采用CAD 技术(有规则的环境) ,而更多的环境则需要采用非接触式的视觉建模技术,两者的有机结合可以有效地提高数据获取的效率。

    (2)实时三维图形系统和虚拟现实交互技术

    利用实时三维图形系统,可以生成有逼真感的图形,图像具有三维全彩色、明暗、纹理和阴影等特征。虚拟现实是一种交互式和先进的计算机显示技术,双向对话是它的一种重要工作方式,为虚拟环境提供了一种新的人机接口。

    (3)传感器技术

    虚拟现实的交互能力,例如,显示以及拾取技术,均依赖于传感器技术的发展。而现有的传感器的精度还远远不能满足系统的需要。例如,数据手套的专用传感器就存在工作频带窄、分辨率低、作用范围小、使用不便等缺陷,因而寻找和制作新型、高质量的传感器变成了该领域的首要问题。

    (4)开发和系统集成技术工具

    虚拟现实应用的关键是寻找合适的场合和对象,即如何发挥想象力和创造力。选择适当的应用对象可以大幅度地提高生产效率、减轻劳动强度、提高产品开发质量。为了达到这一目的,必须研究虚拟现实的开发工具。例如,虚拟现实系统开发平台、分布式虚拟现实技术等。

    由于虚拟现实中包括大量的感知信息和模型,因此系统的集成技术起着至关重要的作用。集成技术包括信息的同步技术、模型的标定技术、数据转换技术、数据管理模型、识别和合成技术等等。

数据手套

    2. 1　数据手套实现的一般基理

    数据手套是虚拟现实系统的重要组成部分,是一种通用的人机接口,其直接目的在于实时获取人手的动作姿态,以便在虚拟环境中再现人手动作,达到理想的人机交互目的。

    数据手套实现的关键在于手掌、手指及手腕的各个有效部位的弯曲、外展等测量以及在此基础上的姿态的反演。完成反演主要取决于人体手部姿态的建模,最根本的就是,确定传感器测量数据和手部各关节运动姿态的对应关系。

    对一个具体的数据手套应用过程,可设由手部各弯角组成的向量f = ( f1 , f2 , ⋯, fn )与对应传感器示数组成的向量d = ( d1 , d2 , ⋯, dn ) 。显然f和d之间存在着强耦合的映射关系。数据手套的实现即是根据示数向量d, 找出原映射关系的逆映射,从而反演出手部各部位的姿态。

    手部软组织的存在,是人手和机械手区别的主要差异,使得人手无法和普通的刚性杆铰链相比,这就加大了问题求解的复杂性。手部某一关节的运动,不仅会作用于对应的传感器的示数发生变化,而且通过软组织的相互作用,使其他的传感器示数也发生变化。如果要求保证一定的精度,必须对求得的逆映射进行解耦计算。

    由于数据手套的传感器数目较多,而且响应的标定和解耦计算十分复杂,进行实时处理时困难较大,因此,目前数据手套的发展与应用只是处于初级阶段,还不十分成熟。

目前各种数据手套的比较

    国内外许多研究单位和公司在数据手套的研制开发方面做了大量的工作,并推出了一些采用不同传感器的数据手套产品,得到较成功的应用。下面分析几个主要产品的各项性能指标。

    (1) Dataglove (已注册商标)是VPL 公司于20世纪90年代推出的最早的数据手套,以模型4(根据手套模型的自由度区分手套型号)为例说明:

    手套本体材料:氯丁二烯橡胶布。

    传感器:专利技术“光纤弯曲传感器”。

    自由度(DOF) :手指关节的弯曲和外展、大拇指的复杂动作。

    空间定位:根据应用场合可选择三维空间的单独跟踪、快速跟踪或其他跟踪系统。

    测量精度: < 5°。

    最大采样频率: 160 Hz。

    接口: RS232,最高波特率115. 2 kbp s。

    应用情况:被设计适用于VR的医学应用,能作为功能评估、击打损伤恢复、生物工程、运动生理等输入设备。

    评价:专利传感器技术,结构紧凑,佩戴舒适,轻便易用;采用桌面控制模块,能同时支持系4副手套;但是容易受用户手尺大小影响,应用过程中需要重新校正(防止手套与手指之间滑动带来的误差) ,另外光纤的疲劳问题(光纤使用时间过长导致精度下降或折断)也值得注意。

    (2) Cyberglove是Virtual Technologies公司于1991年推出的。

    手套本体材料:弹性纤维,可拉伸,尺寸固定。

    传感器:专利技术“压电传感器”。

    自由度(DOF) :手指关节的弯曲和外展、大拇指、手掌弯曲、手腕的弯曲和外展。

    空间定位:手腕处可安装六自由度跟踪器。

    测量精度: 0. 5°。

    最大采样频率: 112 Hz。

    接口: RS232,最高波特率115. 2 kbp s。

    应用情况:可用于是虚拟现实、遥控机器人、医学、CAD、手语识别、视频游戏、音乐生成、手功能分析等。

    评价:质地很轻,佩戴舒适,手掌处成网状易于通风,指尖露出,便于用户抓取、写字等;专利“压电传感器”具有良好的线性和强健性,体型细小、柔软,对弯曲基本无阻力,受安装位置和手指的弯曲曲率半径影响很小,保证传感器准确可重复地测量手部运动,并对所有用户校正标准一致。

    (3) Dataglove是5DT公司于1995年推出的数据手套系列(以5DTDataglove5为例) 。

    手套本体材料:弹性纤维,手套尺寸固定,适用面广,分左右手。

    传感器:光纤传感器。

    自由度(DOF) : 5个手指的弯曲传感器、手掌的倾斜和转动。

    空间定位:无,可通过增加三维跟踪器来实现。

    测量精度: 8位A /D采样,漂移扰动小。

    最大采样频率: 200 Hz。

    接口: RS232,支持无线收发。

    应用情况:被设计为三维输入设备,适合对虚拟世界的控制和操作,手势识别,物理疗法和物理复原,远程机器人的控制等。

    评价:质量有保证,适合大众的尺寸,左右手版本,佩戴非常舒适; PC的ISA总线可同时连接4个手套,开放式结构,鼠标仿真模式, VR 程序驱动,有DOS和W indows下的软件开发包;但是对不同用户需要重新校正,同样也存在疲劳问题。

数据手套应用现状及今后的研制发展方向

    随着虚拟现实技术在各个领域的广泛应用,数据手套的研制和应用也不断深入。例如,美国宇航局的Ames实验室将数据手套工程化,使其成为可用性较高的产品,在约翰逊空间中心完成空间站操纵的实时仿真。美国Boneing公司制造了一架虚拟飞机,运用数据手套进行控制,从而观察设计结果,考察性能指标。NEC公司开发的虚拟现实系统,操作者通过使用数据手套可以处理三维CAD中的形体模型。国内的研究也取得了一批成果。

    目前数据手套研究领域中仍存在着许多没有解决的理论问题和尚未克服的技术难点,需要人们去探索和寻找解决之道。今后研究的重点主要有以下几方面:

    (1)研制开发能够满足数据手套实用性要求的新型传感器

    传感器技术是数据手套系统中的核心和关键技术,数据手套的交互能力直接取决于传感器的性能。目前尽管已经出现了多种数据手套专用传感器,但还不能真正满足数据手套的实用性要求。因此采用新技术、新材料、新结构,研制出精度高、体积小、成本低、不易损坏、易于更换的高性能传感器,是数据手套能否进一步商品化、实用化的关键。

    (2)研制技术成熟、性能可靠的力反馈装置

    手指力反馈装置的研究对数据手套的应用意义重大。具有力反馈功能的数据手套不但可以使用户以较自然的方式将自己的手部动作传递给虚拟环境,实现对虚拟环境的操作,也可以使用户利用触觉和力觉反馈信息,得到真实的“沉浸感”,尤其对机器人技术力反馈是至关重要的。目前这种数据手套不多,技术不够成熟,需进一步提高性能,降低价格,增强实用性。

    (3)硬件接口及软件环境的深入开发

    进一步开发各种数据手套通用的接口及专用软件,使其具备良好的可移植性、可扩充性,方便以后用户系统的更新升级。

    (4)进一步提高设计工艺要求

    在数据手套及其部件的选材、设计组装等方面下功夫,既要佩戴方便舒适,又要易于组装维护,进一步提高整体性能。