手在人类生活中具有极其重要的地位,被用来认识、了解、改造周围的环境。如果能直接使用手与虚拟世界进行交互,将日常生活中获得的经验直接运用到交互活动中,则可以充分提高虚拟世界的可操作性,并可在虚拟世界中完成更复杂的任务,VR手势输入设备也就由此诞生,它的出现为人与虚拟世界交互中充分发挥手在交互过程中的自然性、灵巧性和适应性创造了条件,使基于手势的交互技术的实现成为可能。
目前手势方面的VR输入设备有VR手柄、数据手套、基于计算机视觉的手势输入设备三大类,这些输入设备都是目前VR领域炙手可热的黑科技,下面我们就对这几类VR手势输入设备一一解析。
1) VR手柄
VR手柄属于局部动作追踪,包括采用惯性传感器、震动马达的传统手柄及动作感应手柄。这里我们主要看一下利用惯性传感器获得信息输入的手柄,代表产品有Oculus Touch。
基于惯性传感器的手柄根据加速度和磁场传感器在各测量轴方向上的分量,计算得出手柄相对于重力加速度轴和地磁场轴的俯仰角和方位角,将这两个角度作为手柄的状态变量计算得到动作指令,通过串口传送到主机端,然后在虚拟场景中完成相应虚拟场景动作。
VR手柄还通过外部摄像头实现手柄的位置追踪,使得用户通过操纵VR手柄可以在虚拟场景中自由参观。此外,手柄还可以通过按钮方式进行人机交互,并通过震动马达的方式实现反馈,增强使用者的沉浸感。VR手柄还具备结构简单、性能稳定、成本低廉、使用方便的特点,现阶段适用于家庭,并且只需更改虚拟场景内容即可将该系统移植到其他应用领域,可移植性非常强。
VR手柄也有着明显的缺陷:对于手部关节的精细动作无法还原;无法进行手部动作的精准定位;容易受周围环境铁磁体的影响而降低精度。
2) 数据手套
数据手套代表性产品有5DT、CyberGlove、Measurand等。
数据手套中装有许多光纤传感器,能够感知手指关节的弯曲状态,并将状态信息转换成电信号并经过微处理器处理后再通过串口输出给计算机。在人机交互的过程中使用数据手套捕获操作者手的各种手势或动作,传送给生成虚拟环境的计算机。数据手套不仅能将人手的姿态准确地实时地传递给虚拟环境,而且能够把与虚拟手与虚拟物体的接触信息反馈给操作者从而令操作者与虚拟环境之间以更自然更具沉浸感的方式进行交互。
数据手套的优点是输入数据量小,速度快,直接获得手在空间的三维信息和手指的运动信息,可识别的手势种类多,能够进行实时地识别。此外,该类产品的设计是为了满足那些从事运动捕捉和动画工作的专家们的严格需求,其使用简单、操作舒适、驱动范围广,数据质量高,适用于机器人系统、操作外科手术、虚拟装配训练、手语识别系统、教育娱乐等诸多领域。
但是,由于受技术及材料的影响,该类产品价格昂贵,普通应用场合难以承受,受众范围小,而且由于数据手套上一些硬件设备(如传感器)的材料比较娇贵,存在老化快,不能长时间应用等缺点。此外,数据手套穿戴复杂,给人带来很多不便,并且因为本身不能提供与空间位置相关的信息,所以数据手套必须配合位置跟踪器使用以达到获取空间位置信息的目的。
3) 基于计算机视觉的手势输入设备
基于计算机视觉的手势识别可以分为基于单目视觉的手势识别和基于多目视觉的手势识别。基于单目视觉的手势识别就是通过单个摄像机来采集手势图像,从而建立平面手势模型。这种方法处理的数据量较小,识别速度快,但是对于用户手势的输入限制较大。基于多目视觉的手势识别是通过两个或两个以上的摄像机来采集图像,建立的是立体模型。这种方法对于用户手势的输入限制较小,可以实现更加自然的人机交互,但由于立体模型的复杂性,需要处理大量的数据,计算较复杂。
基于计算机视觉的手势识别原理图如下:
基于计算机视觉的手势识别设备典型代表产品是美国Leap公司的Leap Motion手势识别设备、G-Wearables独立研发的StepVR产品中的手势识别设备。该类产品在实现时无需购买昂贵的设备,仅需要摄像头、PC机即可,并且在操作时更加自然、方便,符合以人为本和自由性的要求,是手势识别未来发展的趋势。此外,该类产品无需外设、不需要穿戴任何设备,使用灵活轻便,用途广泛。
基于计算机视觉的手势识别设备也存在缺陷:手部正反判定比较困难,容易进行误判;受光的影响比较大,包括室外可见光、激光相机自己发出的激光、捕捉相机自身识别干扰等;识别范围有限,受光路限制,对障碍的容忍度较低,双手叠交的识别判定有误。因此基于计算机视觉的手势识别设备的识别效率相比于数据手套的低,提高识别效率成为基于计算机视觉的手势识别设备未来发展的重要方向。