微美全息科学院：虚拟现实中基于眼电的人机交互技术

    虚拟现实技术作为一种先进的计算机仿真模拟技术，目前已经在多个领域得到了广泛的应用。例如，在军事领域，通过虚拟现实技术进行军事仿真演练，能以低廉的成本、逼真的效果最大程度地代替实战训练，在让官兵尽快熟悉武器装备系统、提升部队战斗力、节省开支、优化资源配置、提高指挥决策水平等。

    在医疗与康复领域，对于肢体受伤的残障患者，基于虚拟现实的康复训练可以为其提供有趣味性的综合性训练、精确的感觉回馈、安全的训练环境。根据患者的心理状态和病情，虚拟现实技术可以选择相应的康复训练场景和任务，以多种反馈形式激发和维持患者康复训练的主动性，提高康复效果。

    沉浸感、交互性和构想性是虚拟现实系统的三个基本特征。传统的虚拟现实交互方式主要有VR手柄、数据手套、动作捕捉等。随着信息技术的不断发展，虚拟现实的人机交互技术出现了一些新的方法，例如，基于脑电、肌电等神经电信号的交互方式。这些不断涌现的人机交互技术大大增强了虚拟现实的沉浸式体验。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们对一种新型的虚拟现实交互技术-基于眼电（EOG）的交互技术进行介绍。

    基于眼电的虚拟现实交互技术

    基于EOG信号的虚拟现实交互系统主要包括三个部分，分别是信号采集部分、眼电信号处理部分和虚拟现实场景部分，系统结构图如图1所示。系统工作时，用户实时接收来自虚拟现实场景的激励信号，用户根据激励信号做出相应的眼部动作，信号采集设备实时采集用户的EOG信号，然后通过一系列的信号处理，转换成对虚拟现实场景的控制指令，使虚拟现实场景执行相对应的命令，同时以视觉的方式向用户进行反馈。

图1. 基于眼电的虚拟现实交互系统

    1.1眼电信号采集

    眼电信号是由角膜和视网膜之间的电势差而引起，可以用于反映眼球的运动，其幅值一般在0.4到10mV之间。相对于脑电信号来说，对眼电信号的采集较为简单方便，通常只需要少量的几个电极即可完成。如图2所示，可以使用6个电极来采集眼电信号。其中，电极A和电极D分布在眼球周围的上方和下方的位置，用于采集垂直方向上的眼电信号，其主要是由于眼球的上下运动或者眨眼而产生，电极B和电极C分布在眼球周围的左侧和右侧的位置，用于采集水平方向上的眼电信号，其主要是由于眼球的左右运动而产生。人体眼球在进行各种不同种类的运动时，会产生不同特征的EOG信号，可以通过设计相应的算法对EOG信号的特征进行识别从而将其转化为外部设备的控制命令，构建出基于EOG的人机交互系统。EOG信号相对于脑电信号而言，通常具有更高的幅值和更稳定的波形形状，因此，对EOG信号的检测要更为容易。

图2. 眼电电极分布示意

    1.2 眼电信号处理

    眼电信号处理主要包含信号预处理、特征提取、波形检测和分类识别等几大大步骤。

    （1）信号预处理

    对原始眼电信号进行预处理的方法有很多，包括信号放大、基线校准、伪迹去除、下采样等方法。眼电信号所处的频段较低，且原始的眼电信号中一般混杂有人体其它生物电信号和外界电力工频噪声的干扰信号，故在预处理环节，一般通过低通滤波、小波变换等方法来减弱或消除基线漂移和高频噪声带来的干扰。

    （2）波形检测

    波形检测的基本原理是通过在上述预处理之后所得到的特征向量F（即差分后的眼电信号波形）的幅度和信号持续时间来判断受试者是否执行了有效的单次眨眼动作。在图3中可以观察到，差分眼电信号波形中存在着非常明显的峰-谷特性，且波谷出现在波峰之后。

图3. 单次眨眼动作产生的典型眼电信号波形差分前后对比图

    对每一次激励信号后的提取出的特征向量F波形检测时，首先需要在F中找到波峰波谷的位置（具体方法为将特征向量F的极值点中数值最大的视为波峰，波峰对应的时间点设为tpeak；极值点中数值最小的视为波谷，波谷对应的时间点设为tvalley），然后对得到的对应于不同激励信号的特征向量F，分别计算每个特征向量中波峰和波谷之间的间隔时间tinterval和累积能量e，它们的计算方法如下式：

    最后，通过如下公式来判断是否存在眨眼动作：

其中，Tmin和Tmax为眨眼时间的上下阈值，E为眨眼能量阈值。

    （3）特征提取

    在进行特征提取之前，一般要先提取出单个的眼电信号数据段，数据段的长度根据实际情况进行设计，特征向量一般也针对单个周期的眼电信号进行提取。需要注意的是，所提取的特征向量要能有效地代表眼电信号的特征，具有良好的区分性和独立性，而且要易于计算。眼电信号特征提取的方法有基于信号波形的形状特征提取法、小波变换法等等。

    （4）分类识别

    目前最常见的用于对眼电信号的特征进行分类的方法莫过于阈值法，此外，像支持向量机、BP 神经网络、线性判别分析等方法也可以应用到眼电信号的特征分类识别中来。每种方法都有各自的优点和局限性，应当根据实际情况选择最合适的处理方法。

    2. 结束语

    虚拟现实技术至今已有40年左右的发展历程，传统的虚拟现实交互方式主要有手柄、数据手套、动作捕捉等。近些年来，一些研究开始把基于生物电信号（包括眼电、脑电等）的人机交互和虚拟现实相结合。结合的方式通常是设计一个虚拟沉浸式的三维图形界面和反馈系统，其中用户可以使用人体生物电信号作为通信媒介与虚拟环境进行实时交互。这种基于生物电信号的虚拟现实交互技术的潜在发展前景主要包含两个方面。一方面，生物电可以作为虚拟现实系统的一种新型输入信号，改变了传统的与虚拟环境交互的方式。与传统设备相比，基于生物电信号的交互方式不需要依赖任何动作和语言，交互过程更为简单、直接。另一方面，虚拟现实技术也可以作为提高人机交互系统性能的一个有用工具。传统的人机交互系统中，用户界面通常是显示在屏幕上的一些简单的二维图形，与之相比，虚拟现实可以为用户提供更丰富多彩、更具有激励性的刺激与反馈信息，有助于提高系统的性能与易用性。此外，虚拟现实也可以为各种人机交互技术的应用原型提供一个安全、灵活的训练和测试平台。