高通VR820眼球追踪技术的独特之处

    近日，高通在IFA大展上推出了一款集成骁龙820芯片的VR样机VR820。

    对于高通的这一举措，有两个事情是大家最关注的：一个是高通为何要出一款基于820芯片的VR样机，另一个就是这款VR一体机采用的眼球追踪技术，它到底有哪些厉害之处？

    为了探究这两个问题，魔多君专门采访了七鑫易维联合创始人彭凡（七鑫易维是目前高通VR820的眼球追踪技术合作方之一），来听听他对眼球追踪技术的解密和高通推出的VR820这一事件的看法。

    魔多君：眼球追踪的技术原理是怎样的？

    彭凡：眼球追踪技术属于机器视觉的一种技术，它是通过图像传感器来捕捉到眼球的图像，根据图像的处理来识别每个人的眼球瞳孔里的特征，通过这些特征实时地反算出看屏幕的注视点。

    魔多君：眼球追踪技术的优势是什么？

    彭凡：PC VR对电脑配置的要求很高，GPU 渲染需要至少GTX970以上的显卡，再加上头显，价格在1-2万，这对于消费者就是一个很高的门槛。但是，眼球追踪的注视点渲染能把原来GPU处理的数据量从原来的100%降到现在的10%，可以让计算机的渲染效率提升十倍，让普通配置的电脑也可以跑起来。

    国外的一些专家测试过，我们现在虚拟环境中看到的一些菜单只是一级菜单，随着VR越来越成熟，功能越来越复杂，以后可能会有多级菜单。在这种情况下，相比于手势识别和语音识别等交互方式，眼控的速度是最快的。有测试数据表明，人眼的交互比其他的交互方式快10%以上。

    当然，眼部追踪主要用在一些弱交互上，如果应用在游戏里的强交互，有待开发。

    魔多君：眼球追踪技术是如何提高渲染效率的？

    彭凡：当你带VR头盔的时候，是需要渲染整个画面的，但是使用注视点渲染之后，只需要渲染你看到的那个画面，计算机只对用户看到的区域做注视点渲染。这个区域以外的位置，按一定的比例依次降低渲染的像素。这样一来，GPU的渲染工作就少了九成，渲染效率极大提升了。

    魔多君：眼部追踪技术有哪些难点？如何克服？

    彭凡：当我们在看VR的时候，头是在动的，眼球也在动，头与眼镜的运动还有可能不同步，运动轨迹是非常复杂的，而且所有这一切要在非常短的时间内计算出来，所以这个就很难。

    总结来说，眼球追踪技术的难点主要体现在高精度、低延时和大视野范围三个方面。

    高精度方面，因为每个人的眼球是非常微小的差别，那么如何精确识别人眼球的特征呢？这就要有更多眼球追踪的样本，并结合深度学习，通过大量样本的积累，不断的提升精度。

    解决低延时，就同时需要很强的硬件和软件。硬件方面需要更高帧率，更高规格的图像传感器，这些传感器主要掌握在少数的国际大公司的手上，比如索尼。软件层面主要是算法上优化。我们的延时在4-5ms以内。

    视觉范围层面，即便是很多的国际上做眼球追踪的公司，也只能追踪正前方的一小部分，不能做到全视场角度，这是因为算法上有缺陷。我们做到了垂直30°，水平50°，几乎达到了人眼转动的极限。

    总之，要把这个做好，一方面要有非常强的算法的积累，另一方面是有非常大量的数据。

    魔多君：除了VR，眼球追踪还有哪些应用领域？

    彭凡：眼球追踪技术可以应用在医疗领域，比如对于渐冻人来说，后期只有眼睛可以动，他们与外界沟通只能通过眼睛，而眼球追踪技术可以帮助他们交流。

    还可以应用于安全驾驶。基于眼球追踪的注意力的检测，和注意力的检测，这些用传统的方法效果并不是很准确。但是眼球追踪能测量到车主注意力是否在正前方，或者说通过眨眼的频率和瞳孔的距离来判断出司机是否走神，疲劳等。

    还有就是在广告领域的应用，这个有比较大的市场。通过分析用户注意力在广告的哪个位置，注意力程度如何，从而检测出有多少人看，注意力在哪。这些数据可以分析出用户的习惯和喜好，有利于广告创作。

    魔多君：您对高通推出VR820这个事件怎么看？

    彭凡：高通其实也不是发布了一款产品，他们只是发布了一款样机，只是想告诉小米、华为这些厂商，想做VR一体机的可以参照我的。高通自身不会做一体机的。

    这是因为，目前还没有一个厂商用高通820芯片把一体机做的很好（使用高通的芯片是有技术难度的，它不像MTK，MTK会把所有的解决方案打包好，你只需搭积木一样搭建就可以了，但是高通不一样，他们只给你一个核心的模块，其他的东西延展都需要自己去做），但是高通不想错过VR这波浪潮，所以想借助820芯片驱动这个市场。

    目前，我们还在跟HTC做了一个眼球追踪配件，直接装在HTC 眼镜上。预计在10月份上京东众筹，HTC也可能会把这个作为官方认定的配件。