春节将至,到处都洋溢着浓厚的节日气氛,七鑫易维也在新春来临之际再放出一个好消息!目前眼控VR已经研发成功,带有眼球追踪技术的VR头显已经进入测试阶段,已经可以实现眼控交互和局部渲染。符合新广告法的说“这可能是”目前为止最好的眼控VR方案。
从技术实现上讲,VR设备上眼球追踪的实现便与电脑设备上实现眼球追踪有很大的不同,在VR设备上受使用条件和结构的限制,光学设计和追踪算法都要更加精细和复杂。因为在玩家使用VR设备时,和人眼距离很近,瞳孔和虹膜与眼球并不在摄像头的正面,而且还会被眼睑和睫毛遮挡,通过传统的算法很难准确定位眼球,此时传统追踪方式获取的人眼模型会凸显出来,这时人眼转动就会对图像产生非常大的影响,同样的转角造成的运动模糊也会变大,加大图像处理方面的难度。为了解决这一样的难题,我们采用了特殊的光学装置,又针对VR设备优化追踪算法,这样便可以很好的捕捉人眼的特征点又不影响VR的体验。
全视场角追踪
在VR设备上的眼球追踪需要追踪的范围非常大,几乎达到人眼的转动极限,垂直30°,水平50°,完全可以覆盖FOV大于110°的主流VR设备。我们便按照人类眼动的极限来设计追踪方案,这样追踪范围广,可以无死角覆盖整个VR显示屏幕,这在国际范围内的SMI,Tobii等眼球追踪技术公司都尚未能实现。因此可以说七鑫易维或许是目前世界上唯一可以做到Full FOV Tracking 的眼球追踪技术公司。
高精度低延迟
除了追踪范围,另一个非常重要的元素便是追踪精度,尤其是在VR游戏当中,对操作的实时性和精准度要求非常高,目前七鑫易维的眼控VR算法追踪速度为240Hz,延迟低于5ms,这样的眼动数据获取速度对眼控来说非常重要,在使用过程中几乎感觉不到延迟的存在。
防抖追踪算法
由于VR设备的使用时需要佩戴在头上,而且大部分VR应用都必须头部动作的配合,此时头动过程中便会造成VR设备与头部的位移变化,在这种运动状态下获取准确的眼球数据,无疑是对硬件和算法最大的挑战。为此我们针对VR设备的眼控方案特别加入了防抖算法,这样玩家在使用过程中即使头动也不会影响眼球追踪的精度。
眼控VR的面市注定会为VR带来全新的玩法,在射击类游戏中可以由眼睛控制光标锁定,当用户闭上一只眼时自动调出瞄准镜等,还可以根据玩家在游戏场景中注视点不同触发不同的剧情,当玩家注视路口时,会自动出现地图导航,当注视NPC不同部位触发不同的剧情等。除此之外眼控的交互方式还可以应用于游戏菜单,不需要使用的菜单会自动隐藏,使用时通过眼控触发,使VR界面更加干净。
与Facebook高管合影留念
正因为眼控交互可以给VR带来诸多的方便和玩法,很多VR厂商都非常重视眼控VR的研发,Oculus的老东家Facebook高管就曾与七鑫易维进行过两次洽谈,希望将眼球追踪技术应用到Oculus二代产品中,国内也有两家公司正在与七鑫易维接洽,希望将眼球追踪技术引入到下一代产品中,为自己的VR品牌注入新的血液。