拒绝抖动眩晕 亮亮视野AR防抖算法上线

    “对方脑袋一动，画面就抖的不行，让人感觉眩晕想呕吐”，远程专家在观看AR第一视角画面时吐槽到，“远程协作控制在几分钟内还行，时间长了受不了。”AR眼镜作为下一代交互方式，仍然还有不少技术不成熟之处，极大的影响了用户体验，其中，摄像头画面抖动产生的晕动症就是最普遍的问题。

    为了解决这个难题，不少厂商正在进行各种努力，而现在，亮亮视野已经成功研究出防抖算法，其能降低视频画面的抖动，从而降低晕动症的产生。该技术已经在部分客户中进行测试，目前表现稳定，亮亮视野计划于9月10日在ARISE企业服务平台中上线该技术，届时ARISE用户均可免费使用。

    为什么不能照搬手机防抖技术？

    谈及AR眼镜摄像头防抖问题，想必很多人第一时间的反应是，手机摄像头防抖性能这么好，硬件、算法都这么成熟了，直接用在AR眼镜上不就行了么？

    防抖算法负责人表示，虽然都是小型、轻薄化的产品，但要把手机上使用的摄像头直接照搬过来，基本上是不可能的事情。主要存在两类技术难点：

    其一，AR眼镜首先要考虑轻量化、轻薄化、省电化，而光学防抖又或是传感器防抖摄像头体积都较大，功耗也比较高，这与AR眼镜的核心设计相违背；

    光学防抖摄像头厚度和体积都过大

    其二，手机防抖算法和AR眼镜防抖算法的要求存在差异，前者是因拍摄者手持不稳定造成的高频低幅度抖动，而AR眼镜则是因头动产生的大幅度、大角度防抖，可以说两者看似都在解决防抖问题，但在技术层面上完全是差以千里。

    正是由于这两点的存在，既没有现成的硬件可用，算法还需要重新研究，给AR眼镜场景防抖带来了严峻的考验。

    亮亮视野AR防抖算法亮点在哪？

    自2012年Google Glass带着文艺的科技范儿与浓重的未来感袭来至今已经有9年光景了，为什么AR防抖算法才真正有了突破？亮亮视野表示，AR防抖算法不仅要解决AR眼镜使用下的大幅度运动防抖准确性问题，更关键的是对低功耗的技术挑战非常之大，功耗控制不好即意味着发热量控制不住，这是头戴设备万万不被允许的。

    最终，亮亮视野科研团队基于神经网络，改进了ECCV顶会算法，采用了自监督学习进行运动估计，终于探索出具有低功耗、低延时、大角度旋转适应能力三方面优势的AR防抖算法。具体表现为：

    低功耗：亮亮视野防抖算法使用轻量卷积神经网络算法，仅需要7-10ms。而传统的基于特征点检测和光流的运动估计算法通常需要20+ms的耗时，功耗得到了极大程度的控制；

    低延时：大多数防抖算法通常需要使用未来多帧或全部视频帧以达到当前帧的防抖效果，使视频展示有较为明显的延时。亮亮视野防抖算法仅需未来1帧即可达到当前帧的防抖目的，实现算法低延时运行。

    旋转，高速运动：常规的防抖算法最多能解决1-2度每帧的旋转，亮亮视野防抖算法可以对3-5度/帧的视频达到较好的防抖效果。

    负责人还介绍道，这一算法还将在不远的未来部署在Movidius VPU芯片上，发挥VPU和Laffe框架计算效能比优势，令其防抖和低功耗表现更优。

    至今，亮亮视野科研团队通过技术探索，已成功解决了阵列光波导模组量产难题、打造了AR专属AI引擎、提升了AR眼镜散热和续航表现等等一系列棘手的问题，并研究出AI小样本学习、车道线识别、弱监督目标定位、视觉追踪、AR防抖等人工智能技术，为现实世界问题提供了更多实用的AI解决方案，一系列成果距离实现打通人与数据最后一厘米的愿景越来越近。