叠境数字在自由视点技术方面取得重要成果

    近日，叠境数字与上海科技大学合作在自由视点技术研究方面取得了重要成果，相关内容以“Editable Free-Viewpoint Video using a Layered Neural Representation”为题，被国际顶级图形图像会议SIGGRAPH 2021接收，并将在2021年8月份在会议上进行正式的介绍和展示。

项目团队成员

    生成自由视点的视频对于提高传统视频尤其是体育赛事直播观看体验有着至关重要的作用。在最近2020年东京奥运会上，自由视点技术，包括“时间凝结”技术，也多次应用在篮球、艺术体操、跆拳道、摔跤和柔道等体育项目中，极大的提高了赛事直播画面的精彩程度。而如何用更少的硬件设备实现高质量的自由视点视频一直是业内的研究方向。

    随着新兴的神经网络渲染技术发展，基于AI的低成本且高质量的自由视点视频生成成为可能。相比于传统方法，神经网络渲染可以生成更加逼真的新视角图片与视频。然而，目前存在的基于神经网络渲染的相关方法只适用于静态场景或者小视角范围的动态场景，也不支持对于场景的编辑。本项研究结合了新兴的神经网络渲染技术和传统的视频分层渲染策略，从渲染质量和可编辑性上体现出了各自的优势。利用了较为稀疏的16个相机视角，可以渲染出大视角范围的支持编辑的自由视点视频。

算法框架：主要分为场景感知、分层ST-NeRF和神经网络编辑

    叠境数字自由视点产品是一套能够同时提供“时间凝结”特效以及自由视点特效直播、点播服务的一体化解决方案，而基于神经网络渲染的自由视点视频生成技术的成功研发，也将应用在了叠境数字自由视点产品中，从而打破更多的视角采集传感器等于更高的视觉效果的原有认知，实现稀疏的视角也可以带来高质量视觉效果的新局面，降低了系统应用推广的成本。