虚幻引擎技术开放日，索尼和观池带来这些技术“干货”

    放眼未来的技术“盛宴”

    2022年度虚幻引擎技术开放日(Unreal Open Day)于11月17日-18日首次以线上线下同步的形式举行。游戏开发、影视制作的从业者对虚幻引擎(Unreal Engine)都不陌生，它是由知名游戏公司Epic Games打造的强大游戏开发平台，并在今年上半年发布了UE5正式版。

    随着平台完善和技术进步，虚幻引擎的应用场景已经不再局限于游戏制作，强大的Nanite与Lumen技术，不但为传统游戏制作中实时渲染和全局动态光照带来便利，也让虚幻引擎拓展应用于更多领域。因此，两天的开放日除了直播间主会场外，还带来了媒体娱乐、汽车、建筑及仿真四个分会场。

    虚幻引擎开放日也是行业难得的盛会，持续两天的活动奉上了二十余场精彩技术演讲，既有Epic Games官方的技术解读，也有主流制作公司带来的精彩案例分享，涵盖了从UGC、元宇宙、电商购物，到汽车数字应用及当下热门的虚拟影视制作，可谓是一场放眼未来、引领科技发展的技术“盛宴”。

揭开虚拟影棚神秘面纱

    会上，索尼(中国)有限公司消费电子与专业系统本部市场总部总监茂利宪一、创新解决方案市场部高级经理尹旭晖，以及愚见观池科技有限公司UE虚拟制片技术总监韩冰在演讲中分享了大量技术干货，从设备选择、影棚搭建、技术调试到实际拍摄案例分享，多维度解读了黑彩晶虚拟制片影棚和UE5结合的相关经验，并揭开了索尼和观池联合打造的国内首个黑彩晶虚拟制作影棚的神秘面纱。

    虚幻引擎在游戏领域很早就得以广泛应用，因此二十余场演讲中过半都着眼于游戏制作开发，在这样的情况下，索尼和观池奉上的黑彩晶虚拟制片影棚和UE5结合的实战案例，成为这届开放日上唯一一个针对虚拟影视制作的分享，应该也是虚幻引擎开放日举办以来，首次引入虚拟制作分享，有很重要的意义。

    秉承“用创意和科技的力量感动世界”的企业宗旨，索尼多年来在视听领域持续深耕，得益于深厚的技术积淀及产品研发经验，索尼成为虚拟影视制作的先行者，并积极在虚拟制作领域布局，联合观池一起打造了国内首个黑彩晶虚拟制作影棚。

    影棚位于上海城市中心愚园路靠近江苏路，索尼提供了虚拟制作中三个核心产品，分别为拍摄端的索尼CineAltaV 2电影摄影机、监看端的索尼HDR监视器，以及显示端索尼专门为虚拟拍摄开发的黑彩晶B系列LED屏。这三个核心产品从研发、生产到最终的质量控制，都着力于不同设备间的色彩调校，应用于虚拟制作系统中，在现场经过简单设置就能完成一整套设备间的色彩匹配。

    LED屏高度5.5米，弧长15米，总面积达到83平米，弧度约在135度，水平分辨率达到9.6K，可以满足多种拍摄需求，影棚除了搭载先进的UE5系统外，还选用了OptiTrack光学动作捕捉跟踪系统，通过24个高速摄像头准确捕捉跟踪摄影机运动，并同步给UE5，通过低延迟将渲染画面实时显示在LED屏上。

    而且，索尼工程师全程参与影棚的设计，并提供了全流程服务。除了立屏和顶屏，这间影棚还精心设计了一块移动LED屏幕，便于摄影师完成双机拍摄，降低渲染压力，补充不同机位的拍摄效果，而且还可以完成高质量的色彩补光、实时定位等工作。

    联合Epic Games发布技术白皮书

    成功不是一蹴而就。索尼进入虚拟制作领域得益于多年的技术积累和产品研发经验;虚幻引擎在这个领域的成功运用，同样经过了大量测试和实践应用，Epic Games的合作测试伙伴则首选了索尼。

    演讲中尹旭晖公开了这个重要信息，索尼和Epic Games针对虚拟应用进行了联合测试，并发布技术白皮书。测试中涵盖了决定虚拟制作品质的三个关键点，索尼设备都有很好表现。

    首先是拍摄LED屏幕时，极易给摄影师带来困扰的摩尔纹。摩尔纹是物理现象，理论上只能尽量减弱，无法完全消除，由于黑彩晶1.58mm小间距和Micro LED芯片的优异表现，在索尼CineAltaV电影摄影机的配合下，测试中在较窄范围内摩尔纹才会出现，因此摄影师可以把焦点更加贴近LED屏幕拍摄，拓展了拍摄创作的空间。

    其次是暗部画面表现。暗部画面非常考验LED屏的实力水准，测试中对比来看，2.8mm LED的部分暗部细节会丢失，1.5mm LED光照很低的部分则会颜色失真，而黑彩晶LED屏在整个暗场画面中都忠实表现出了原始素材的细节和质感。

    第三点是可视角度。拍摄过程中摄影机不可能一直正对着LED屏幕进行拍摄，会根据场景需要调整机位和摄影机与LED屏的角度。侧拍时LED屏幕产生的偏色会对拍摄工作带来影响，让画面失真，因此虚拟拍摄对LED屏幕的侧视角性能有很高要求。

    为了应对这一点，索尼在研发上下了功夫，索尼开发了宽配光技术，并使用自身研发的表面涂层技术，使得LED在侧视角时都有出色和一致的色彩表现。这项性能也体现在Epic Games的测试中，大角度拍摄时也不容易发生色彩偏移，可视角的水平垂直达到170度，为虚拟拍摄提供很大便利。

    目前虚拟拍摄还处在起步阶段，硬件良莠不齐、软件亟待成熟，在这样的现状下，索尼和Epic Games完成这次测试，其意义已超越了测试本身，发布的技术白皮书有望成为行业标杆。

    案例分享全是干货

    愚见观池科技有限公司，是目前中国头部的商业视频制作公司之一，涵盖了包括视频内容制作及数字体验多个领域，服务过众多国际品牌。黑彩晶虚拟制作影棚试运营阶段，就在索尼和UE虚拟制片团队的协助下，共同进行了虚拟场景搭建优化以及测试，并随之完成了TVC的正式拍摄。

    观池UE虚拟制片技术总监韩冰介绍了项目背景，并分享了制作经验。演讲过程中播放了某品牌矿泉水的广告成片，画面呈现出了不输于电影级别的质感，以及明媚日光、窗外就是沙滩的优美风景，得益于索尼黑彩晶LED屏的出色表现，让人感觉不到是在虚拟影棚中拍摄。

    这个精彩案例有力证明了虚拟制作能为广告拍摄赋能。韩冰介绍说，商业TVC往往时间紧迫，通常，导演团队及美术部门完成风格定调后，第一时间开始了预演的制作以及场景内容制作，同时在相应场景布局完成后确定了镜头以及场景道具的具体布置。

    准备就绪后，2周后就可以试拍，得益于虚拟拍摄的高效和灵活性，拍摄团队在次日仅用一天的时间，即可以完成约40个镜头的拍摄。由此可见，虚拟拍摄不但可以减轻外联选景、道具部门置景的成本和压力，同时将后期工作前置，有效缩短拍摄流程，未来在影视制作领域也大有作为。

    同时韩冰也分享了两点很有价值的制作经验。

    首先是拍摄前要做好充足的准备和各部门的充分沟通，应该让制片团队尽早了解导演的想法以及预期，甚至参与部分创意内容。尽早完成预演及技术验证，将内容和技术风险解决在预打灯前，而充分沟通和交流则可以让任何调整及问题，在第一时间得到相应解决。

    其次是拍摄过程中的色彩一致性。虚拟拍摄的色彩一致性往往会给拍摄团队带来困扰，从拍摄端到显示端，往往制作过程中的每一个环节色彩显示都不相同，甚至会大相径庭。这个问题不仅来自于不同显示设备厂商色彩空间的一致性上的差异，还包括无法解决的物理灯珠或液晶发色的问题。

    观池在拍摄部分没有采用BT.2020色域，而是使用了索尼CineAltaV 2电影摄影机支持的更宽的色彩空间S.Gamut3，亮度曲线使用了索尼常用的slog3。监视器部分则与摄影机的输出保持一致，得益于索尼CineAltaV2电影摄影机、HDR监视器和索尼黑彩晶LED屏具备统一的色彩科学，这次拍摄色彩表现实现了一致性。

    韩冰还介绍，业界也有可以解决色彩一致性的方案，但使用该方案要支付高达百万美金的费用，以及差不多2个月的校色时间，且仅能对应一系列设备，目前很难投入到实际应用。由此可见，搭载索尼核心设备的虚拟影棚，不但让虚拟拍摄更高效，还能有效节约制作和调试费用。

    除了联合观池在国内打造了首个黑彩晶虚拟制作影棚外，索尼秉承“让科技赋能创作者”的使命和愿景，已经在全球范围内开启了虚拟制作影棚布局。目前日本东京的PCL清澄白河BASE黑彩晶虚拟制作影棚和美国SIS索尼创新工作室的虚拟制作影棚都已投入使用，并为广告、舞台表演、现场音乐等内容提供服务，还完成拍摄了电影短片《凯利安的游戏》。

    而在此次开放日的分享中，茂利宪一也表示索尼会将创作者的需求不断反馈到产品开发设计部门，力求打造出更出色、能够满足创作者需求的黑彩晶虚拟制作系统，并希望索尼和观池打造的黑彩晶虚拟制作影棚，能作为新时代摄影棚的标杆，助力创作者，为国内虚拟制作领域赋能、为行业做出更大贡献。