微美全息科学院：基于虚拟现实技术的计算机图像场景构建

    随着计算机图形学的发展，可以通过传统的几何方法建立真实的虚拟环境。通常，创建三维几何模型来描述场景中的照明和表面纹理等特征。通过计算光强来生成视点观测的图像需要很高的计算能力，由此产生的效果很难重现照片中呈现的复杂的自然纹理。作为纳斯达克上市企业“微美全息WIMI.US”旗下研究机构“微美全息科学院”的科学家们就虚拟现实技术的计算机图像场景构建展开深入研究。

    近年来，市面上有一种基于图像的渲染技术，该技术具有真实场景的渲染质量，且算法只与图像分辨率有关。有对样本的匹配待征由主垂直边突出显示，以避免局部最优，提出了一种统一的圆轨迹图像序列方法，使图像采更加方便，将固定加速度绕水平面固定中心旋转拍照，采集水平面内各点的光信息，具有三维效果。

    以下论述了基于图像的虚拟场景绘制技术的意义，讨论了立体视觉的摄影几何原理，讨论了用三维全光函数构造虚拟场景的方法，以减少传统方法在相应点匹配中的局部最优。

    1、立体视觉的摄影几何原理

    虚拟现实技术是近年来国内外科学技术领域的热点，涉及计算机图形学、动力学和人工智能等研究领域。随着相关学科的发展，虚拟现实技术得到了迅速发展，并应用于航天、医疗康复、建筑和制造等领域。在计算机的帮助下，虚拟现实技术实现了人们通过视听手段感受到的虚拟错觉。虚拟现实技术具有沉浸性和交互性的特点。它使用各种信息通道及时模拟高级用户界面。人类通过视觉感知所接收的信息占所接收信息总量的80%。构建虚拟现实是虚拟现实的重要组成部分，在许多领域得到了广泛的应用。

    1.1 成像几何原理

    虚拟现实技术要求用户对虚拟环境有强烈的沉浸感。构建虚拟场景是用户体验真实视觉效果的一种方式。成像系统通常将三维场景转化为二维灰度图像。透视投影是一种常用的成像模型。其特征在于场景的光线通过投影中心，垂直于图像平面的直线为投影轴。正交投影是透视投影的一种特殊情况，它使用平行于光轴的光将场景投影到图像平面上。获取每个点与摄像机之间的距离是视觉系统 的一项重要任务。深度图中的每个像素值表示场景中一个点与相机之间的距离。被动测距传感器是视觉系统发射的光能。根据图像恢复场景的深度信息，利用灰度图像的阴影特征和运动特征，可以间接估计深度信息。雷达测距系统和三角测距系统是常用的主动测距传感器系统。主动视觉主要研究视觉和行为的结合，通过主动控制摄像机的位置和光圈参数来获得稳定的感知。

    1.2 立体成像原理

    立体成像系统在立体图像对中找到与实际立体图像对的共轭对是立体视觉中最困难的一步，为了减少相应的点失配，建立了许多约束条件。传统的特征点搜索是在一幅图像上选择特征点，一幅图像的特征点位于另一幅图像对应的极线上。如果已知目标与摄像机之间的距离在一定的间隔内，可以将搜索范围限制在一个小的间隔基于虚拟现实技术的计算机图像场景构建内，这样可以大大缩小寻找对应点的搜索空间，减少不匹配点的数量。由于摄像机位置测量误差的影响，匹配点可能无法精确地出现在图像平面上对应的极线上。立体视觉通常由两个以上的摄像机组成。场景中对应点的光强变化较大，匹配前需要对图像进行归一化处理。一幅图像的每个特征点只能对应于另一幅图像的一个唯一点。图像中物体表面上各点的投影是连续的，物体边界上的连续约束不成立。

    1.3 区域相关性

    边缘特征通常对应于对象的边界。边界的深度值可以是对象闭合边深度距离之间的任何值。在两个图像平面上观察到的轮廓图像的边缘与物体的边缘不对应，图像平面的边缘只能沿闭合边缘检测。恢复深度的基本问题是识别图像中分布的更多特征点。两幅图像中的匹配点应尽可能容易识别。感兴趣的操作员应该查找图像中有较大变化的区域。它可以在利息度量函数具有局部最大值的地方进行选择。在识别出这两幅图像中的特征后，可以使用许多不同的方法进行匹配。只有满足极线约束的点才能是匹配点。

    2、全光函数的虚拟场景构建方法

    IBR（image-based rendering）技术改变了人们对传统计算机图形学的认识。IBR构建虚拟环境的技术是基于泛函数理论的。构建虚拟场景的全景方法突破了图像样本的匹配特征。均匀圆轨迹图像序列的虚拟场景构建方法是一种三维的完全函数。它可以产生水平立体的视觉效果，而且很容易获得，渲染过程独立于摄像机焦距等内部参数，具有较高的操作效率。

    2.1 全光函数

    全光函数 (Plenoptic Function) 描述了从空间中任何点看到的所有信息，描述了给定场景中可能出现的环境映射几何，从一些定向离散样本重建了一个连续的全光函数，并通过重采样函数绘制了一个新的视图。只要在任何视点收集入射光，就可以以某种方式构建场景，图像也是在特定时间通过空间中特定点的信息。五维全光函数很难捕捉。全光函数的维数可以继续减小。全光函数是根据奈奎斯特定律，从空间采样的光信息中重构出一个连续的函数，从而构造出一个虚拟场景。根据视点参数对函数进行采样，得到通过视点观察到的图像。

    2.2 全光函数的虚拟场景构建方法

    二维全景图是固定的。简化为二维的全光函数是固定视点，只收集空间中固定光点的信息。在重建的虚拟场景中，视点不能移动，也没有视差产生立体感。如果使用全景照相机，可以很容易地获得全景图。在不同方向拍摄的照片可以用普通相机缝成全景。全景法构建虚拟场景的主要过程是拼接全景图。通过将相机采集的具有重叠边界的图像无缝拼接，如将直线拼接成虚线，可以获得反映特定场景的全景图。

    目前的图像拼接算法一般采用拼接算法和缝合算法。匹配是通过搜索本地通信来执行的。拼接全景图像的采样序列采集过程是将光的中心固定在固定的中心，并以一定的角度拍摄照片，使其在固定的平面上旋转。可以认为同一图像空间中相邻图像样本之间存在平移关系。图像的垂直边缘成为匹配中的一个重要特征，基于垂直边缘处理方法，利用图像差分法找到相邻图像样本的重叠区域 图像样本通常细节丰富。由于随机噪声的存在，数字图像捕获并不完全相同。细节纹理中的边通常会在处理过程中引入其他错误。平滑的图像样本通过垂直边缘进行锐化，图像样本卷积梯度算子方法用于突出锐化的边缘特征，而不会导致边缘被加宽从而引入误差。

    2.3 均匀圆轨迹图像序列的虚拟场景构建方法

    平面功能和二维全景不能提供立体视觉。应该找到一个适当的形式的纯函数来创建一个虚拟场景。当一个人在水平面上移动，而垂直方向上没有视差时，他仍然能感觉到强烈的立体视觉。基于均匀圆轨迹图像序列的图像虚拟场景构建方法是将摄像机放置在旋转中心O附近，以捕获到的图像序列作为输入，构建三维全光函数。通过对所获得的图像序列的处理，可以得到在水平面一定范围内不同视点所观测到的图像，并且图像序列的采集比较简单。

    2.4 景深计算

    虚拟场景的构造允许用户在一定范围内移动。传统的深度计算 方法首先使用两个经过校准的针孔相机在不同位置捕捉同一物体的图像。为了计算第一幅图像中各点的三维位置，最好在第二幅图像中搜索匹配点。人们在深度计算方面做了很多工作。多基线立体成像算法通过多幅图像消除了噪声的影响，优于传统的相关算法。图像的每个特征点只能对应于图像的唯一特征点。由于大多数特征点不是很明显，所以通常会产生相应的歧义。一个点可以是真实的对应点，另一个点是虚假的对应点。多基线立体成像是消除相应点模糊的有效方法。在实际应用中，不需要计算输入图像序列中每个图像的深度，通过计算一幅全景图的深度可以得到所有场景点的深度信息。

    3、虚拟场景构建实验

    利用锐化图像方法突出样本的匹配特征，在大多数情况下，可以完成全景图像的自动拼接，有效避免后一搜索过程陷入局部限制，拼接结果基本无缝。最小相似距离法对图像亮度变化不敏感，具有一定的抗噪声能力。实验在计算机综合仿真环境中进行。模拟环境是一个合成的室内场景，包括放置在室内的桌子和圆柱体等几何对象。利

    用均匀圆轨迹图像序列构建虚拟场景的方法进行测试，产生立体视觉效果，较好地实现了虚拟场景深度信息的获取实验。在水平圆周围均匀拍摄视频，以获得所需的图像序列。当视点参数发生变化时，根据均匀圆轨迹图像序列的原理重新绘制新视点的视图。当视点在预定范围内变化时，计算出视点对应的图像序列之间的对应关系。当绘制光不在采样点时，将其替换为相邻点。模拟环境是一个室内场景，垂直深度近似可以用来减少垂直变形。假设场景的深度是一个常数，垂直失真会减小，图像的宽度也会减小到不同的程度。由于视点的变化，相对深度发生了变化，在 垂直方向上不再获取信息。场景点的深度实际上不是 s 常数，观察到的变形是假定深度和设计之间的差异。

    该方法计算量小，在视场要求不太准确的情况下，用均匀的圆轨迹图像序列在施工现场绘制新的视点是一种高效的方法。利用多基线立体成像算法对由图像序列构成的虚拟场景进行深度估计，首先将每个帧的相同序列拼接成全景图像。每幅全景图尺寸为 300×240。从 L=160列拼接全景图中剪切320×240 图像。将用于计算 SSSD 函数的窗口大小设置为 9x9。根据从最长基线 L=260 拼接的全景列的视差变化进行搜索，计算相应的深度值，计算每个基线的 SSD。搜索的目的是找到 SSSD 最小深度值。搜索范围从视差d=0 开始到全景图中像素的方向并与参考图像搜索中参考点的方向相同。用估计景深修正垂直变化效果最好，但应以估计景深为基础。如果要求场景和视点的视图绘制是实时的，并且对图像质量的要求不高，则稳定深度近似法更快。

    4、结论

    总体研究了基于图像虚拟场景的构建技术，它是基于全光函数理论的。根据奈奎斯特定律，利用空间中的光信息，以一定的方式重建连续的全光函数。当视点参数发生变化时，根据视点参数进行采样。首先，讨论了构建虚拟场景的视觉摄影的几何理论。然后，根据相关方法研究了全景图像的全光函数，提出了全景图像的垂直边缘处理拼接算法。最后，研究了景深信息的估计方法。