多投影面沉浸式虚拟环境及其应用

简介

    多投影面沉浸式虚拟环境是一种支持多用户的虚拟环境,不同于一般的虚拟环境它能够提供给用户大范围视野的高分辨率、高质量立体影像.系统在各种用户交互设备的支持下拥有极佳的交互性并能提供给用户一种前所未有的沉浸感.多投影面沉浸式虚拟环境以多台高分辨率高带宽的投影机为基础,提供高质量立体影像投影,投影面之间可以根据不同应用的需要以多种不同类型的方式进行组合,构成各种不同类型的虚拟环境.

    沉浸感是指使用者的感知系统受到虚拟环境中的虚拟刺激程度,系统越能迷惑使用者的感官,则系统就越是沉浸式的.沉浸式虚拟现实系统的历史可以追述到1965 年,由计算机图形学界的先驱I.Sutherland 博士在他的Ultimate Display论文所发表的头盔式显示器(Head Mounted Display,HMD).论文中Sutherland 博士指出计算机屏幕像是一扇通往虚拟世界的窗户,通过它我们可以观察一个虚拟的世界[1]; 但我们是否可以让使用者直接沉浸在计算机生成的虚拟环境中:当使用者自然地转动头部,他所看到的计算机生成的虚拟场景也能够实时地发生相应的改变; 使用者还能够以自然的方式与虚拟世界交互.HMD 就是一种能够实现上述功能的系统,两个显示屏幕处于用户佩戴的头盔中将分别覆盖用户双眼的视野,使得用户只能够感知来自计算机所生成的图像,当用户视点移动时计算机所生成的图像也将发生相应的变化,从而提供给用户一种沉浸于计算机生成的虚拟世界的沉浸感.

    但由于HMD 系统存在若干缺点,例如: 单用户的局限性、显示屏幕分辨率不高、因头盔过于沉重带给用户的负担以及屏幕过近带给眼睛的不适感.于是在1991 年,Universityof Illinois 的DeFanti 和Sandin 针对HMD的缺点提出了一种改进的沉浸式虚拟显示环境: 吊杆式虚拟环境(BOOM,Binocular Omni-Orientation Monitor),它的显示器由吊杆支撑,能提供用户高分辨率、高质量的影像而且对用户无重量方面的负担.但是该系统还是一种单用户虚拟环境而且并不能解决屏幕过近对用户眼睛所造成的不适感[2].

    在1992 年DeFanti、Sandin 以及Cruz-Neira 提出了CAVE系统,一种四面的沉浸式虚拟现实环境.系统在支持多用户的同时解决了上述系统造成用户眼睛不适感的问题.CAVE 是由4 面环绕投影屏幕所组成的沉浸式虚拟现实系统.对于处在系统内的用户来说,投影屏幕将分别覆盖用户的正面、左右以及底面视野,构成一个边长为10 英尺的立方体.由于投影面几乎能够覆盖用户的所有视野,再配合声效和用户交互设备,CAVE 就能提供给使用者一种前所未有的带有震撼性的沉浸感[3].

    从CAVE 的提出开始,各种类型的基于投影的沉浸式虚拟现实环境相继出现: 例如1993 年德国GMD的ResponsiveWorkbench[4]是一种单投影面的系统,立体影像将通过镜子的折射投影到一个水平的投影平面,用户可以在此工作平面上与虚拟物件进行交互.由University of Illinois 于1994 年提出的ImmersaDesk[5] 系统也是一种类似ResponsiveWorkbench 的单投影面沉浸式虚拟现实环境,整个系统类似于设计桌,它的投影平面与水平面成一个角度,这样方便于用户与虚拟物件进行交互.

    相对于单投影面系统来说,多投影面系统能够涵盖用户更多的视野范围提供更好的沉浸感,所以多投影面系统也成为沉浸式虚拟环境的主要发展方向. 德国GMD 对其Responsive Workbench 提出了双投影面的改进,在水平投影面的基础上增加了额外的垂直投影面,从而增加了用户的虚拟视野范围.University of Minnesota 在1994 年提出的PowerWall[6]系统是由多个投影面层叠或并排形成单个面积较大的投影平面,它能够提供高解析度大面积范围的影像,主要被应用于科学数据的可视化.University of Illinois 在1995 年提出的InfinityWall[7]也是一种类似于PowallWall 的多投影面沉浸式虚拟环境,以多个投影面构成一个较大的投影平面,主要应用于面向多用户的展示工作.

    在CAVE 系统的改进方面,5 面甚至6 面的CAVE 系统陆续被提出.例如: Iowa State University 的C6 以及日本岐阜VR Techno Plaza 的COSMOS 等系统.6 个投影面的CAVE 系统已经能够完全覆盖用户的所有视野范围,使用户能够完全沉浸于所生成的虚拟环境.另外也有投影到圆柱状或环绕投影面的系统,主要应用于虚拟剧场,提供对大用户的支持.例如韩国理工学院的Kyongju VR Theater[8]以及德国GMD 的iCone.

    由于多投影面沉浸式虚拟环境需要实时的生成高分辨率的立体影像,所以传统的系统是由专业图形工作站来驱动的,这造成了该类系统的造价过于昂贵.而PC 的性能正以前所未有的速度发展,目前高性能PC 在计算能力以及图形处理能力已经能够逐渐接近甚至超越专业图形工作站.所以近期的一个研究方向是以联网PC 驱动的多投影面沉浸式虚拟环境.以PC 代替较为昂贵的图形工作站能使系统的造价大幅度的降低.这类相关研究工作有: 乔治亚理工学院的NAVE 系统[9]、德国Fraunhofer IAO 的HyPI-6 系统[10]以及浙江大学CAD&CG国家重点实验室的PCCAVE系统[11].

多投影沉浸式VE结构

多投影沉浸式VE 结构

    多投影沉浸式虚拟环境按系统结构来划分主要可以分成三大部分: 投影系统、用户交互系统以及图形与计算系统.

1.1 投影系统

    投影系统主要包括多台支持高分辨率影像的投影机以及投影屏幕.虚拟环境的立体影像将通过投影机投影到投影屏幕上,投影屏幕可根据应用的需要组合成各种不同最终投影,例如CAVE 的各投影屏幕相互垂直构成一个立方体,PowerWall 的各投影平面相互并排层叠形成一个较大的投影平面.

    为了满足虚拟环境对实时性的要求,投影机必须有较快的响应时间,否则可能会造成运动重影.投影机的选择与系统所使用的立体影像生成技术也有关.立体影像生成技术主要有两种: 主动式立体模式与被动式立体模式.在主动式模式下,用户的左、右眼影像将依帧顺序显示,用户使用LCD 立体眼镜保持与立体影像的同步,这种模式可以产生高质量的立体效果.而被动式系统则需要使用两套显示设备以及投影设备分别生成左右眼影像并进行投影,不同的投影机分别使用不同角度的偏振光以区别左右眼影像,用户使用偏振光眼镜保持立体影像的同步.

    在主动式立体显示模式下,由于高分辨率影像需要以120Hz 的刷新率进行刷新,因此对投影机的带宽以及响应速度上都有比较高的要求.对于被动式立体模式来说,每个投影面需要两台投影机分别对左右两眼的影像进行投影,不过对与投影机的要求就相对来说比较低,但投影屏幕则需要专门材料以保证光的偏振角度不在屏幕上发生变化.

1.2 用户交互系统

    用户交互系统可包括多种交互设备:例如跟踪器、数据手套、操纵杆、力反馈设备以及立体声音像设备等.通过这些设备用户能够与虚拟环境及其物件进行交互,使用户能够更深入地溶入到虚拟环境中.

    跟踪设备在大部分沉浸式虚拟环境是必不可少的.跟踪设备将跟踪使用者及其头部的实时运动信息,根据这些信息系统可以计算出用户双眼视点的位置,并由此为基础生成正确的立体影像.

1.3 图形与计算系统

    图形与计算系统负责生成虚拟环境并对用户的交互信息进行处理,它是驱动整个系统的核心.为了让虚拟环境能够达到一定的沉浸感并维持其实时性,图形与计算系统必须根据用户的视点实时地生成各个投影面相对于用户视点位置的立体影像,并且需要实时地对用户的交互信息以及数据进行处理和计算,尽可能地降低系统地相应延迟,所以系统在图形能力以及计算能力方面来说有比较高的要求.图形与计算系统可根据实际应用需要进行配置.

    传统的多投影沉浸式虚拟环境一般采用专业图形工作站例如SGI Onyx2 驱动,这一类工作站可支持多处理器并行计算、高带宽的内部数据传输率以及高性能图形处理能力,可实时地生成处理大量的数据并实时的生成高质量的立体影像,同时可通过其多通道输出的配置同时驱动多台投影机对多个投影面进行投影[12].

图 1 以专业图形工作站驱动的多投影面沉浸式虚拟环境

    传统系统专业图形工作站的昂贵价已成为近一步推广该类系统的最大阻礙.一直以来,PC 无论是在图形或是计算能力上都有飞速的发展,近年来,以PC 驱动的多投影沉浸式系统已成为一个热门的研究方向.与图形工作站不同,目前一般的PC 只能提供一个图形通道输出,所以由PC 架构的系统将由多台连网的高性能PC 驱动.每一台PC 或是每两台PC负责一个投影面的投影,这取决于立体影像生成模式.各PC将并行地生成虚拟环境中的不同投影面,所以在PC 之间需要有多层次的同步机制来进行协调,以确保由各个投影面所构成的虚拟环境最终的正确性.

    软件系统的设计是基于联网PC 驱动的多投影面沉浸式虚拟环境非常重要而具有挑战性的工作。目前比较成熟的开发工具有：Stanford University 的WireGL[13]及其后续计划Chromium[14]、Princeton University 的DGL[15]、Universityof Illinois 的Syzygy[16]、Iowa State University 的VR Juggler及其VR Juggler 的两个扩展工具Net Juggler[17]和ClusterJuggler[18]以及浙江大学CAD&CG 国家重点实验室的PCCAVELib[11]。

图 2 以联网PC 驱动的多投影面沉浸式虚拟环境

典型系统介绍

    下面我们将介绍几种典型的多投影面沉浸式系统:

    2.1 大连海事大学的大型船舶操纵模拟系统[19][20]

    大连海事大学航海技术研究研究所的大型船舶操纵模拟系统有教练员站、主本船及若干个副本船构成，采用分布式交互仿真的设计思想，通过高速以太网，将系统的各个计算机相互连接，本船之间通过三维视景和雷达图像互见。主本船视景系统采用环形大屏幕投影，能提供7 个通道2700大视场角视景。副本船视景系统能提供3 个通道1200 水平视场角视景。视景系统中的每个通道的视景由一台高性能的PC 生成，中间通道向视景的各边通道计算机发送帧同步信息，包括本船的纵摇、横摇角度、本船的航向和位置及太阳的高度和方位等。该系统能提供驾驶台资源管理和团队工作、不同海况、天气能见度条件下的船舶操纵、雷达标绘/ARPA 训练、码头、航道设计模拟、事故调查、通航安全模拟。

    2.2 浙江大学CAD&CG国家重点实验室的PCCAVE系统[11]

    浙江大学CAD&CG 国家重点实验室的PCCAVE 系统的研究动机是以高性能联网PC 替代传统CAVE 系统中昂贵的图形工作站,使得系统的造价能够大幅度的降低.在我们的设计方案中,以4 架高性能连网PC 作为一个并行计算系统,替代传统CAVE 配置中昂贵的SGI Onyx2 图形工作站.在图形显示方面采用高质量的主动式立体显示模式,每架PC 分别负责CAVE 系统中一个投影面的立体影像绘制工作.如下图所示整个系统是建立在100Mbps 以太网上,各PC 节点间由通信系统负责网络数据交换,图形系统负责投影面立体影像的生成; SwapLock( 帧缓存同步) 与GenLock(垂直刷新同步)部分协调各节点的运作,保证系统的整体同步性.其中一台PC 作为主节点,负责系统的激活以及用户交互数据的处理工作. 在硬件方面,采用双INTELXeon 1.7G、1G PC800 RDRAM 以及3DLab Wildcat 5110 显卡作为高性能PC 的配置,具有强大的运算及图形处理能力,Wildcat 显卡支持以4 帧缓存区产生真实立体影像及硬件GenLock 同步(垂直刷新同步).网络连接建立在100Mbps 高性能以太网络及交换机的基础上.

应用实例

    多投影沉浸式虚拟环境支持多用户同时进入虚拟环境,它具有高度的沉浸感及良好的交互性,其在娱乐、教育、培训、展览、工业、设计制造、科学可视化等领域均具有广泛的应用潜力.

    目前浙江大学 CAD&CG 国家重点实验室的已在PCCAVE系统上开发了虚拟展览馆以及虚拟校园漫游的应用(见图3.). 通过逼真的大视野立体影像,虚拟展览馆可提供给用户一种前所未有的临场感.用户可以以任意角度观察展览馆内的立体物件.通过事先设计展览内容模型,用户便可参观各类虚拟展览.与传统的基于显示屏的虚拟博物馆相比较,以多投影面沉浸式环境的虚拟展览能够提供一种身临其境的体验.虚拟校园漫游中的建筑模型采自于浙江大学正在兴建中的新校区,它能够让使用者可事先在尚未完工的虚拟新校区内进行漫游,体验完工后校园内的景观.实际上对于任何完工前的工程或者是景观规划来说,系统可通过虚拟立体场景事先让参观者、建筑师和设计师体验完成后的整体感觉.

图 3 PCCAVE 实际运行情况: 虚拟展览馆与新校区漫游

    西南交通大学仿真中心针对铁路应用和城市轨道交通开发了基于PC 集群的分布式列车仿真系统( 见图4)[21][22]。该系统是计算机仿真技术和列车动力学相结合的产物，主要用来培训司机和优化列车驾驶操作规范。通过图形工作站或联网PC 集群的视景系统生成的多通道场景，运动系统对虚拟驾驶环境中列车六自由度姿态的仿真，立体声音仿真系统对列车运行中各种声响的模拟，能给参与者提供极强的视觉、触觉和听觉上的沉浸感。

图4 列车仿真系统运行情况

    韩国理工学院为 2000 年庆州世界文化博览会所设计的VR Theater 主要的目的是为面向大众介绍有关庆州当地的历史文化以及自然文物遗产的维护和保持. VR Theater 能领导着参观者对古庆州城进行虚拟漫游,通过逼真的立体模型以及互动式的介绍,参观者可近一步了解该城的历史以及文物古绩保护状况.基于多投影的VR Theater 虚拟环境能够容纳651 用户同时使用,其27x8 米的巨型环形屏幕由12 架投影机所驱动,以带有六通道图形输出14 CPU 的SGI Onyx2工作站作为图形与计算核心,采用被动式立体显示模式并能够提供立体声输出和地板震动感,用户可通过带有6 键的键盘参与虚拟环境的互动.在博览会期间有将近一百万人次参观了VR Theater,这显示了该类系统在教育、虚拟文物展示以及古绩保护方面所拥有的应用潜力.

结论与展望

    多投影面沉浸式虚拟环境是一种支持多用户的虚拟环境,它能够提供高质量高解析度的立体影像,通过覆盖用户绝大部分视野范围以及其他与虚拟环境的交互手段,系统能够带给用户一种前所未有的沉浸感.由于该类系统所拥有的沉浸感以及良好交互性,它在工业、设计制造、模拟培训、娱乐、教育展览方面均有广泛的应用潜力.

    近年来，虽然随着以PC 驱动的多投影面沉浸式虚拟环境的出现，大大地降低了系统的整体造价，这使得系统的应用可以由研究机构或大型企业进一步地推广到一般的用户，扩大了该类系统的应用范围，但是随着计算节点和投影仪数量的增加，其繁琐的配置与调试工作对普通用户来说还是一个棘手的问题。目前的一个研究方向是如何快速地建立、管理和配置PC 驱动的多投影面沉浸式系统，这方面的研究工作有：Princeton University 的DwallGUI[23]、University ofKentucky 的Metaverse[24]、浙江大学CAD&CG 国家重点实验室的PCCAVELib 也将为用户提供更方便和快捷的开发和管理环境。还有一部分研究工作者致力于多用户参与协作的多投影面沉浸式虚拟环境， 如Stanford University 的Two-User Responsive Workbench[25]，美国能源部支持的Access Grid[26]。

参考文献

[1] 石教英等. 虚拟现实技术和实用算法[M]. 科学出版社，2002
[2] Margaret Watson. Immersive Projection Technology: The Development of the CAVE, the ImmersaDesk and Related Technology.
http://www.daimi.au.dk/~watson/CLASS/VRart/technology/visual4.html
[3] C.Cruz-Neira,D.Sandin and T.DeFanti. Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE[A]. In
Computer Graphics.SIGGRAPH,1993.
[4] Kruger, Wolfgang, et. al. The Responsive Workbench: A Virtual Work Environment[J]. IEEE Computer Society, IEEE Computer, 28(7): 42-48, 1995
[5] EVL, University of Illinois at Chicago. The ImmersaDesk, http://www.evl.uic.edu/research/template_res_project.php3?indi=163.
[6] University of Minnesota. The Power Wall. http://www.lcse.umn.edu/research/powerwall/powerwall.html.
[7] Czernuszenko, Pape, et al. The ImmersaDesk and Infinity Wall Projection-Based Virtual Reality Displays[J]. Computer Graphics, 1997
[8] Park, Kim, et al. The Design and Implementation of Kyongju VR Theater[A]. VRAI2002, Hanghzou, China.
[9] L.F.Hodges.The NAVE Virtual Environment.http://www.gvu.gatech.edu/virtual/nave/index.html.
[10] HyPI-6:6 Sided CAVE. http://vr.iao.fhg.de/6-Side-Cave/index.en.html.
[11] 林柏纬,潘志庚,杨健,石教英.基于PC 架构的高性能CAVE 系统[J].计算机辅助设计与图形学学报(已录用).
[12] SGI Onyx2 Tech.Spec.SGI.http://www.sgi.com/onyx2/tech_specs.html.
[13] G. Humphreys, M. Eldridge, I. Buck, G. Stoll, M. Everett, and P. Hanrahan. WireGL: A Scalable Graphics System for Clusters[A]. Computer Graphics,
ACM SIGGRAPH2001. 2002,129-140
[14] G. Humphreys, M. Houston, R. Ng, R. Frank, S. Ahern, P. D. Kirchner, and J. T. Klosowski. Chromium: A streamprocessing framework for interactive
rendering on clusters[A]. In Proceedings of SIGGRAPH 2002. 2002,129–140
[15] K. Li, H. Chen, Y. Chen, D.W. Clark, P. Cook, S. Damianakis, G. Essl, A. Finkelstein, T. Funkhouser, A. Klein, Z. Liu, E. Praun, R. Samanta, B. Shedd,
J.P. Singh, G. Tzanetakis, and J. Zheng. Early Experiences and Challenges in Building and Using a Scalable Display Wall System[J]. IEEE Computer
Graphics and Applications. 2000, 20(4): 671-680.
[16] B. Raffin and J. Allard. Net Juggler. http://sourceforge.net/projects/netjuggler
[17] E. Olson. Cluster Juggler – PC Cluster Virtual Reality. M.Sc. thesis, Iowa State University, 2002.
[18] Benjamin Schaeffer, Camille Goudeseune. Syzygy: Native PC Cluster VR. http://www.isl.uiuc.edu/ClusteredVR/ClusteredVR.htm
[19] 尹勇, 金一丞, 李志华. 分布式航海仿真系统中的网络通讯. 系统仿真学报[J]. 2000,12 (6): 621-624
[20] 尹勇, 任鸿翔, 金一丞, 孙腾达. V.Dragon 2000 分布式航海仿真系统中的图形技术[J]. 系统仿真学报. 2002, 14(5): 617-619
[21] 苏虎．分布式列车仿真系统中视景实时生成算法的研究[D]．西南交通大学，博士学位论文．2002：1-23
[22] 唐冰, 周美玉. Linux 环境下基于微机的铁路视景仿真图形系统的研究[A]．中国科协2002 年学术年会，成都，2002．中国科学技术出版社，2002：
868
[23] Grant Wallace. Display Wall Cluster Management. http://vis.computer.org/vis2002
[24] Christopher Jaynes. Self-Configuring Multiprojector Dislay Environments. http://www.vr2003.org
[25] Maneesh Agrawala, Andrew C. Beers, Bernd Fr ohlich, Pat Hanrahan, Ian McDowall, Mark Bolas. TheTwo-User Responsive Workbench:Support for
Collaboration Through Individual Views of a Shared Space http://graphics.stanford.edu/papers/ twoviewer/paper-nopics.pdf
[26] L. Childers, T. Disz, R. Olson, M. E. Papka, R. Stevens, and T. Udeshi. Access Grid: Immersive Group-to-Group Collaborative Visualization.
http://www-unix.mcs.anl.gov/fl/publications/childers00.pdf
基金项目：教育部高等学校优秀青年教师资助计划项目；浙江省自然科学专项人才基金（RC00048）

作者简介：

    潘志庚(1965－),男,江苏人,研究员,博士生导师,主要研究领域为虚拟现实和多媒体; 
    林柏伟(1979－),男,台湾台北县人,硕士,主要研究领域为虚拟现实; 
    唐冰(1977－),男,湖南江华人,博士研究生,主要研究领域为虚拟现实和图形并行计算; 
    谭家万(1974－),重庆人,博士,主要研究领域为分布式交互仿真、虚拟现实; 
    石教英(1938－),男,浙江宁波人,教授,博士生导师,主要研究领域为分布式图形计算,科学计算可视化,虚拟现实与多媒体.