基于全息光学的虚拟现实与增强现实技术进展

虚拟现实与增强现实产业发展历史和现状

虽然虚拟现实（virtual reality，VR）和增强现实（augmented reality，AR）技术充满了未来感，但是它们并不是新鲜事物。20世纪90年代，VR技术曾伴随着三维显示技术的爆发而红火一时，并被诸多领域所关注。1995年，日本任天堂公司发布了著名的革命性VR游戏产品“虚拟男孩”（VirtualBoy），瞬间成为当年最受关注的科技产品之一。然而，由于图像质量不理想、产品售价昂贵、时间延迟较大和生态内容不够丰富等问题，早期的VR产品均未取得显著的成绩，第一次VR浪潮也随之转入低谷。进入21世纪后，计算机软硬件技术均得到了长足的发展，计算机性能已经足以支持图形质量更高、时间延迟更小的VR/AR产品。2008年苹果公司的iPhone发布后，智能手机产业得到了空前的发展。智能手机产业的发展促使显示器件和传感器价格下降、尺寸缩小和性能提高，为VR/AR产品的普及奠定了坚实的技术基础。

2012年4月，谷歌公司联合创始人Brin佩戴谷歌眼镜空降发布会，宣告了谷歌眼镜的正式亮相。作为2012年最具关注度的科技产品之一，谷歌眼镜成功开启了新一轮的VR热潮。随后，其他科技巨头也迅速跟进，积极投身于VR技术的研发，并在此基础上将AR和混合现实（mixed reality，MR）等技术也带入了快速发展的轨道。随着VR/AR技术的快速发展，VR/AR产品的使用场景已扩展到许多领域，如视频、游戏、工程、军事、教育、医疗、房产和零售等。许多企业搭上了VR/AR发展的东风，在品牌效应和资本投资等方面都获得了巨大的成功。

由于VR/AR广泛的应用场景和巨大的市场价值，因此得到了来自消费者和产业界共同的关注，并被认为是最有可能成为继个人电脑和智能手机后的“下一代计算平台”。为紧跟时代发展，在“下一代平台”到来之前站稳脚跟，各行业的领袖企业都积极行动，以求在VR/AR产业中占有一席之地。

总体上，目前VR/AR产业布局可以分为硬件和内容两大部分。其中，硬件部分可分为感知、处理、反馈和整机集成4大板块，内容部分则涵盖了视频、游戏、直播等诸多方面。图1展示了如今VR/AR的产业布局情况及各主要领域内的代表性企业。在硬件领域，美国、韩国和中国台湾处于领跑地位；在内容领域，美国、日本和中国大陆则稍稍领先。

图1  国际企业在VR/AR行业的产业布局

虚拟现实与增强现实产业发展预测

目前，VR/AR产业布局虽然已经较为完善，但是无论从技术上还是市场上，对比个人电脑和智能手机产业，VR/AR产业仅停留在初级发展阶段。“初级”主要体现在硬件成本高、产品售价贵、内容质量偏低和市场容量较小等4个方面。随着技术的进步、成本的下降以及内容的进一步丰富，VR/AR产业一定会在将来迎来更大的发展。据美国高盛集团预计，2025年时，VR/AR产业每年创造的价值将达800亿美元。其中，硬件领域创造的价值接近450亿美元，主要集中在头盔显示器件（head mount display，HMD）、处理器、追踪系统和触觉反馈等4 个方面；软件领域创造的价值约为350 亿美元，主要集中在游戏、视频和直播等领域（图2）。目前，中国需及时掌握VR/AR产业发展态势、紧跟产业步伐、加大产业投入，才能保持具有自主知识产权的VR/AR产业的健康和长远发展。

图2  2025年VR/AR产业内容领域产生的市场价值预测

虚拟现实和增强现实的区别

要了解目前主流VR/AR产品使用的技术方案，就有必要对VR/AR进行区分。VR产品可以让使用者置身于不同于现实的另一个世界中。这个世界，可以是完全由计算机创造的虚拟世界（如游戏、电影中的场景），也可以是不在眼前的真实世界（如体育直播）。AR产品则是让使用者看清眼前真实场景的同时，再看到一些真实世界中不存在的事物。一般来说，VR产品屏幕不透明，而AR产品则使用可以透光的屏幕（图3）。

图3  沉浸式VR眼镜与透视式AR眼镜

除VR/AR概念以外，近年来还涌现出了许多新的相关概念，如混合现实（mix reality，MR）和扩展现实（extended reality，XR），例如，微软公司将自主开发的头戴产品Hololens称为MR产品，而没有将其归类为AR产品。从本质上看，MR产品是一种更高形态的AR产品，该产品允许使用者在真实世界中与虚拟信息进行交互，从而将显示内容变得更加贴近现实。XR则是由美国高通公司提出的另一全新概念，认为XR技术涵盖了VR、AR和MR等技术，使用者可以根据自己的意愿选择真实世界和虚拟世界的融合程度，在各种模式间进行自由切换。从原理上来说，这些全新概念都可以归类在VR/AR概念中（图4）。可以预见，随着技术的发展，VR/AR技术将在未来相互融合，设备将能够智能地从一种模式转换到另一种模式，因此，本文对这些概念将不做详细区分，统一以VR/AR描述。

图4  VR、AR、MR和XR等概念的联系与区别

主流虚拟现实和增强现实产品方案

1、基于双目视觉的VR/AR 产品

以美国谷歌公司的DaydreamVR、三星电子的Gear VR、HTC 集团的HTC Vive、索尼电子的PlayStation VR 以及Oculus 公司的Oculus Rift 等多种头戴式VR产品为代表的双目视觉VR产品，是当前最为主流的VR 显示系统，其主要目的是创造沉浸式的立体体验。其原理如图5所示，有2种主要实现方法，图5（a）为菲涅尔透镜解决方案，是当前最为常见的方案。VR产品中两块屏幕（或一块屏幕的左右两部分）显示两幅稍有不同的图像，经过菲涅尔透镜后到达人眼。两幅稍有不同的图像经过大脑处理后融合，给人以立体的沉浸感受。图5（b）为柱透镜解决方案，在常用VR产品中已不十分常见。待显示的图像经过处理后，得到对应于左右两个视角的不同图像。将得到的图像在显示屏上以一定规律排列，使左右视角对应图片分别进入人眼，经过大脑处理后融合，便可获得立体体验。

图5  基于双目视觉的VR方案示意

以微软Hololens、Atheer 为代表的双目视觉AR 产品，其基本原理与双目视觉VR产品十分相似。不同的是，当双目视觉原理应用于AR产品时，需要保证人眼看到显示器显示图像的同时能够看到外界环境。为了达到这一目的，可以通过设计光路使显示虚拟环境的屏幕与观察真实环境的视窗互不重合，也可以直接采用透明的显示器件使虚拟场景和真实环境均可以通过显示器件。图6展示了一种使用波导器件和全息光学元件（holographic optical elements，HOE）的AR 产品。微显示器加载需要显示的图像，通过自由曲面元件耦入波导，并传播至全息光学元件处。全息光学元件既可以让外部环境光线进入人眼，也可以使经波导入射的光线衍射进入人眼，并最终实现虚拟场景和现实场景的叠加。

图6  基于双目视觉的AR方案示意图

为了获得现实中的运动视差效果和遮挡效果，使VR/AR体验更为逼真，基于双目视觉的VR/AR产品常常需要在重力感应器和陀螺仪等元件的配合下才能正常使用。然而，使用该类型产品时，由于人眼的会聚点和调焦点不在一起，不可避免地会产生辐辏—调焦冲突（图7）。长期佩戴该类产品，可能会感到眩晕、疲劳等感觉，使用感受不是十分理想。

图7  辐辏—调焦冲突的产生

2、基于光场显示技术的VR/AR 产品

以Magic Leap 公司的Magic Leap One 为代表的VR/AR产品运用的是光场显示技术，其原理如图8所示。为了获取待显示图像的光场信息，一个由众多微透镜组成的透镜阵列被放置于场景和相机中间；每个微透镜均能形成待显示图像不同方位视角的微小图片；当透镜阵列中微透镜的数量足够多，相机像素足够小，可以认为相机记录的是待显示图像经过微透镜阵列后的光场信息；根据光路可逆原理，当这些微小图片经显示器件加载并再次经过透镜阵列后，便可以恢复记录的待显示图像。

图8  光场显示原理示意

基于光场显示技术的VR/AR产品无需相干光源，可以显示动态三维图像。与基于双目视觉的产品相比，基于光场显示的产品具有更好的运动视差和遮挡效果。然而，使用一般的显示器件时，产品分辨率比较低，深度范围也比较小。Magic Leap的创新之处在于使用了一种名为fiber optic projector的核心技术。这种“投影仪”与传统意义上的显示器件相比尺寸小且功耗低，因此Magic Leap One可以显示出比市面上其他基于光场显示的VR/AR产品更高分辨率的图像。但目前仍旧没能完全解决分辨率下降和辐辏—调焦冲突等问题。

全息技术的原理

为了解决基于双目视觉与光场显示技术的VR/AR产品解决方案的不足之处，基于全息光学的VR/AR解决方案目前受到了更多的关注。全息技术是一种利用干涉条纹实现三维物体再现的技术。干涉条纹中的振幅和相位信息，在参考光的照射下，可在空间中完整重建。由于重建的是物体的“全部信息”，因此这种技术被形象地称为“全息术”。全息光学完整工作流程分为“干涉记录”和“衍射再现”两步，其原理如图9所示。

图9  全息图的记录和再现

假设物光波和参考光波分别用O(x,y) 和R(x,y) 表示，它们在全息记录面干涉叠加后，光强分布式为

I(x,y)=|O(x,y)+R(x,y)|2=O(x,y)2 +R(x,y)2 +O*(x,y)R(x,y)+O(x,y)R*(x,y)（1）

式中，O(x,y)² 和R(x,y)² 只包含强度信息，不包含相位信息，可以被视为常数项，与待显示图像的重建无关；O*(x,y)R(x,y) 和O(x,y)R*(x,y)既包含强度信息，又包含了相位信息，能将物光波的场分布转换成干涉条纹的强度分布，被称为干涉项，将参与待显示图像的重建。其中，O(x,y)R*(x,y) 参与重建的光场信息和原物光波O(x,y)比较，仅仅是振幅信息不同，相位信息完全相同，因此观察者可以通过观察这一部分光场信息，发现待重建图像的虚像；O*(x,y)R(x,y) 和O(x,y)R*(x,y)对称共轭，观察者通过观察这一部分光场信息，可以看到待重建物体的实像。

计算全息技术

在某一全息系统中，若全息图的记录、重建过程都是通过光敏材料实现，则这样的全息系统称为光学全息系统。然而，由于实验中使用的胶片等光敏材料多为一次性材料，一般不可反复擦写。实验过程中，只要实验台稍微晃动，就可能导致干涉条纹出现偏差，从而影响重建像的准确性。此外，实验完成后，为了得到全息图，还需对胶片采取显影、定形和晾干等措施，较为费时费力。随着计算机软硬件技术的快速发展，计算机技术渐渐可以代替全息干板实现干涉条纹的记录，这种技术被称为计算全息技术，由Kozma等在1965年提出。计算全息优点主要体现在3个方面：第一，通过计算机生成全息图，避免了全息图记录过程中实验环境、实验操作因素对于全息图质量的影响；第二，生成的全息图可以存储为各种图片格式，与光学全息相比，全息图的复制、传播和携带都更加容易，并且随时可以使用计算机再现验证全息图的正确与否；第三，计算全息既可以记录实际物体，也可以通过Auto CAD、SolidWorks等三维建模软件记录实际并不存在的物体，对于待重建物体的选择拥有极高的自由度。而在衍射重建过程中，为了加载全息图，计算全息技术常常需要配合空间光调制器一起使用。

用于VR/AR 系统的计算全息装置示意如图10所示。待显示虚拟场景的全息图经驱动装置上传至空间光调制器。当参考光照射空见光调制器时，衍射光场可以经分束镜到达人眼。而外界真实环境则通过分束镜的另一通光方向进入人眼。

图10  用于VR/AR的计算全息显示系统

基于全息技术的三维显示方案系统紧凑、无串扰和深度反转、不存在机械运动部分，是当前较为理想的VR/AR解决方案。双目视觉方案、光场显示方案以及全息光学方案可以提供的三维视觉感知信息如表1所示。可以看出，全息光学VR/AR方案可以提供所有类型的三维视觉感知，并且不存在辐辏—调焦冲突，具有十分良好的观看体验，是当前备受认可的VR/AR方案之一。

表1  主流VR/AR方案提供的三维视觉感知信息对比

基于计算全息技术的VR/AR 新发展

由于现有的运用空间光调制器来进行全息显示的技术空间带宽积受限，呈现图像的尺寸和观察的视场角都较小，目前硬件的计算能力也仅能支持较小尺寸或较小视角的实时全息显示。相比之下，将全息与近眼显示相结合，只对眼睛的视场里显示相应的信息，可以提高光学重建和减轻计算的负担，提高信息的利用率。

2014年韩国庆北国立大学Moon等提出了以LED为光源的彩色全息近眼显示系统的模型，并证明了它的可行性。该系统是由两个单目系统组成的双目系统，为了使结构设计更加紧密，LED光源被耦合到多模光纤并传输至显示模块，除去光源部分，光还需经过空间光调制器和傅里叶滤波器以及目镜，最终在观察者眼前成像（图11）。

图11  双目LED光源全息近眼显示系统模型

2015年剑桥大学的Chen等在提出运用层析法来进行计算全息图计算后，运用头戴式显示器的概念来验证新算法的计算效率和显示图像的交互功能，并搭建了模拟光路进行实验。该系统的原理如图12所示，由空间光调制器显示的计算全息图经由4f 系统在人眼瞳孔位置成像。在实际实验中，在两个透镜之间还放置了物体来消除零级衍射光线，防止其聚焦在错误的位置损伤眼睛，从而保证了观察者的眼睛安全。

图12  头戴式全息显示系统原理与系统显示效果

2017年北京理工大学刘娟团队提出的透视型三维近眼显示系统，利用全息光栅作为频率滤波器来提高显示图像质量。光栅滤波器实际上作为4f 系统中频域上的加法滤波器，4f系统中的输入平面上是以一定间隔上传到空间光调制器上的2个全息图，当2个全息图之间的距离和光栅的周期满足一定条件时，就可以在4f系统的输出平面得到2个全息图生成的复合场，重建的波前传输一定距离后就可以得到较高质量的重建图像（图13）。该团队制作出了这个近眼显示装置并进行了一系列实验，证明了该系统能够生成具有深度信息的三维图像，并且可以佩戴和观察。

图13  透视型近眼显示系统模型与装置实物

2017年剑桥大学微软研究院Maimone等提出了基于相位型全息显示的虚拟现实和增强现实技术。在对已有技术的拓展中尝试实现了可变焦和大视场的彩色全息近眼显示。分别对该项技术在显示高分辨率彩色图像、单像素变焦控制与扩大视场角等方面的优势进行了实验验证，图14为验证大视场与可变焦系统的实验光路与实验结果。

图14  实现大视场角与可变焦彩色全息近眼显示实验光路及实验结果

全息图生成算法

基于全息光学的VR/AR系统在算法和硬件两大领域均要面对许多挑战。其中，在算法领域，加快计算全息图生成速度就是首先要面对的重要问题。

点源法和面元法是生成计算全息图的最基本算法。具体的方式是三维物体被分成许多点或平面基元，提供了三维场景的精确几何信息。然而，VR/AR系统中需要显示的三维场景信息量巨大，如果采用点源法或面元法生成计算全息图，将会耗费海量的计算时间，且对计算机硬件性能的要求也十分苛刻。1995年，Lucente提出了查表法（look-up table，LUT），该方法首先计算出物空间内每个点光源在目标平面形成的干涉条纹，再将条纹结果存入查找表中。对物体进行全息记录时，只需将物空间中各点与表中结果进行匹配并叠加即可，省去了一次又一次重复计算的过程，加快了计算全息图的生成速度。但是，查表法对计算机的存储容量和读写性能要求太高。随后，Tomoyoshi、Kim和Nishitsuji等分别从不同角度改进了查表法，提高了查表运算的效率。此外，OpenCL、FPGA、分布并行处理和阵列计算等硬件加速技术近年来的快速发展也为点源法速度提升创造了条件。从现有的研究结果可以看出，硬件加速后的点源法计算速度大幅提高。同时，这些硬件加速算法对于计算机硬件的要求也变得越来越高。

为了解决点源法和面元法的计算速度问题以及查表法对于硬件的依赖问题，Trester等提出了层析法，这种算法首先需要对重建物体在空间分层得到一系列平面信息，再对所得平面信息依次进行傅里叶变换得到计算全息图。随后，Sando等、Bayraktar等、Chen等和清华大学的Zhao等从不同方面改进了层析法，解决了计算全息图生成过程中计算量庞大、计算速度慢的问题。然而，多数基于层析法的计算全息图生成算法有傍轴近似，在近距离光学重建质量会降低，在大数值孔径系统中计算误差会更严重。此外，三维场景平面的采样间隔和全息图平面上的采样间隔不同，采样间隔与计算距离和波长相关。很多算法被提出用来解决采样间隔的问题，例如菲涅耳卷积算法，移动菲涅耳算法和多步菲涅耳算法，然而这些算法增加了运算量。

Li等和Shaked等使用的立体透视法是计算三维场景计算全息图的另一种解决方案。这种算法的特点是将多视图投影原理用在了三维场景的获取上。该方法通过数码相机或者计算机获取三维场景各个角度的投影，并在所得的一系列二维图像上加入角度偏置，反映二维图像的位置信息。随后对上述带有角度偏置的二维图像做快速傅里叶变换，并在全息面叠加、编码，最后得到三维场景计算全息图。立体透视法获得各个角度投影图的过程方便、快捷，计算过程也较为简单，适合用于虚拟物体的全息图计算。但是，因为在获取实际物体各方向的投影信息时，常常需要透镜阵列的配合使用，导致了可投影的角度范围较小。因此，该方法不能用于大场景物体的重建。

空间带宽积的扩展

对于基于全息原理的VR/AR系统，其图像显示效果仍然很大程度上受到空间光调制器特性的制约，其中最为突出的问题，就是空间光调制器的像素总数决定了显示系统的空间带宽积，限制了系统能呈现的数据总量，从而影响了三维图像的分辨率。为了增加系统的显示效果，研究者一般采用空间光调制器拼接技术来扩展显示系统的空间带宽积。2008年，韩国国立首尔大学Hahn等使用空间光调制器阵列扩充了显示系统空间带宽积并扩大了显示的视场角；2013年，新加坡数据存储中心Lum等使用8×3的空间光调制器阵列，将全息图的总像素数拓展37×107像素。尽管空间光调制器拼接技术能够有效提高显示系统数据量，获得质量较高的动态三维场景重建效果，但是阵列系统往往结构比较复杂，而且价格昂贵。因此，使用空间光调制器阵列实现三维显示还面临成本和技术瓶颈。

除了空间光调制器拼接技术，新材料技术的涌现为基于全息光学原理的VR/AR系统扩展空间带宽积提供了新的思路。2008年Tay等在《Nature》发表了美国亚利桑那大学的在全息三维实时显示领域的研究进展，实现了基于一种大尺寸可刷新的光折变聚合物全息显示屏。2013年，Smalley等在《Nature》发表了“基于各向异性漏光模式耦合新型空间光调制器”，克服了现有空间光调制器的功能局限，实现偏振选择、衍射角度扩大等功能。2015年，Gu等在《Nature Communications》上发表了“基于石墨烯材料开发的宽视角全彩色三维显示技术”，该技术可以实现亚波长尺度的多波长光学波前调控（图15）。

图15  基于石墨烯材料的全彩色三维显示技术

2016年Wang等提出了一种基于超构表面的全息显示。该器件中的核心材料可以被用作相位调制介质。当温度介于熔点温度和玻璃转移温度之间时，正常的Ge₂Sb₂Te₅ （GST）材料会从非结晶状态转变为晶体状态。在这种温度条件下，若有短脉冲高能量飞秒激光照射GST材料，被照射的像素点会相应地转变回到非结晶状态。这两个状态的GST材料具有非常明显的折射率区别。若按照需求逐点改变像素折射率，完整的全息图或者三维光场信息就可以被写进材料中。而且，如果使用一束比写入信息的飞秒激光能量更强的飞秒激光照射GST材料，原先写入的信息就可以被完整地擦写掉（图16）。

图16  GST材料动态擦写示意

将材料GST用于全息三维显示时，具有现存选择性激光熔化（selectivelaser melting，SLM）无可比拟的优势：（1）改材料最高光能利用率可达99%以上；（2）其像素间隔可以小至0.59 μm，可以带来非常大的衍射角度，使图像的显示范围更广。但是，该材料的不足也比较明显：（1）它对于制作和装配的精度要求极高，微小的误差会明显降低显示质量；（2）GST材料目前的刷新效率还比较低，暂时不能完成高分辨率的实时三维显示。

从学术界对于新型纳米复合材料和新型光学调制器件的研究态势来看，未来将会是革命性材料与器件大展身手的时代。上述体全息光学技术基于体光栅的布拉格选择性，可进行波长、角度、偏振等多种复用记录信息。同时，体光栅本身携带三维物体的相位信息，经全息再现可实现三维显示，有望成为下一代高密度三维记录和高分辨率三维显示技术。

从VR/AR产业现状及发展趋势、VR/AR产品主流显示技术方案、VR/AR技术与全息光学的结合点以及基于全息光学的VR/AR产业面临的挑战等4个方面分析了全息光学VR/AR产品的发展趋势，并得出以下结论。

1）VR/AR产品被认为是最有可能成为“下一代计算平台”的产品，但仍存在硬件成本高、产品售价贵、内容质量偏低和市场容量较小等问题。随着技术的进步、价格的下降以及内容的进一步丰富，VR/AR产业一定会在将来迎来更大的发展。

2）主流VR/AR方案主要可归为双目视觉类型和光场显示类型。其中，双目视觉类型VR/AR产品会产生辐辏—调焦冲突，可能会让人有眩晕、疲劳等感觉；光场显示类型VR/AR产品也存在分辨率下降问题和辐辏—调焦冲突等缺点。

3）全息技术的三维显示方案系统紧凑、没有串扰和深度反转、不存在机械运动部分，被认为是当前较为理想的VR/AR解决方案。将全息与近眼显示相结合，只对眼睛的视场里显示相应的信息，可以提高光学重建和减少计算的负担，提高信息的利用率。

4）在基于全息技术的VR/AR解决方案中，加快计算全息图生成速度和扩展显示系统的空间带宽积是当前面临的两大挑战。改进算法技术、使用革命性的材料与器件，将是全息VR/AR的发展趋势。

基金项目：国家基础研究计划项目（2013CB32881）；国家自然科学基金项目（61361160418，61327902）

参考文献（略）

本文作者：何泽浩，隋晓萌，赵燕，曹良才，金国藩

作者简介：何泽浩，清华大学精密仪器系，博士研究生，研究方向为全息三维显示；曹良才（通信作者），清华大学精密仪器系，副教授，研究方向为全息技术。