增强现实技术发展及其在军事领域的主要运用

远望智库技术预警中心  利剑 

本文为远望智库原创文章，转载请标明来源和作者

增强现实技术作为一项重要的军民通用颠覆性技术，目前在很多方面的应用已取得令人瞩目的成果，随着研究和应用的日趋成熟，增强现实技术将在军事领域得到更加广泛的运用，产生重要而深远的影响。

增强现实(Augmented Reality，简称AR)是一门新兴的技术领域，它是在虚拟现实(Virtual Reality，简称VR)基础上发展变化而来的。增强现实技术作为一门交叉学科，是建立在多个学科基础上的技术，是将计算机生成的虚拟图像实时地、动态地融合到用户所看到的真实环境中的一种高新技术。

增强现实技术虽然由虚拟现实技术发展而来，但也有很大的不同点。虚拟现实技术是创造一个全新的虚拟世界，用户将完全沉浸于一个虚拟的合成世界中，无法看到所处的现实世界。然而，增强现实技术不但使用户能够感受到真实的环境，还能将虚拟的物体叠加或者融合在真实的环境当中，展现给用户在同一个空间场景中的虚实共存，两者之间其一变化另一个也相应随之变化，观察者会感觉到这些虚拟物体好像是真的存在于真实场景中一样，使得虚拟物体从感官上成为周围真实环境的组成部分。

增强现实技术是对现实场景进行补充，但不完全取代现实场景，通过这样的虚实融合来增强用户对真实环境的理解和感受，以此来达到“增强”的效果，使用者不仅能够通过虚拟现实系统感受到在客观世界中所经历的事物，而且能够突破空间、时间及其他限制，感受到在真实世界中无法亲身经历的体验。

增强现实技术主要优势在于，通过真实世界和虚拟世界相互结合，使真实世界得到增加与加强，从而以新的方式大幅提升人们认知和改造真实世界的能力，出现了从“人适应世界”到“世界适应人”的重大变化，主要具有3个特点：

构建增强现实系统，关键技术有显示技术、注册技术、交互技术、跟踪与定位技术、大数据技术，以及智能专家系统技术等。

显示技术是增强现实系统的基本技术之一。一般而言，可将增强现实显示技术分为头盔式、投影式、手持式及普通显示器显示：

一是头盔式显示。现有的虚拟现实技术的人机界面中大多采用头盔显示器，主要原因是头盔显示器较其他几种显示技术而言沉浸感最强。用于增强显示系统的头盔显示器能够看到周围的真实环境，因此叫做透视式头盔显示器，主要为光学透视型和视频透视型两类。

二是投影式显示。投影式显示是将虚拟的信息直接投影到要增强的物体上，从而达成增强现实效果。

三是手持式显示。主要采用摄像机等其他辅助部件来达成增强现实效果。例如，美国华盛顿大学人机界面技术实验室设计出了一个便携式的增强现实系统，该系统采用一种基于视觉的跟踪方法，把虚拟的模型重叠在真实的场景里，产生一个增强现实的场景。

四是普通显示器显示。主要将摄像机获得的真实图像与计算机生成的虚拟物体进行合成，然后在显示器输出，需要时也可以输出为立体图像，这时需要用户戴上立体眼镜。

注册技术是增强现实系统最为关键的技术之一，注册实际上就是将计算机生成的虚拟物体和真实环境中景象“对齐”的过程。注册必须先确定虚拟物体与观察者之间的关系，然后通过正确的几何投影将虚拟物体投影到观察者的视野中。注册一般分为动态注册和静态注册。动态注册是摄像机与真实物体相对运动的情况下，确定二者的相对位置；静态注册是摄像机与真实物体相对静止的情况下确定二者的相对位置。

在目前的增强现实系统中，绝大多数采用的是动态注册，动态注册技术一般分为三种，基于跟踪器的注册技术、基于视觉的注册技术以及结合前两种优势的复合注册技术。

增强现实系统需实现用户与真实环境中虚拟物体自然直观的三维交互，这就要系统设计针对增强现实系统的交互工具，并能够跟踪定位到交互工具的位置信息，执行用户对空间物体实施的指令。

目前主要使用的交互方式有三种:一是菜单式，多用于掌上电脑的应用；二是特殊标记式，多用于将特殊的标记固定在用于交互的设备上；三是特制工具及硬件设备，一般外形简单、易于识别，且可通过按键来触发一些系统事件。

要实现虚拟和现实物体的完美结合,必须将虚拟物体合并到现实世界中的准确位置,这个过程常称为配准。因此，增强现实的跟踪定位系统必须能够实时地检测观察者在场景中的位置、观察者头部的角度,甚至是运动的方向,以便用来帮助系统决定显示何种虚拟物体,并按照观察者的视场重建坐标系。为了生成准确定位，增强现实系统需要进行大量的标定，测量值包括摄像机参数、视域范围、传感器偏移、对象定位以及变形等。

目前最常用的是视频检测技术，主要是使用模式识别技术(包括模板匹配、边缘检测等方法)识别视频图像中预先定义好的标记、物体或基准点,然后根据其偏移和转动角度计算坐标转换矩阵，该方法不需要其他设备,且定位精确。跟踪定位技术与标定技术共同完成对位置与方位的检测，并将数据报告给增强现实系统，实现被跟踪对象在真实世界里的坐标与虚拟世界中的坐标统一，达到让虚拟物体与用户环境无缝结合的目的。

增强现实系统实现对信息的增强，需要运用大数据技术。应用大数据技术，可以迅速挖掘数据信息的内在规律，提供更高效率的决策支持、图像识别服务等。

增强现实系统中跟踪定位技术需用到对现实环境中物体的模式识别技术，利用大数据技术中的深度学习方法，可显著提升模式识别的准确率；利用了大数据分析的深层神经网络模型，可在图像识别领域取得显著效果，在ImageNet评测中将错误率从26%降低到15%；通过对海量异构实时数据的分析，可获得有价值的决策信息，等等。例如，增强现实技术运用到军事领域中，需要利用显示头盔等设备给参战人员实时展现战场动向、建筑结构、武器性能、决策信息等，而这些信息的展现需要对海量多源异构数据进行及时、快速、准确的分析处理，大数据技术在此可发挥重要作用。

增强现实系统需实现对知识和智力的增强，就要运用智能专家系统技术。智能专家系统是一个以“知识工程”为核心，综合应用人工智能与计算智能原理与方法、现代设计理论与方法、先进建模与仿真技术，以及相关应用领域专业技术的复杂智能化系统。智能专家系统具有大量专门知识的智能程序,可应用人工智能技术,根据一个或多个专家提供的特殊领域知识进行推理,模拟专家做出决定的过程，能够解决那些需要专家解决的复杂问题,提供专家水平的解答。

智能专家系统能够高效、周密、迅速且不知疲倦地工作，能够解决增强现实技术对基于知识的智能化工程技术的需求，能够继承和重用已有的研制经验，建立基于知识工程的先进设计技术体系，能够为增强现实系统建立不同层级的推理模型，综合考虑各种因素，运用专家知识，逻辑推导预判相关情形，辅助选择推送优化结果，等等。

20世纪90年代初期, 增强现实这个名词一经提出,美国就率先将其用于军事领域。近几年来，增强现实技术已进入了军事领域的多个方面,并开始发挥重要作用。世界各国也都高度重视增强现实技术在军事领域的运用，在武器装备制造、战场环境显示、部队演习训练、后装综合保障等方面进行了大量的研究探索，取得了系列成果，展示出广阔的应用前景。

增强现实技术运用于国防工业领域，主要体现在4个方面：一是可实时展示和共享实物、模型、设计图纸等信息，利用多通道人机自然交互技术，使得异地、多人可以实时互动，沟通交流设计思想，修改与改进方案。二是可将武器装备的模型及各种可能的设计方案融合在一起，显示给使用者,使用者可通过增强现实系统全面比较各种方案,且能够将修改意见直接反映到装备的研制模型上。三是可为用户提供先期演示，让研制者和用户同时进入虚实结合的作战环境中操作武器系统，检验武器系统的设计方案、战术、技术性能指标及其操作的合理性。四是可将装配维修的标准工作流程指南准确地显示给用户，大幅提高装备研制效率及装备实用性。

2015年，由美国国防部牵头成立的数字化制造与设计创新机构发布了七大研发项目，其中之一就是“基于增强现实和可穿戴计算的生产车间布局”。美国Marine公司使用哥伦比亚大学图形和用户界面实验室设计制造的增强现实辅助维修系统（头戴式显示器），可将增强现实技术应用于装甲炮塔的研制当中。欧洲空中客车公司利用增强现实系统来解决欧洲某型战斗机布线问题，操作工人可通过语音调用虚拟提示，按照每步提示轻松完成高密度的布线工作

增强现实技术运用于战场环境显示，主要是通过在真实环境中融合虚拟物体,不仅能向部队显示真实的战场场景,还能够通过增加虚拟物体强调肉眼无法看见的环境信息，以及敌方或己方的隐藏力量，进而增强真实战场场景的显示,真正实现各种战场信息的可视化。例如，将增强现实技术用于飞行员座舱的显示,在飞行员座舱的前方玻璃上或者他们的头盔显示器上,不仅可向飞行员提供导航信息,还可提供包括敌方隐藏力量的增强战场信息。

2011年，泰莱斯公司在巴黎航展上展示了基于增强现实技术的“顶点猫头鹰”头盔瞄准显示器，该系统可直接将相关信息投影于驾驶员的头盔取景器上，为其提供直升机周边虚拟的画面，使其在各类恶劣的地理和气象条件下，作战场景或目标能够以增强现实的方式向驾驶员清晰显示。该系统现已部署于位于阿富汗的法军和美军的“虎”、NH90、AH-1Z“眼镜蛇”等直升机上。近期，美军即将为F-35战斗机配备多功能头盔，除了传统的供氧、通信联络、信息显示和武器瞄准等功能外，该头盔还采用了增强现实技术和头部跟踪系统，能够实现飞行员头转向哪一方，头盔便会显示哪一方向的即时态势。2012年，美国国防高级研究计划局在“士兵视觉增强系统”项目中开始研发一种隐形眼镜，佩戴该隐形眼镜的作战人员可以看到虚拟的、增强现实的图像，整个过程无需借助庞大笨重的仪器。

增强现实技术运用于作战指挥控制，主要体现在3个方面：一是作战指挥系统应用增强现实技术，可使指挥员实时掌握各个作战单元、任务部队的情况，有利于指挥员快速正确地理解上级意图，及时做出决策。二是应用于作战指挥网系中，可使各级指挥员同时观看、讨论战场以及与虚拟场景交互，实现整个战场信息的高度共享，有利于各级指挥员统一认识、密切协作。三是将增强现实系统应用于多用户、多终端协同工作, 可为各用户、终端建立一个共享的、可理解的虚拟空间,允许各用户、终端共享战场信息、实时交流互动，有利于指挥部队加强配合、协同作战。

近年来，美军开发了一款“战场增强现实系统”，包括可穿戴式增强现实系统和三维交互命令环境，其系统样机已实现了指挥中心与各战斗员之间的信息传输，未来将满足城市作战中提供单兵环境位置及协同信息的需求，有效提升城市作战指挥的能力水平。2015年3月，美国航空航天局（NASA）宣布在未来的航天任务中使用ODG公司的智能眼镜，届时宇航员将直接通过他们的增强现实眼镜接收重要信息和指令，提升航天指挥操控效率。

增强现实技术运用于军事演习训练中，有助于创新演习训练方式方法，加大实战化程度。应用基于增强现实技术的军事训练系统，能够构建一种极为逼真的实战化训练环境，受训人员通过随身携带的增强现实系统,不仅可以看到真实的训练场景,而且可以看到场景中增加的各种实战化虚拟物体,使受训者进行沉浸式训练，进一步提升军事演习训练的实战化水平。

2014年，美军展示了“增强现实沙盘”系统，该系统可直观反映战场真实地形地貌，使作战人员能身临其境地了解战场地形，这将对军事训练、对抗性演习产生重大影响。2015年6月，美国海军陆战队在弗吉尼亚州展示了一种能够模拟战场环境的增强现实眼镜，并将其接入到了名为“增强沉浸式团队训练器”的大型训练系统当中，有效提升了美海军陆战队实战化训练水平。2015年6月，微软增强现实设备HoloLens获得了美国NASA的垂青，将其作为Sidekick项目的关键工具，随着SpaceX公司的太空飞船登陆太空，Sidekick项目能够帮助宇航员更快适应空间站环境，从而缩短训练时间、提高训练质量。

增强现实技术运用于武器装备维修中，主要通过在实际设备中添加各类维修辅助信息，可指导维修人员按步骤实施维修，能够精确定位不直接可见的零部件并将其可视化，从而确认要进行测试的零部件并进行修理或替换，这不但能够帮助维修人员迅速熟悉和掌握各种武器装备的维修技术，也保证了整个维修过程的标准化和规范化，极大减少了维修人员的培训成本，降低了装备拆装、保养、维修的难度，提高了维修保障效率，并有助于技术与经验的传承。

美国洛马公司正在使用基于爱普生智能眼镜的AR平台，加速F-22和F-35的维修过程，检测员能够通过眼镜看到投影于战斗机上的零件编号和计划，在飞机旁边就可以记录要修理的区域，减少操作错误。这个交互式的三维AR平台能够让维修人员与三维模型、零件规格、库存信息、实时数据、图像视频进行虚拟交互，来自每个维修人员的新数据可以在平台上共享，由系统分析并集成来自每架战斗机的信息，以实施故障预测与维护规划。该AR平台使维修人员的工作速度提高了30%，操作精度提高了96%。

增强现实技术运用于军事医疗救治中，可将伤病员的各类信息叠加在伤病员身体或实物人体模型上，帮助医生进行手术方案制定、手术时的精确定位与辅助指引、模拟的手术训练等。例如，一位重症伤病员被送上救护车后，从救护车到医院是一段漫长的路程，戴有AR眼镜的随行医生可通过其上面的摄像头，将病人的病症快速传送至医院内的主治医生面前，主治医生根据情况制定紧急急救方案，快速挽救生命。在病房中，护士通过AR眼镜寻访病房，可快速将伤病员情况传送给办公室的医生，医生不必亲自去各个病人床前查看，提高了医疗工作效率。在手术时，也可提供第一视角的手术过程，方便远程医疗合作，提示手术步骤，并通过AR效果提示手术过程注意细节，提升手术可靠性。

由美国陆军医学研究和作战物资司令部的遥测医学和先期技术研究中心负责的一个基于“信息医疗”概念的项目,把可穿戴式计算机和无线通信网络相结合,外科医生和其他人员就能随时访问、阅读和传送关键医学数据。在欧洲航天局的资助下，比利时空间应用服务部门研制了一种新型增强现实系统——电脑辅助医疗诊断和外科手术系统，其使用立体声头戴式显示器和超声诊断工具，通过红外摄像机对患者病灶处进行跟踪治疗，可为航天员提供即时的专业医疗诊断服务。

从武器装备设计研制、维修保障，到作战指挥、作战训练、医疗救治等，增强现实技术均能发挥重要作用，具有广阔的军事应用前景。但是我们也应该看到，目前增强现实技术面临诸多挑战，如对于大型物体尚没有使用三维跟踪技术的可靠方式，因而无法实现对大型机体结构的实时图像采集；软件开发也面临不少问题，包括图形渲染、CAD模型以及用户界面等，尤其是将海量纸质作业指导书转化为数字化模型，工作量不可小视。另外，当前的可穿戴技术还不够先进，平板无法解放双手，头戴显示设备不够持久，智能眼镜无法显示复杂信息并且单眼显示不利于长时间观看。面对当前这些困难问题，需要持续加大对增强现实技术的研发力度与探索实践，以便尽快解决现实难题，提升增强现实系统的可靠性、实用性，将来能够更加有效地运用到军事领域当中，发挥更加广泛而重要的作用。

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 | 创新中国 | 创新创业 | 科技体制改革 | 科技创新政策 | 协同创新 | 科研管理 | 成果转化 | 新科技革命 | 基础研究 | 产学研 | 供给侧
热点专题：军民融合 | 民参军 | 工业4.0 | 商业航天 | 智库 | 国家重点研发计划 | 基金 | 装备采办 | 博士 | 摩尔定律 | 诺贝尔奖 | 国家实验室 | 国防工业 | 十三五 | 创新教育 | 军工百强 | 试验鉴定 | 影响因子 | 双一流 | 净评估
预见未来：预见2016 |预见2020  | 预见2025 | 预见2030  | 预见2035 | 预见2045  | 预见2050
前沿科技：颠覆性技术 | 生物 | 仿生 | 脑科学 | 精准医学 | 基因 |  基因编辑 | 虚拟现实 | 增强现实 | 纳米 | 人工智能 | 机器人 | 3D打印 | 4D打印 | 太赫兹 | 云计算 | 物联网 | 互联网+ | 大数据 | 石墨烯 | 能源 | 电池 | 量子 | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 | 不依赖GPS导航 | 通信 | 5G | MIT技术评论 | 航空发动机 | 可穿戴 | 氮化镓 | 隐身 | 半导体 | 脑机接口 | 传感器
先进武器：中国武器 | 无人机 | 轰炸机 | 预警机 | 运输机 | 直升机 | 战斗机 | 六代机 | 网络武器 | 激光武器 | 电磁炮 | 高超声速武器 | 反无人机 | 防空反导 | 潜航器
未来战争：未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空战 | 反卫星
领先国家：美国 | 俄罗斯 | 英国 | 德国 | 法国 | 日本 | 以色列 | 印度
前沿机构：战略能力办公室 | DARPA | 快响小组 | Gartner | 硅谷 | 谷歌 | 华为 | 阿里 | 俄先期研究基金会 | 军工百强
前沿人物：钱学森 | 马斯克 | 凯文凯利 | 任正非 | 马云 | 奥巴马 | 特朗普
专家专栏：黄志澄 | 许得君 | 施一公 | 王喜文 | 贺飞 | 李萍 | 刘锋 | 王煜全 | 易本胜 | 李德毅 | 游光荣 | 刘亚威 | 赵文银 | 廖孟豪 | 谭铁牛 | 于川信 | 邬贺铨
全文收录：2018文章全收录 | 2017文章全收录 | 2016文章全收录 | 2015文章全收录 | 2014文章全收录
其他主题系列陆续整理中，敬请期待……