李克强门生、清华无人车领队张新钰详解智能驾驶关键技术及产业化

*清华大学猛狮智能车团队（后排左三为张新钰）

新智驾按：作为清华大学智能车“猛狮”团队（由中国工程李德毅院士及清华大学李克强教授指导）负责人，张新钰在2016年带领车队拿下“中国智能车未来挑战赛”城市赛段亚军，虽然与冠军失之交臂，但这也是对他数十年智能驾驶研究成果的证明。

在这漫长的生涯里，他参与研发了国内首辆无人驾驶快递车以及奇瑞-百度智能车的底层智能系统。2015年，其带领的团队所研制的智能公交车在河南郑开大道顺利完成了开放城际道路环境下的智能驾驶，这是世界上第一台智能驾驶公交车正式路测。

正是因为在智能驾驶领域的多年积累，他近期受邀到中国图象图形学学会主办的“智能驾驶与机器视觉”讲习班展开分享。回顾了智能驾驶的发展历史，详述了智能驾驶的关键技术，深入解读了智能驾驶产业化的挑战与方向，最后，还将自己数十年在清华团队所做的关于智能驾驶的研究和成果如数分享。

以下为张新钰分享精华内容，新智驾独家整理奉送（有删减）。

一、自动驾驶发展历程

汽车工业已经经历了100多年的发展，而中国业已成为全球第一大汽车市场。回顾历史，我们可以发现汽车工业经历了几次较大的变革。

100多年前，汽车代替马车，成为新一代的日常交通工具，随着汽车的普及，汽车的形态及生产工艺也在不断进行突破。后来，汽车安全性能越来越受到重视，无论是被动安全还是主动安全，都有不断进行探索的先驱。随着汽车电子、通讯技术以及人工智能的发展，汽车俨然要成为下一代的移动终端。

智能驾驶也在这一进程中不断发展。也许我们对开始于美国莫哈韦沙漠的DARPA无人车挑战赛已经很熟悉了，很多人都将这一赛事视作无人驾驶人才的“摇篮”，但殊不知，关于无人驾驶，其研发在世界范围内已有很长的历史。

从以上智能驾驶发展的历程来看，无论是互联网科技公司、车企、Tier 1，还是自动驾驶传感器、系统解决方案创新公司，亦或是高校、科研机构，全都加入到大潮之中，资本、人才亦迅速涌入。

现在，人们谈论最多的、市场声量最大的，国外当属谷歌，而国内则是百度。谷歌研究无人驾驶已经有10多年的历史，而百度，近来声势浩大的要All in AI，最重要的方向当然还是智能驾驶，“阿波罗计划”（Apollo）便是其最重要的战略。百度要成为智能驾驶领域“安卓”的野心昭然。

为了早日实现商业化落地，谷歌无人车独立出来以Waymo品牌存在。后来，那辆广为流传的“萤火虫无人车”也在不久前宣布退役。

百度如今大肆推广智能驾驶，通过“阿波罗计划”向外界开放其代码。但智能驾驶汽车是人坐的，一般人都会考虑其安全性，要让所有人接受这一新生事物，是非常艰巨的任务。

从“阿波罗计划”的开放路线图可以看到，自2017年7月，百度开放了其自动驾驶基本平台，开放的内容主要是封闭场景循迹自动驾驶。张新钰觉得，这种技术目前自动驾驶公司、高校已经有基本的技术原型。

到第二步，百度想推广固定车道的自动驾驶，这才是比较关键的。它要公布高精地图、传感器等一系列感知、定位技术。

然后是真正意义上的自动驾驶，这个就更加遥远了，如果到今年年底百度能把这块开放，那么说明“阿波罗”真是一个很开放的平台。

从自动驾驶的上层技术来看，百度在国内处在领先位置。2015年12月，百度的自动驾驶汽车在北京五环上进行了测试。

在那辆自动驾驶汽车上，装配了一个64线的激光雷达（Velodyne）。这种架构基本上是现在国内的高校以及科研机构或创业型公司所采用的，用高精度的激光雷达方案做自动驾驶。这套设备的成本大概在130、140万人民币左右。当时，百度说3年后（也就是2018年）实现商业化，现在看来还有很大困难。

目前，谷歌的自动驾驶汽车已经可以在乡村道路以及复杂路况下运行，但百度依然是在高速上实现自动驾驶。所以，从技术上看，张新钰个人觉得现阶段肯定还是谷歌的水平要更高。

但是，不管是谷歌还是百度，亦或是很多车企，现在遇到了同样的问题，那就是“自动驾驶落地”。其中，阻碍因素有这样几个方面：

传感器层面，无论是图像、摄像头、雷达还是GPS，在一般环境下，由于天气、气候或者突发情况，不可能保证100%安全。而谈起激光雷达，虽然它感知环境的效果最好，但“贵”是最大的问题。

张新钰介绍，百度采用的64线激光雷达价格大概在60万人民币左右，谷歌所使用的32线激光雷达，成本大概在33万人民币。而Quanergy的S3，作为固态激光雷达，其成本虽然据称已经压缩到了几百美元至上千美元，但具体效果还没有确切的说法，因为企业还未用其产品进行测试。

而在政策法规问题上，美国很多州已经允许自动驾驶汽车上路，但国内依然未开放。比如7月5号，李彦宏乘着自家的自动驾驶汽车上了五环，立马被交警部门调查。政策对于自动驾驶的支持非常重要，政府需要站出来。

此外，实现自动驾驶，还需要车与车、车与路、车与周围更为广阔的环境进行信息的感知和交互。这一块国内基本上是空白，可能有些试验场有这样的设施，但为数不多。

张新钰认为，只有这三个方面的问题解决了，才能考虑自动驾驶汽车落地的问题。

二、智能驾驶关键技术

其实，做智能驾驶，就是让机器仿照人类去驾驶，我们要思考的是如何按照脑科学的发展来做智能驾驶。

人脑是由性格、情绪、长期记忆、短期记忆、动机以及学习和思维组成的。

如果以人脑来类比“驾驶脑”，智能驾驶其实形成的是这样一个框架：

一般来说，人在驾驶的时候，其实是将认知、感知（驾驶过程主要通过眼睛来看）、行动（执行人脑一些行动）和反馈（反馈到人眼里面）进行了一个循环。

智能驾驶也一样，首先有动态感知（通过感知记忆），然后到态势分析（包括长期记忆的进入）、自主决策，之后是精确控制（就是我们的小脑），再到行动——形成一个循环过程。

基于此，我们提出了关于智能驾驶过程的流程图。

这个流程中，传感器充当了人类眼睛的角色。其中包括雷达传感器（激光雷达、毫米波雷达）；视觉传感器（左、中、右摄像头）；车姿传感器（惯导IMU、OBD接口）；定位传感器（GPS、北斗、轮速计）。

传感器感知到的数据会每隔一段时间形成驾驶态势图，每100毫秒形成一个驾驶图簇，构成车辆的短期记忆；长期记忆则包含了驾驶地图以及各类驾驶先验知识；而动机就是智能驾驶的某个路径要求，可以通过人机交互传达给车辆。

通过短期记忆、长期记忆以及动机不断相互作用，车辆形成了“二次规划”——学习和思维，其实就是人类思考的过程。

这些规划再辅以一些紧急干预的操作，就形成了控制的策略（类似于人小脑实现的功能）。

最后到执行机构——智能驾驶车辆。

可以看到，按照脑认知结构研究智能驾驶，它有感知域、认知域、执行。这是一个以认知为中心的智能驾驶的全域过程，可以分层看一下：

而在以上四个层面上，现今也有很多需要车企、技术公司去解决的关键技术问题。

具体而言，这些关键性技术包含感知、认知、决策、控制和执行。

1、目标感知

这块的内容包括在复杂行驶环境下自主式与协同式的动静态目标检测与跟踪技术，重点解决的是检测的准确性、鲁棒性和实时性。

传感器主要以单目相机、双目相机、毫米波雷达以及激光雷达为主，同时把GPS组合惯导系统的信息融入进去。针对不同的传感器，可以有不同的算法，进行深度学习与构建。

智能驾驶非常关键的一个点是“数据融合”。因为单一的传感器的适应性不够、精度不高，那我们就想办法把多传感器的数据融合到一起，进行目标的识别或者定位。

目前，清华猛狮团队也在做一些工作，比如数据融合，我们将相机RGB图像与雷达数据进行融合，对人、车辆不断进行检测，用卷积神经网络做训练。

从下图可以看到，上部是摄像头拍下的RGB图像，下部是激光雷达的点云图像，进行融合后可以得到灰度图：

通过这种融合，可以提高目标检测和识别的能力。

2、场景认知

这一块要实现拟人认知过程中场景理解、目标危险行为预判和轨迹生成预测问题。这其实是最难的，目前研究还不是很多。

我们首先通过车内外综合状态感知的传感器，获取数据后进入到瞬态记忆池，然后再到态势记忆池，再到自适应定位学习，最后是长期记忆池。这样就形成了驾驶态势，最后输出到下一层——决策。

这个过程中，清华猛狮团队使用基于驾驶认知计算的分割、调度、映射和加速方法进行探索。这块是其目前做的硬件方案，这里需要使用一些工具，包括FPGA、GPU和GPU多核运算等，加快认知计算的速度，缩短认知输出所需的时间。

整个认知过程中，还有一个很关键的问题是智能驾驶定位的问题。

现在智能驾驶定位麻烦的原因在于：

• GPS在很多地方没信号；

• 价格也贵，GPS要好几万，惯导IMU好一点的要20万人民币。

这块清华猛狮团队也做了些工作。

上图是一个智能驾驶定位系统，首先有一个绝对定位的系统，包括GPS、激光雷达；还有一个相对定位的系统，有惯导IMU、图像编码器以及车轮编码器。我们可以融合二者的信息来做定位融合，这样就可以大大降低成本，因为可以用低精度GPS、雷达和惯导IMU（便宜的几千人民币）。

当然，不同的传感器，在不同的条件下利用其产生的数据进行定位，效果是不一样的，组合形式则需要更多的尝试。

3、自主决策

感知、认知之后，我们需要做决策，要在动态场景中进行拟人行为的决策和路径规划及避障，需要解决决策的有效性和实时性。

通过认知过程中的结果，把车辆的速度、加速度还有障碍物的速度、加速度都预测好，同时把车辆位置、车辆航向以及车道线的序列、交通标志等一切信息拿出来做决策算法的输入。其中还包括车辆动学模型、还有障碍物的威胁模型。

我们同时要把以前的专家示教序列、奖励学习以及更新的模型参数融入到决策算法中去，最后形成这种局部点坐标和期望速度值。

传感器的输入信息以及决策算法导出的信息共同作用于规划算法，再引入车辆模型，形成最后的轨迹坐标和速度曲线。

这是自主决策的一个过程。

张新钰和他的团队提出了“基于AI的自主决策”。

简单来说，传感器感知当前车辆内部与外部环境产生数据，数据输入到数据模型，数据模型会输出车辆的运动指令到控制器，运动指令包括加速度与方向盘转向角，控制器会将运动指令转化为控制指令输入到执行器，执行器执行指令后，产生执行反馈到控制器。张新钰团队的目标是通过神经网络学习出数据模型。

而在智能驾驶汽车的自主决策方面，协同控制也是一大难点。

协同控制指的是全场景工况下车辆运动状态参数自适应估计方法和多目标协同控制问题，解决动力学控制的有效性和鲁棒性。

这个控制其实挺麻烦的，因为这个是底层的控制，它的非线性很不好做。

现在比较流行的，主要是基于MPC（Model Predictive Control）的协同控制，大家了解比较多的。通过全场景工况下车辆运动状态参数的反馈和随时域滚动的MPC，解决无人驾驶车辆纵向与横向的实时跟踪性，体现在随车而动的不同时域长度的预测能力上。

4、精准执行

前面谈了很多感知、认知、决策以及控制层面的问题，最后还是要车辆本身去执行控制操作，如果车辆的执行力不行，那智能驾驶的功能实现肯定好不了。

对于智能驾驶汽车来说，要想很好地执行控制操作，在电源控制器、转向控制器、油门控制器以及制动控制器上都要进行一些改装。目前，国内在这块的技术都不是很成熟，这也是影响自动驾驶落地的重要因素。

互联网科技公司主要做软件，以工程机上层为主；而车厂其实以下层的组装为主，也就是OEM，也不是那么懂车。像制动、油门和转向等这些领域，话语权依然集中在博世、大陆这样的Tier 1身上。比如去年清华和长安合作进行的2000公里的自动驾驶路测，车辆的制动就是博世做的，国内现在能做这块的公司其实不多。

张新钰表示他的团队都是自己改装东西，改装一个阀去做制动，当然这都是手工做的，没量产。现在很多公司想创业，其实这块是很有意义的，但着实很难。

总的来说，像油门、线控转向这些技术都直接关系到智能驾驶车辆的精准执行，这些在目前来说也是制约智能驾驶落地的重要问题。

以上阐述的关键技术，基本上是针对单车智能，而智能驾驶是系统工程，涉及车与车通信、人车交互、多车间的交互等等。目前，单车智能问题还未解决好，多车智能便不会成为重点。这可能作为未来五年到十年的研究方向，大家若有兴趣，可以关注。

三、智能驾驶产业化

接下来阐述一下智能驾驶产业化方面的问题。

一辆智能驾驶汽车上，搭载了相机、激光雷达、毫米波雷达、GPS设备、后视镜、OBD、高精地图、惯导系统等。仅仅针对激光雷达，如今国内外的创业公司便不可胜数。

总结起来，智能汽车产业，集成几乎所有工业和信息领域的中高端技术为一身，链条长、关联度强、就业面广、涉及经济领域多、消费拉动大，是国民经济的重要支柱产业。

再来看一看百年汽车产业核心竞争力的转移趋势。

从上图可以清晰地看出，以后汽车行业的竞争将会聚焦在智能驾驶技术之上。

在张新钰看来，信息技术和智能制造已然成为热点，智能驾驶是集位置服务、车联网和机器人等技术于一身存在，无论是实践云计算、物联网，还是研发机器人，智能驾驶都被推到风口浪尖，占据重要位置。

针对智能驾驶，目前国际上两大机构NHTSA（美国国家公路交通安全管理局）和SAE（美国汽车工程师学会）都有自己的分级标准，前者为5级划分，后者是6级划分。二者的不同之处在NHTSA定义的L4级别包括了SAE定义的L4和L5级别。

此前，特斯拉的量产车已经实现了L2级别的自动驾驶；2017年7月11日，新一代奥迪A8发布，据称已经达到L3级别的自动驾驶，这两款车是已经量产的自动驾驶汽车。像很多高校，其实走的路线也是从L3开始，走向更高级别的自动驾驶。

针对L4和L5的自动驾驶，谷歌、百度以及一些车企正在进行研发，但是还未量产化。

张新钰认为，L3级别可能在2020年会比较完善，量产化车型也会越来越多；而L4、L5级别，估计还需要10年左右的时间才能实现。到那时，自动驾驶车辆需要全场景运行，车本身的结构会有很大的变化，同时要保证绝对安全。

对于智能驾驶的发展阶段，张新钰和他的团队也有自己的划分标准。

最初级的是离线辅助驾驶；接着局部时段、局部区域的自动驾驶；然后是自驾驶/自主驾驶/无人驾驶；最高级别的是以人为本的人机协同。形象一点来说，前两个阶段是人赶着马儿跑，第三个阶段则是马自己跑，最后一个阶段就是骑士与马的完美共舞。

全球智能驾驶的实践近乎火爆，尽管形态多样、方法各异，但也趋向形成共识，从认知试验走向认知工程，正迅速为智能汽车的产业化和市场切入开辟道路，建立全新的智能车产业生态环境。

反观此前百年汽车工业成功的关键，必须要保证以下三个方面的要求：

• 规模化生产

• 精细化管理

• 高可靠运行

这些要求在智能驾驶汽车上同样需要得到保证，甚至要求会更高。目前，智能驾驶汽车的发展路线大致有以下几种：

1、渐进式

以传统的汽车厂商为代表，从ADAS切入，“渐进式“地从高级辅助驾驶实现到无人驾驶的过渡。

现在很多创业公司和车企都在做ADAS这方面的功能，主要有摄像头方案、毫米波雷达方案。后期，随着车辆自动驾驶水平越来越高，激光雷达也将被引入。

从摄像头方案切入到ADAS，目前有很多内容是可以去进行尝试的。

而毫米波雷达则被认为是ADAS的核心传感器。

激光雷达虽然分辨率高、精度高、抗有源干扰能力强，但是目前的价格实在昂贵。

基于以上分析，未来要做自动驾驶方案，在传感器的选择上会有多种多样的配置选项。摄像头是不是可以多用一些？毫米波雷达用多少个？激光雷达是否可以尽量少配一些？这涉及到自动驾驶汽车的成本控制，创业者们需要去思考。

2、颠覆式

以Google、百度、Uber等为代表的互联网公司，通过价格高昂的传感器（激光雷达为主），“一步到位位”地实现完全无人驾驶。

谷歌和百度的自动驾驶汽车，包括各类传感器以及车辆本身改装的成本等，成本基本都在100万人民币以上。一般的公司基本上难以承受。

3、混血儿：特斯拉

以Tesla等为代表的一边自己造车，但不按传统汽车厂的路线发展自动驾驶，另一边利用互联网思维发展自动驾驶技术，利用上路产品作为测试自动驾驶系统Bug的手段，同时又打着低成本的牌。

特斯拉的量产车还可以进行驾驶数据采集，数据对将来的无人驾驶很关键。所以，张新钰觉得，特斯拉最有可能实现自动驾驶商业化落地。

从上面三条发展路线来看，智能驾驶产业需要考虑的问题就包括下面这些：

不得不说，智能驾驶产业是非常庞大的，产业链非常长。

传感器产业自不必说，相机、激光雷达、毫米波雷达、惯导、GPS……本身就是很长的产业链。

而切入ADAS产业的公司更是数不胜数，他们做系统监测、环境监测、显示辅助以及主动安全等功能，这一块进入比较快，门槛也没那么高。

控制产业则包含了决策系统、转向、制动、电源控制器等细分领域。现在国内在制动系统方面几乎是空白，所以这是很多创业公司的机会。

同时，智能驾驶行业绝对不只有乘用车，货车、巡逻车、清扫车、矿山车等都可以应用智能驾驶技术。

当然，有了海量的智能驾驶传感器数据，对于将来的交通、保险业、呼叫中心、汽车救援等工作都大有裨益，而这也是云计算和大数据可以施展功夫的空间。

四、智能驾驶实践

最后，分享一下清华猛狮团队在智能驾驶方面的一些实践工作。

从2009年开始，清华猛狮团队投入到飞思卡尔的微缩车平台的研发中；到2012年，团队开始做自动驾驶的轿车和客车。

在智能驾驶小车方面，团队主要是在硬件和软件方面做了一些工作。

上图是张新钰团队研发的智能驾驶小车的模型。它由GPS、接收机、惯导、激光雷达、工控机、相机、电池组成，同时有它自己的控制系统。

针对轿车平台，清华猛狮也有自己的一套方案。

在这辆自动驾驶汽车成型前，团队对其进行了一番系统的改造，其中包括了对车辆制动、油门、转向、电气系统的“革命”。

张新钰表示，这些改装方案都是团队自己在做，其实是个手工方案，不是很工业化的方案，只能临时用。他透露，改造一套转向系统大概需要二三十万人民币。

经过一番改造后，清华猛狮智能车的方案最终成型：

张新钰表示，这套设备的价格大概为20-30万人民币，已经属于很便宜的方案。

这辆自动驾驶汽车目前可以实现以下功能：

除去小车和轿车，清华猛狮团队也在进行自动驾驶客车的研发，主要是和宇通客车进行合作。

2015年8月29日，这辆自动驾驶客车在郑开大道上成功完成路测，测试里程约32km，含27个路段、26个路口和26个红绿灯，路段内均为直道，限速 80km/h。有意思的是，当时《连线》对这次测试进行了报道，宇通的股票还因此大涨。

目前，团队和宇通还在无人驾驶快速公交领域进行合作。

除此之外，张新钰和他的团队还和京东和百度展开了合作。

车辆改装其实是张新钰非常看重的领域，目前国内相关公司还不多，业内较为知名的是美国的 AutonomouStuff，曾帮助谷歌和百度改装自动驾驶汽车。他觉得国内的创业公司、研究团队可以在该领域施展身手。

如今，张新钰和他的清华猛狮团队依然在智能驾驶汽车的研发道路上行进，期待未来有更多成果能应用到工业界，为国内智能驾驶发展增添动力。【完】

福利：微信后台回复关键字“张新钰”获取完整PPT。

推荐阅读：

李克强谈自动驾驶关键技术的挑战，揭秘清华大学智能驾驶探索和实践