莫吉娜童豪良：当毫米波雷达遇上人工智能

原创佐思产研佐思汽车研究

中国乘用车毫米波雷达市场从2017年开始明显加速，全年乘用车毫米波雷达出货量接近232万颗，同比增长104.6%。2018年乘用车毫米波雷达实际出货量达358万颗，同比增长54%。

上海莫吉娜智能信息科技有限公司目前专攻77Ghz毫米波雷达在智能驾驶领域的实际落地方案。

2019第四届ADAS与自动驾驶论坛于3月21-22日在上海召开，论坛由CCIA智能网联专委会与佐思产研主办，地平线、纵目科技、中科慧眼、中电昆辰、富兰光学、创景科技等单位支持。

莫吉娜科技副总裁童豪良在论坛上发表了题为“当毫米波雷达遇上人工智能--面向中国复杂驾驶环境的自主创新之路”的演讲。以下是演讲全文。

自动驾驶一般经历L1到L5的过程，目前大多还是L3级别。如果往后看，业内对于L5仍持保守观点。

Waymo CEO John Krafcik说：“未来几十年，自动驾驶还无法做到无处不在，无人驾驶汽车一直存在限制。” Waymo是自动驾驶领域的领头羊，目前市值高达1700亿美元，比Telsa和通用加起来还要大，几乎一家就相当于中国主机厂上市公司市值的总和。这不禁让人对于无人驾驶的全面普及持悲观态度。

谷歌首席未来科学家Ray Kurzweil说 “在2029年左右，我们将会达到一个临界点。届时医疗技术将使人均寿命每过一年就能延长一岁。”换句话说再过10年，人就可以长生不老了，所以留给我们的时间还非常多。

自动驾驶领域不管是做到哪个级别，更重要的是满足不同工况，适应各种各样的场景。因为在消费者眼里，一个真正的自动驾驶系统，是不管路况有多复杂的。就像打游戏一样，他不仅能打通简单模式，行驶在车少、人少、大家严格遵守规则的硅谷山景城，也能挑战地狱模式，行驶在人车高度混杂，规则难以判断的道路上。

一个出色的驾驶系统，也不会怕道路有多糟糕，能像一个人类驾驶员一样，通过积水、泥泞的路面、连续弯道、穿越低矮桥洞、桁架桥等特殊的路面。

他会像一个人类司机，见怪不怪。不管是碰到道路塌方，还是逆行车辆，在路上看到牛、看到羊、看到横在路面上的大石头，看到运载汽车的大板车，他都能灵活应对。对于机器眼中所谓的Corner Case，实际上对于一个稍有经验的司机来说，应该都是小菜一碟。

另外，天气对传感器也是很重要的挑战，现在很多碰到雨天、雾天，性能都大打折扣。这些复杂的路况、特殊的道路、奇怪的场景，恶劣的天气都是很大的挑战。

因此需要一个全天候、全场景、高度可靠的解决方案，能完美的应对以上挑战。要达到这样的目标，需要在感知、决策、控制等各个环节的企业齐心协力，不断推动技术的进步。莫吉娜作为一个毫米波雷达企业，也在这方面做了一些尝试。我们在不断提高传感器性能的同时，着重于应用人工智能技术，在自动化路测、目标分类和预测、传感器混合式融合方面进行自主创新。

首先讲关于自动化路测的问题。要验证系统的可靠性，核心就是进行大量的路测。Waymo的路测里程约2000万英里，模拟器里程50亿英里，奠定了行业绝对领先的地位。这背后带来的是丰富的经验积累，进而转化成了更好的平均每多少公里才需要干预一次的成绩。中国有句俗语：“我走过的桥比你走过的路还要多”，讲的就是这个道理。

对于自动驾驶来说，海量测试是提升表现的关键手段。下图左边是美国加州公共管理局发布的2018年登记的自动驾驶测试方的无人驾驶里程，其中Waymo 1271.5英里，跑得最多；GM第二名，其他基本排不上号了。

从测试的角度来看，视觉方案的训练、测试环境来看是相对成熟的。摄像头的数据直观、便于理解和标注。而且视觉的路测数据从一定程度上可以复用，在调整硬件、调整算法之后，只要对视频略作调整，仍可继续沿用。而且，在市场上也可以买到一些标注好的，甚至是覆盖了各种特殊场景的训练数据。也有现成的可自动生成各种场景的模拟器，这就为摄像头的测试带来了极大的便利。

毫米波雷达的数据则完全不同。看以下两张图，左边是ADC数据采样的实部，右边是其中的一部分数据的细节。这些数据远没有视觉的直观，也无法直接标注。在市场上也没有办法买到现成的、别人做好的雷达原始采样数据。就算买得到也没用：雷达，每次硬件调整后ADC采样的数据都是完全不同，需要重新采集、训练。

实际上，对于毫米波雷达来说，每次硬件变更、算法调整都要重新进行路测，产品定型后，在和主机厂安装匹配的过程中，由于前方覆盖的保险杠形状、材质不同，安装位置不同，对雷达数据会有影响，也需要重新进行大量的路测。通常每匹配一次，就要单独进行数千小时，十万公里的路测，周期长，成本高昂。尽管如此，能覆盖的场景还是非常有限的，很难每次变更，都把所有的特殊场景都跑上很多遍。

由于测试方案设计的原因，有些场景很容易疏漏，比如地面施工时覆盖的大铁板。由于雷达工作原理的原因，这样的大铁板有时候就会被误报成静止的车辆，导致不必要的制动或者报警。

就此，莫吉娜开发了一套可以快速积累海量里程测试数据的体系。通过多传感器融合的数据采集，记录系统，和运营车队合作，安装到他们的车上。每辆车每天可以采集回收300公里里程的数据，一个月近1万公里，100辆车一年就是上千万公里。这个级别的里程累计，对于全面覆盖各种场景、验证硬件设计、算法和整体可靠性的帮助是巨大的。

数据量的指数级增加，同时也会带来一个挑战：这么多的数据怎么看。显然，成百上千万公里的路测数据完全靠人工来复核，成本是很难负担的。而且这些数据也并非全都价值相同。对于技术人来说，重点需要关注的是特殊场景的数据、有问题的数据。

基于此引入了机器学习的方法，从前期小批量的人工标注、筛选过的数据中找出规律，沿用到海量数据中，自动筛选出需要人工关注的数据，并予以半自动标注，再辅以人工审核。这样可以节约90%以上的时间。

这里机器学习的规律是一系列特征（feature）的组合。举例来说：某个传感器检测到，而另一个传感器没有检测到或者不能准确分类的；加速度传感器捕捉到司机有急刹车、急打方向现象，而摄像头、雷达并没有反映有威胁的目标。

另外还会用基本的方法，用雷达看是人是车还是非检测目标，这也是通过大量数据学习出来的。

以下两张图为莫吉娜实测的结果。一是在上海的外白渡桥，一个金属结构的桁架桥。对于桁架桥，检测的难点在于即要能够准确检测到两侧对于行驶会有影响的结构，又要筛除掉上方的结构，尤其不能将正前方上方的部分误报为前方的静止障碍物。从演示视频中看到目前莫吉娜的算法比较好的做到了这两点。

二是检测路中间的管柱隔离路障。这些管柱对驾驶会产生影响，需要避让。而检测他们的难点在于，这些管柱的反射面比较小，往往还不是金属材质，反射的能量更小。使用传统的筛除方式，如果我们把检测的阈值调低些，管柱的漏报就会很少，但同时会误报很多不影响驾驶的目标。如果阈值调高了，误报可以得到抑制，但像管柱这类障碍物就容易被漏报。在引入机器学习的方法后，我们可以结合目标物的多种特征，进行更好的筛选。

要做好自动驾驶，少不了对目标的分类和预测。视觉在做物体分类上是强项，包括激光雷达，做分类也比较好。毫米波雷达分辨性能不高，识别能力不强，为什么不直接交给其他传感器处理呢？这主要是两方面的考量：全天候，和系统冗余。其他主流传感器，在雨、雾、雪等恶劣天气时，识别性能极弱，而且摄像头在遇到光线剧烈变化时，也会有短时的盲区。这时候就需要用到毫米波雷达。另外，尽管毫米波雷达的分类能力不够强大，但如果能尽可能准确地输出一些分类信息的话，也是对其他传感器的一个重要补充，可以起到很好的冗余作用。

不过毫米波雷达的传统目标分类技术有很多不足，难以对目标进行准确分类。最常见的传统做法是使用反射能量来分类，但车辆、自行车、行人的特征会有很多重叠，误判率很高。另一种方法是推测物体的长度和宽度。但正前方的物体，长度不好判断，这样就不容易区分大车和小车，另外由于毫米波雷达的分辨率不高，对于一些异型物体也不容易进行准确分类。

此外，有一个简单的粗暴的分类方式是根据目标的速度，大于一定速度的都判作车辆。但这个方式同样分类不够准确、精细，尤其是对于低速、静止的目标无法准确分类。在实践中，大家通常会结合上述几个特征来进行综合判断，但由于上述每个分类方法的基准水平不高，所以三个臭皮匠还是凑不成一个诸葛亮。要更准确的分类，就要寻找新的雷达数据特征，利用人工智能算法实现目标识别。

莫吉娜目前使用SVM，提前若干个信号、雷达波形特征来进行分类。大致会使用到8-10个特征，构成一个n维的超平面，以进行更精准的筛选。

分类只是优化的第一步。要让自动驾驶更安全可靠，很重要的一步是对周边物体的轨迹进行预测。

我们知道，有经验的司机在开车的时候，其实并不是时时刻刻紧盯着路面看的。新手司机可能会两眼紧盯着路面，双手死死抓住方向盘。但老司机开车的时候回头说几句话，拿个东西都不在话下。

这之间的差异，关键就在于老司机的脑子里建立了一套强大的预测系统。他对于其他车辆、行人的轨迹会有很好的预判，可以提前做出安排，譬如接近路口的时候根据行人的姿势，甚至一个眼神就知道自己是该加速通过，还是放慢速度让行人先走。

目前一些比较先进的自动驾驶系统都会引入对目标的预测。大部分在域控制器上或一台专门的GPU上实现。莫吉娜的雷达因为使用了比较强大的计算芯片，所以在传感器上也可以实现一些初级的预测功能。

这里简单介绍下莫吉娜的预测系统：首先会利用毫米波雷达、摄像头和高精地图来获取周边车辆和道路信息。

在这个过程中，摄像头、雷达、高精地图各司其职、各尽所长。摄像头的主要任务是做车道线识别、交通标志识别、目标检测和分类。雷达平时在目标检测/分类上起辅助作用，同时提供精准的目标距离、速度信息。在天气不好或光照不佳时则转为主力传感器。另外，使用高精地图来实现对车辆的相对定位，进而获取道路的背景信息，譬如当前有几个车道，各自的交通规制是怎样的，前方是否有出入口等等。甚至可以加入很多历史信息，譬如这条路以前的拥堵情况如何？是否经常发生事故等。

有了这些数据之后，我们就可以使用一种人工智能的算法，LTSM，也就是长短时记忆网络来进行处理。它的基本原理和人差不多，可以想象一下人会判断，比如前面有一个空档，所以右边这辆车就有可能并到前面来，最后会输出一个类似像这样的每个车接下来一段时间的行驶轨迹的概率分布。

Reference：

Multi-Modal Trajectory Prediction of Surrounding Vehicleswith Maneuver based LSTMs

Nachiket Deo, Mohan Manubhai Trivedi， Published in IEEE IntelligentVehicles Symposium (IV) 2018

预测的结果，可以直观的用热力图的方式展示，可以推测未来一段时间内周边车辆直行、变道、加速、减速的概率，从而对自己的车辆进行更好的控制。让它的表现更像一个人类老司机，而不是一惊一乍的新手司机。这个和传统的只是根据车辆之前的行驶速度是不一样的，因为原来的模型大部分只是统计这一辆车速度快不快，会不会撞到的事情，很少考虑到速度变化的可能性以及它会不会变道干扰行驶。引用了预测模型之后，它就可以提供很多新的数据。同样，还可以做行人运动轨迹的预测，这个在做低速，尤其是过马路的时候，有很大的帮助。没有经验的司机，过马路很犹豫，有经验的司机会根据预测，会更大胆一些。

在实践中行人运动轨迹进行预测，这里同样会结合摄像头和毫米波雷达的特性。在行人检测上，摄像头在斑马线识别、交通信号识别上具有不可替代的优势，另外在姿态分析上也有比较成熟的模型。毫米波雷达的强项则在测距、测速上，也可以更好的分割若干个不同的目标，这在一群人过马路时尤其重要。另外，毫米波的全天候能力在夜间、雨天也可以发挥非常重要的作用。

前面谈到的自动化测试、目标分类和预测，都离不开传感器的融合。不同的融合方式背后是不同的计算结构。目前在量产车上，用的最多的是分布式计算结构。这种结构下，摄像头、雷达各自对原始数据进行独立计算，再把处理后的结果汇总到域控制器上，或者直接给出控制建议。这样做，好处是传输的信号小，成本低。但这样的融合方式过于简单粗暴。当不同的传感器给出的结果不同时，往往不知道该听谁的好。

而在高级别的无人驾驶实验车上，大部分使用的是中心式计算结构，传感器直接把原始数据传到中央处理器。这样的方案，虽然准确、强大，但对车身网络的要求极高，对计算性能的要求也很高。这个成本是量产车暂时无法接受的。

第三种做法就是混合式计算结构，计算主要还是在各个传感器上独立完成，但在计算过程中会引入其他传感器的部分原始数据和计算结果作为参考。这样就可以在成本可控的情况下大幅度提高安全性。

目前莫吉娜也在做融合方面的优化。比如毫米波雷达会一段时间内把注意到的信息提供给视觉，然后用视觉去看，修改注意力扫描的包。反过来也是一样的，把视觉识别到的及没有识别到的信息，不是在预控器上处理，而是返回到毫米波雷达上。毫米波雷达对于这部分采取不同的处理方式，取得更加精准的数据。所以希望通过这样精准化路测，积累里程，为刚才讲到的特殊场景做支持。

最后简单介绍一下莫吉娜公司：2015年在美国硅谷创建，2017年4月成立上海总部，2018年5月设立南京研发分部。当前主要产品有77G中距前向雷达，77G短距侧向雷达等。

「相关阅读」

长城汽车自动驾驶开发的安全DNA

向超级中央计算机迈进 --智能汽车电子构架变革迎接数字化重塑

2019年自动驾驶产业链企业全景图（共300多家）

「佐思研究年报」

「佐思研究月报及周报」

联系人: 符兆国 18600021096 | 韩跃 15810133447

「无人驾驶、座舱电子及V2X相关培训」

联系人：张志超 18612704928（同微信）

「近期活动」

2019深圳国际未来汽车及技术展暨2019汽车新四化与汽车电子论坛

联系人：张女士 13716037793（同微信）