面向疫情防控的无人机关键技术综述

在实际的生产生活中，无人机搭载的视觉传感器拍摄图像往往因为成像技术、拍摄环境、物体间的相对运动以及相机本身的抖动等问题造成图像退化。噪声和模糊是最典型的图像退化现象，需要经过图像预处理才能投入使用。图像预处理是计算机视觉技术的基石，是基于一定假设条件下的信号重建，具体技术包括图像去噪和图像去模糊等。

（1）图像去噪：高斯噪声是去噪最常见的对象，其概率密度函数服从高斯分布。相比于词典学习和稀疏编码等传统方法，基于深度学习的方法在降低图像噪声方面具有明显的优势。

基于深度学习的去噪方法主要包括以下两种：去噪卷积神经网络(Denoising Convolutional Neural Network,DnCNN)是以卷积神经网络(Convolutional Neural Network,CNN)为基础的图像去噪方法的代表，采用残差学习和批量归一化训练一个端到端的CNN网络，是网络能够学习到加性高斯白噪声，模型包括卷积层(Convolutional Layer,Conv)、整流线性单元层(Rectified Linear Units,ReLU)和批量标准化层(Batch Normalization,BN)，并组合成三种层（如图1），可以通过单一模型处理多个低级任务；Guo等提出卷积盲去噪网络模型(Convolutional Blind Denoising Network,CBD Net)，包括一个噪声估计子网络和一个非盲去噪子网络（如图2），结合了噪声建模和非对称学习等特点，可以实现图像的盲去噪。盲去噪是指未知噪声水平的去噪，将噪声水平的估计值作为可调节的参数输入到网络结构中，可以改变网络结构的性能，提高鲁棒性和实用性。

（2）图像去模糊：无人机航拍时，无人机的机械振动、失焦、风力影响以及拍摄目标的快速移动等，都可能影响航拍图像效果，使得图像丢失细节信息而变得模糊，难以进行后续处理。由于无人机抗风能力较差，飞行姿态易受气流影响，因此无人机图像模糊主要是运动图像模糊。除了对硬件设备进行稳像处理以及搭建稳定拍摄控制系统等方法，主要的运动图像去模糊方法是对成像后的图像进行处理，通过对图像运动模糊去除算法的研究，达到图像复原的目的。

模糊图像可看作清晰图像和模糊核进行卷积的结果。根据模糊核是否已知，将去模糊方法分为非盲去模糊和盲去模糊。非盲去模糊中，模糊核已知，可直接通过反卷积的方法去除图像模糊；实际应用中，模糊核一般是未知的，使用的多是盲去模糊法，需要求解出模糊核，再利用反卷积的方法去除图像模糊，或将模糊核估计的过程和图像去模糊的过程交替进行，具体包括基于图像梯度分布的方法、基于图像L1范数和L2范数比值的方法等。然而，这些方法的数学模型和求解方法相对复杂，算法鲁棒性不强，很难处理不同数据集和不同因素造成的模糊。

基于深度学习的图像去模糊算法可以兼顾图像复原的效果以及网络模型的自适应性，在一般的任务场景中具有明显的优势。其中，基于CNN的盲去模糊方法，其基本思想是将模糊图像和对应的清晰图像作为训练样本，输入CNN进行训练，训练完成后得到优化后的网络模型，使用时将模糊图像作为网络输入，网络输出即为去模糊后的图像。在此基础上，Seungjun等人为解决实测清晰图像和模糊图像对难以获得，以及非均匀模糊图像局部模糊核难以确定的问题，提出了一种多尺度CNN方法，以端到端的方式恢复清晰的图像。

在生成对抗网络模型的基础上，Kupyn提出了DeblurGAN模型，这是一种基于感知损失和条件生成对抗网络的端到端模型，改善了视觉效果、峰值信噪比和结构相似性指标。但使用DeblurGAN进行单张图片的动态场景去模糊时，会出现棋盘效应和色块偏移等问题，Shao等对此设计了一种基于反向信道的判别先验器，以及代替DeblurGAN中原始生成器的自动编码器，这种方法被命名为DeblurGAN+，这是单张图片动态场景去模糊的最新技术。

目标检测是泛身份识别（如人群计数）领域的基础性的算法，是智能化疫情监控系统的核心部分。目标检测的任务是对目标位置进行定位，同时获得该目标的类别信息，方法可大致分为传统检测方法与基于深度学习的检测方法，2012年以前，目标检测主要利用梯度直方图、局部二值模式等基于特征的方法；2012年以后，基于深度学习的目标检测方法逐渐占据主导地位，并使目标检测算法实现了质的提升。根据技术路径，目标检测可分为单阶段检测算法与两阶段检测算法（如图3）。

两阶段检测多为基于分类的检测算法，此类方法的核心思想是将候选区域与CNN相结合，将目标检测问题通过分类进行解决。这类方法检测精度较高，检测速度较慢。单阶段检测多为基于回归的检测算法，相比于两阶段检测，单阶段检测降低了部分精度，但很好地提高了目标检测算法的实时性。单阶段算法将整张图片作为输入，使得目标框

及目标类别信息从给定图像的多个位置直接回归得出，同时进行分类和回归也使完整的单次训练得以实现特征共享，实现了端到端的检测过程。单阶段算法在保证精度的同时，明显提升了计算速度。

目标检测效果的评价指标通常为平均精度均值(mean Average Precision,mAP)。平均精度(Average Precision,AP）用于衡量检测器在每个类别上的检测性能，mAP是得到每个类别的平均精度值后再取所有类别的平均值，用于评价多目标的检测器性能。表1为几种目标检测算法在COCO数据集上的检测精度和速度对比。由表可得，YOLOv3系列算法兼顾了准确度和实时性，检测效果最好。

此外，疫情防控无人机多为低空或超低空无人机，搭载的视觉传感器为低空视角，需要针对具体的任务场景建立数据集。

在视频监视、交通监控和公共安全等领域，密度估算与人群计数有着广泛的应用，相关技术也可推广用于车辆计数等领域。新冠疫情防控期间，有关部门持续加大监控力度，出动了许多无人机在小区和村庄等地进行巡逻督查和防疫宣传。但是，单纯依靠人力监视管控依然存在局限性。如果能充分利用视频监控的密度估计和人群计数技术，一方面可以大量节省人力物力，另一方面也可以对一些紧急情况进行高效地分析、预防和处理。

影响人群计数的因素主要包括遮挡、密度差异、光照不均和视角变化等。传统的依赖人为设计特征的方法通常局限于人流密集程度较低和目标尺度变化较小的情况，难以进行实际应用。相对于传统方法，基于CNN的方法可以广泛应用于复杂的场景，如不同密集程度，目标尺度变化，视角透视，目标遮挡的场景。

单张图像的人群计数问题目前主要有两种解决途径：一是根据输入的图像，经由某一特定算法，直接得到预估的整张图像中包含的人数；二是先由输入的图像生成对应的密度图，再将密度图的各像素值累加并得到总人数。基于密度图的人群计数方法不仅可以获取总人数，从密度图中还能直观地得到人群分布信息，这对于许多应用场景都有极大的意义，也适用于疫情监控。基于密度图的人群计数算法流程（如图4）为：输入的图像经过CNN网络计算，得到对应的密度图像，通过密度图像可以清晰地看出人群分布特征、密集和稀疏的区域等信息，并将像素值累加得到总人数。

对于基于密度图的人群计数方法，多尺度特征表达和高分辨率密度图构建是两个关键问题。Zhang等提出了一种多列结构的CNN模型MCNN，通过使用多个卷积核大小不同的网络来捕捉不同尺度的目标特征信息，以增强模型的稳定性，适应人群的尺度变化。Sindagi等提出了CP-CNN模型,通过在模型中引入局部和全局的上下文信息来抑制背景响应,减小了估计误差。Sam等考虑到图像中不同区域的差异性提出了Switching-CNN模型,在多个独立的回归模型中为每块区域选择一个最优模型进行密度估计。Liu等提出了一个仅需要点监督的新深度检测网络PSSDN，可以同时检测人体头部的大小和位置并计数，且不需要复杂的边界框注释。在这些工作基础上，Sam等提出了LSC-CNN模型，采用多列体系结构，具有自上而下的反馈处理功能，能可靠地检测稀疏人群以及密集人群中人体头部以执行人群计数任务，并在多种分辨率下均可生成精确的预测，解决了多尺度人群检测和高分辨率密度图构建的问题，是目前密度估计与人群计数的最新方法。

无人机视觉导航系统有两种构成方式，一种是将计算单元安放于地面，另一种是将图像处理算法计算单元安装在飞行器上。对于第一种方式，无人机上需要安装远距离无线高速图像传输装置，并且存在时延和信号干扰问题，存在一定技术障碍。对于第二种方式，可将英伟达Jetson TX1和Jetson Nano等板载计算机（如图6）作为图像处理算法计算单元，直接与图像采集设备进行硬件线路的连接，这种方法几乎没有延时，可以通过优化算法等方式满足实时性要求。

视觉导航系统一般包括远程计算机、导航模块、控制模块及动力模块（如图7）。视觉导航系统在工作时，由图像采集模块中的各类视觉传感器采集目标区域或目标物体表面的特征图像数据，传输给板载计算机，由板载计算机进行计算机视觉与导航信息提取算法处理，融合IMU惯性导航信息和GPS信息等，向飞行控制单元输出控制指令。

视觉导航可分为无地图导航和地图型导航，无地图导航主要使用视觉里程计，是基于序列图像的运动估计的导航，可通过对环境的感知获取特征，利用相邻两帧间的特征变化关系估计帧间的相对运动，通过多帧累积计算实现对飞行器的导航，可以应用于非固定的疫情防控任务场景。地图型导航主要为景象匹配导航，需要预先存储包含精确地理信息的导航地图，利用一帧实拍图像与导航地图匹配即可实现飞行器的绝对定位，可以应用于固定的疫情防控任务场景。

（1）里程计是感知载体运动状态变化的一类传感器，视觉里程计通过分析处理相关图像序列确定载体的位置和姿态，使用视觉传感器，如光学相机、深度相机等，通过相机运动过程中捕获的在时间上连续的图像流进行相机位姿递推估计。使用一个相机的里程计被称为单目视觉里程计，使用两个或以上相机的里程计被称为立体视觉里程计。在视觉里程计技术的基础上，同步定位与地图构建(Simultaneous Localization and Mapping, SLAM)快速发展，也成为一种重要的室内视觉导航方法。

视觉里程计的工作方法可以分为特征点法和直接法。特征点法通过提取序列图像中的特征点，计算其描述子，进行相邻图像帧的特征点匹配，最终解算出相机的位置和姿态变化。特征点法运算稳定，但计算量大，适用于光照适宜和纹理丰富的场景。由于需要保证序列图像中相邻图像帧的内容有足够的重叠区域，无人机需要相对平稳地飞行。经典的特征点检测与描述子计算方法包括SIFT、SURF以及ORB等；特征点匹配方法包括暴力匹配法以及快速近似最近邻法；相机位姿估计法包括对极几何（单目相机）、PnP（含3D点且位于相机的投影位置）和ICP（双目、RDB-G相机）等，著名开源项目包括PTAM和ORB-SLAM2等。

直接法以光度不变性假设为基础，以光流法或者计算光度误差的方式，直接进行像素跟踪。相较于特征点法，直接法无需提取特征点与计算描述子，所以处理速度优于特征点法，结果更加鲁棒。直接法包括稀疏直接法、稠密直接法和半稠密直接法，著名开源项目包括SVO以及LSD-SLAM等。

（2）景象匹配导航采用视觉传感器获取飞行或目标附近的区域图像，与存贮的基准图像进行匹配以获取飞行器的位置数据。无人机景象匹配视觉导航的算法流程包括适配区选取、图像匹配与导航定位。

适配区选取时需要考虑的图像特征包括信息量、稳定性、显著性等，选取方法可分为两种，一种是将选定区域进行适配性检验比较从而得出适配区，这种方法比较简单也比较常用,但是因为备选适配区是随机选定的,适配区的位置有可能并不是全图最优；另一种是直接对所有像素点进行适配性计算，先确定适配最佳点，再将以此为中心的区域作为适配区，这种方法计算量大,一般可以找到全图最优适配区。

图像匹配方法一般可分为两类，即基于灰度区域的图像匹配方法和基于特征的图像匹配方法。基于灰度区域的匹配方法首先提取图像的灰度信息，再对灰度信息进行相似性度量匹配，这样的方法易受环境干扰，匹配结果稳定性差，在真实环境中可用性差，目前在飞行器导航中采用的基于灰度区域的匹配算法有平均绝对差算法等；基于特征的图像匹配通过提取待匹配图像的特征点并比较相似度来匹配图像，包括基于SURF特征的鲁棒景象匹配算法、基于SIFT特征实现的雷达景象匹配方法以及加权Hausdorff距离图像匹配算法等。

导航定位的实质是将实时的地物景象图与预先存储的地物景象数字基准图进行匹配比较，从而获得位置信息，可实现飞行器导航的绝对定位。其中，地物景像实测图像是通过高分辨率视觉传感器实时拍摄的，标注真实地理信息的地物景象数字基准图则需要预先存储于机载计算机中。这种方法可以精确地计算出飞行器位置以修正航向误差, 同时可借助获得的位置信息来消除惯导系统长时间工作的累积误差。

能源管理技术是混合动力系统的研究热点和难点，是混合电动无人机的核心技术，直接决定了无人机燃料的经济性、可靠性和健康工作条件。能源管理是在满足无人机需求功率的前提下，实现对动力源功率优化分配，使整体性能最佳。该技术在混合动力汽车领域发展较快，但在混合动力无人机领域发展相对较慢，目前应用于无人机的能源管理策略主要为基于规则的控制策略。近期，也有学者开始探索基于实时优化的控制策略，如模型预测控制策略。

基于规则的能源管理策略因其简单可靠等特点，成为目前应用最广泛的控制策略，主要包括状态机控制策略和模糊逻辑控制策略。状态机控制策略主要根据无人机需求功率和系统的状态输入，确定各动力源的输出功率，使动力系统长期处于高效工作区，同时保证各动力源健康工作。模糊控制策略的基本原理是模仿人脑的不确定性判断、推理思维方式，对于一些模型未知的黑箱系统或者较高不确定性和大滞后的非线性系统，应用模糊控制策略可以解决常规方法难以解决的规则型模糊信息问题。基于规则的能源管理策略算法设计简单，便于实时控制，受外界干扰小，但缺点是规则设计依赖设计者的工程经验，很难获得最优控制效果。因此，基于优化的控制策略开始应用于混合动力无人机，如模型预测控制器策略，其基于滚动优化机制，将最优控制问题转化为有限时域内的非线性约束优化问题，以燃料经济性为目标，探索高效次优能源管理方法。随着高性能、小型计算单元的模块化，基于人工智能的能源管理方法，如深度强化学习方法，也将是未来的研究热点和发展趋势。此外，目前的能源管理多局限于能源与动力系统本身，对飞行运动考虑较少，而能源系统与飞行运动具有强耦合的特点，从飞机整体层面考虑能量的综合优化控制也将是混合电动无人机的发展重点。

新冠疫情防控期间，无人机携带喊话器直接参与了防疫督导和消息广播的抗疫工作，在提高工作人员执勤效率的同时，避免了疫情的传播。图8为张掖甘州滨河新区某小区无人机携带喊话器进行防疫宣传。无人机携带的喊话器主要分为有线式（手持式）喊话器和无线式喊话器，其中无线式喊话器由地面手持端和机载喊话喇叭组成，工作人员可结合监控视频，利用地面手持端进行实时喊话；工作人员也可将疫情防控话语录制在有线式喊话器中反复播放，再将喊话器悬挂于无人机上，大范围传播防疫宣传内容。表4给出了当前适用于无人机的有线式与无线式喊话器的指标参数。

在新冠疫情爆发之前，红外测温无人机曾应用于国家电网的电力巡检。此次疫情激活了体温测量的需求，也使红外测温无人机得以应用。红外测温技术是一项比较先进的非接触式体温测量技术，可通过红外探测器采集待测人体的红外辐射能量分析得出温度结果。无人机搭载红外测温仪，可以为执勤人员对管控区域的居民进行非接触式体温监测，避免交叉感染。图9为南京市浦口区汤泉街道某小区，利用无人机实现无接触测量体温。

红外测温仪按照测量方式的不同分为红外耳温计、红外额温计和红外热像仪，由于红外耳温计和红外额温计的工作距离在10cm以内，无人机上只适合搭载红外热像仪进行体温测量。表5中给出了国内外先进的红外热像仪的性能参数。