遥感大数据智能解译的地理学认知模型与方法

引言

当前，遥感数据和计算机算力呈爆炸式增长、智能算法研发突飞猛进，加之我国国产卫星蓬勃发展、各行业应用需求不断提升，亟须提升与之相匹配的遥感大数据处理与分析能力。但是，目前在国土资源调查大规模应用实践中，绝大部分信息提取工作仍采用人机交互方式完成^[1]，自动化分析能力的缺失正成为卫星遥感深化行业应用的“卡脖子”问题。分析其原因，主要体现在以下3个方面：①自然场景所涉及的复杂地表要素及其组合的遥感认知不够。自然场景是由地理多要素组合的复杂系统，具有地形多样、气象复杂、地表细碎等特征，存在地学时空分异规律^[2]，而遥感多尺度像元表征并没有有效利用这些知识，目前依然处于割裂状态。②遥感信息、智能算法、专家知识等深层次学科交叉不够。智能算法大都来自机器学习与信息领域，针对遥感图像处理应用改造不够；此外，用作地理制图的专家知识未能融入遥感信息提取中。③遥感智能解译大规模数据、模型、计算资源等开放度不够。虽然遥感数据、模型、计算资源等发展迅速，但缺乏统一的开放机制，阻碍了资源共享与技术革新，需要构建开放式遥感智能解译平台，通过统一集成，形成面向科研院所、高校、企业、行业等领域的共享生态环境。

针对复杂场景下遥感大数据智能处理与地理学认知的应用瓶颈问题，迫切需要开展复杂自然场景地学认知机理、多模态遥感数据协同、地表要素高精度解译、分布式开放服务框架构建等方面的技术攻关，建立大规模多模态样本及地学分区数据集，构建通用遥感智能处理系统和面向行业的遥感智能精准应用平台，以推动遥感智能解译技术创新发展及其工程化应用。

1 遥感大数据与地理学认知

遥感技术是通过非接触的方式对目标的电磁波信息进行成像数据收集和分析。近年来，随着遥感技术的飞速发展，遥感图像空间分辨率、光谱分辨率和时间分辨率不断提高，数据类型不断丰富，数据量呈爆发式增长，遥感信息技术正进入大数据时代。遥感大数据具有典型的4V特征：数据量大但信息密度小(volume-value)、类型繁多(variety)、动态多变(velocity)、冗余模糊(veracity)^[3-4]。大量的卫星环绕地球可以源源不断地获取遥感数据，使得遥感数据量不断地增加，但从海量多(超)谱段遥感图像中提取的信息量(分类图、目标探测结果等)却是高度压缩的，因此遥感数据呈现数据量大信息密度小的特点；遥感观测的传感器种类包括全色、多光谱、高光谱、红外、合成孔径雷达、激光雷达等，使得数据类型多样化、格式多样化和数据处理方式多样化；遥感数据的获取近乎实时且在不同时间获取的遥感数据特征存在不同；在获取遥感数据过程中，由于传感器内部自身特性和外部环境干扰等因素影响，使得获取的数据存在不一致、不完整、模糊等不确定性。同时，遥感大数据还具备独有的特点：多角度、多谱段、多平台、多尺度、多时相^[5-6]。传感器可从两个或两个以上的方向对同一对象进行观测，以获取观测对象的真实反射或辐射特性；可获取观测对象对多个光谱谱段的不同反射或辐射电磁波信息，以增加观测对象的光谱信息；同类传感器于不同遥感观测平台(如卫星、无人机等)采集得到的遥感数据具备不同的空间分辨率，可反映出观测地物从宏观到细节的多层次特征；多类传感器于同一遥感观测平台可获取不同类型的遥感数据(如多全色、光谱、高光谱等)，因成像机理不同、运行周期不同，可反映出观测地物的多尺度特征；遥感卫星可按照固定运行周期全天候、全天时对地球进行连续观测，以提供多种时间分辨率的多时相遥感数据。

地理学是研究由自然环境、经济环境和社会文化环境相互重叠、相互联系所构成的人类赖以生存的地球表层的科学。尽管地球表层是一个十分复杂的巨系统，但从地理学视角看，仍然存在一般的结构特性：垂直维度的圈层性、水平维度的地域分异性、时间维度的演化性，具有多要素作用下“多尺度时空分异性”。在综合自然地理学中，使用土地分类和自然区划对地球表层要素多尺度时空分异性进行综合认知和表达。土地(land)是一个综合性的概念，包括地球特定地域表面及其以上和以下的大气、土壤、基础地质、水文和植物，还涵盖这一地域范围内过去和目前人类活动的种种结果^[2]。土地分类是对土地单元内的地理要素进行相似性概括和类型划分。通过对土地类型的划分，不仅能够正确认知土地现状，指出改造与利用的方向及途径，还有助于扩大自然地理学的研究领域，发展地理学的理论体系。区划，即区域划分，根据不同的区划对象分为行政区划、经济区划和自然区划等。自然区划是以地域分异规律为指导，根据区域发展的统一性、区域空间的完整性和区域综合自然特征的一致性，逐级划分或合并自然地域单位，并按这些地域单位的从属关系建立一定形式的地域等级系统的研究方法^[7]。尽管土地分类与自然区划在实现方法、应用层次、划分尺度上不同，但二者均是对土地的综合性认知和地域划分，这种划分均强调地域内部的地理要素和综合体的相似性，并同时强调地域之间的地理要素和综合体的差异性。

遥感影像专家解译的最后成果是划分出地理对象的边界和为地理对象赋予“类别”的属性，这涉及解译专家对客观地理世界中的地理实体进行“分类”的知识。长期以来基于地学知识的遥感计算分析基本采用简单的知识约束策略或刚性的规则判别处理，缺乏系统性地学思维。地学思维方式是充分利用地学领域的已有知识及相关数据，尽可能模拟地学专家解译时的思维方式^[8]。但地学思维一直以来缺乏技术和丰富信息产品的支撑，导致以下不足：①已有的地学数据和知识空间表达精度较低，缺乏质量评价和校准技术手段；②对地学知识处理与融入机制的考虑相对简单，多是浅表性、零散性的细节处理；③缺乏丰富的时空分析手段和空间信息，难以将对事物特性的既往认识和当前提取的信息有机连接起来^[9]。

地理场景是一定时空范围内的各种自然要素、人文要素相互关联、相互作用所构成的具有特定结构和功能的地域综合体^[10]。遥感大数据时代的到来为地理场景的定量表达和分析带来新的发展和新的可能，配合空间相关性^[11]、空间异质性^[12]、对象-环境相关性^[13]研究的深化，将推动从全局多要素综合的地理环境到精细地理对象/目标不同尺度层级的综合认知。宏观层面的地理分区是综合地理环境(场景)的异质划分，其本身可多尺度逐级划分；微观层面则以点位空间距离、生态景观、人类开发格局(如道路)等为主导划分。宏观微观相结合的地理认知模型指导自上而下的多尺度分区分层划分，以多层级空间分布图形式表达，将在一定程度上克服语义知识对于地理实体空间关系和空间范围界定的困难。

概括来讲，人工智能与地学认知的有效结合主要分为两种趋势：一种趋势是在相对简单框架下以数据驱动机器学习为主体。现代人工智能系统在很大程度上并不需要对这个世界的运作原理建立假设和结构化概念，倾向于最小化人工智能算法的结构，以保留算法的简单性，追求尽量减少认知机制的成分，强调利用可以获得的样本数据完成学习^[14]，分区就是帮助将复杂的研究区域划分为多个内部相对均质、外部相对异质的区域单元。另一种趋势是充分利用地学知识，强调在对地理环境和实体对象认知的基础上，设计相应的模型和算法。这种思路认为人工智能系统不应该只是基于输入信息的基本单元(如像素矩阵)进行处理，而是应该加入更加丰富的结构化元素和表征，以及对应的算法，从而更好地理解外部世界。

针对地表复杂场景问题，更加需要宏观地理分区解构和微观视觉认知相结合，发展复杂性度量指标作为调控，形成多尺度自适应分区分层方案。地理分区首先是全局的分区划分，而逐层级继续划分就转换为局部划分的问题，如有计算度量指标帮助确定按需分到哪个层级最合适，则是自适应分区问题，保证全局和局部的最优。遥感大数据的优势就是可将全局描述、多粒度表达转化为局域细节特征描述，将全局多个尺度层面转变为局域自适应尺度的探测。

2 多模态知识融合关联的深度网络构建

2.1 多模态遥感数据融合

自20世纪60年代卫星遥感技术诞生以来，我国已经发射200余颗地球观测卫星，为人类认知地表复杂场景提供了多元化的观测数据。单一模态的遥感数据无法获取复杂场景完整且全面的信息，因此限制了其后续各种地学应用的精度。多模态遥感数据融合可以突破单一模态数据的限制，通过融合多角度、多谱段、多平台、多尺度、多时相等特性，消除数据间的冗余，达到互补信息的有效结合和利用^[15]，从而更好地服务后续应用需求。

多模态通常可以被广义定义为使用不同的信息或属性(例如来源于不同的内容、不同的传感器、不同的分辨率等)描述相同的物体或场景。多模态遥感数据融合分为3个层级：数据级、特征级和决策级^[16]。数据级融合往往针对同质遥感数据，如通过光学手段获取的全色、多光谱和高光谱图像。该类技术主要是为了解决传感器时间分辨率、空间分辨率和光谱分辨率之间的矛盾，例如，解决空间分辨率和光谱分辨率矛盾的空-谱融合技术(包括全色-多光谱、全色-高光谱以及多光谱-高光谱融合技术)，解决时间分辨率和空间分辨率矛盾的时-空融合技术。空-谱融合技术主要分为3大类：基于细节注入的方法、基于模型优化的方法以及基于深度学习的方法。基于细节注入的方法重点在于提取高空间分辨率图像的细节信息，从而注入低空间分辨率图像以实现空间分辨率增强。基于模型优化的方法则是对退化模型施加待求图像的先验信息，通过数学优化的方式求解。深度学习技术则是通过组合低层特征形成更加抽象的高层来表示属性类别或特征，因其在遥感大数据上表现出来的强大特征提取和学习能力，被广泛应用于多模态遥感数据融合问题中。深度学习方法又可以细分为监督学习与非监督学习。前者通过大量训练数据来学习复杂的非线性映射关系以此来达到新数据融合的目的^[17]，但该类方法对庞大数据的依赖极大地限制了其在实际应用的潜力，因此近年来非监督方法获得了更多关注。后者旨在将传统模型引入深度领域，且只需要一对高光谱-多光谱图像对即可实现空-谱融合重建，例如编码-解码方式^[18-19]及生成-约束方式^[20]。除空-谱融合外，时-空融合也受到遥感领域的密切关注，其中混合像元分解、稀疏表示及时空滤波是该方向发展出来的经典模型^[21]。然而，上述传统方法在面对复杂场景时，因其薄弱的非线性建模能力，往往表现出不理想的重建效果。因此，深度学习模型也被广泛应用于该领域，例如卷积神经网络^[22]，以及生成对抗网络^[23]。

特征级和决策级融合更适合异质遥感数据融合，融合结果往往能直接服务于具体的应用需求，例如光学-雷达数据融合。其中，全色/多光谱/高光谱数据与合成孔径雷达图像融合被应用到土地覆盖分类等应用问题中^[24]；多光谱/高光谱与激光雷达图像的融合能够综合利用LiDAR的三维信息和光学图像的光谱信息，因此可以提升遥感图像地物分类的精度^[25]。此外，遥感数据与众包地理信息数据融合也是多模态遥感数据融合考虑的方向^[26]，例如利用兴趣点数据及街景数据来辅助遥感数据进行城市功能区划分^[27-28]。但由于数据间的强异质性，信息的有效提取及融合将是探究的重点。

面对多源多模态遥感数据所呈现出的信息互补、冗余、异构等特点以及单一模态在复杂场景下表现出的稳健性低、识别精度低等突出问题，亟须研究多模态多源遥感图像的智能融合方法(图 1)，从而有效利用复杂场景下多模态数据的多样性，更好地服务相应的需求。

图 1  多模态遥感数据融合概念 Fig. 1  A conceptual figure of multimodal remotely sensed data fusion

图选项

2.2 自适应地学分区分层数据集构建

复杂性是地球系统科学的基本特征，也是影响遥感智能解译效果的重要原因。复杂性主要体现为地形地貌多样、要素分布各向异性、地物结构破碎、类型混杂交错、人工活动密集且场景多用途多变等，可以概括为自然、人文、生态要素相互作用造成了土地覆被/利用的时空分异，并有很强的尺度依赖性。这种分异在遥感解译过程中可能由于“同物异谱”或“异物同谱”的现象被弱化，从而造成解译精度无法满足要求。成功的遥感解译需要对研究区域内的光谱梯度进行有效划分，选取适当的地理边界对遥感影像进行分割，强化分割单元区域内地物的同质性，进而提升遥感解译精度。地理要素的4个基本特征包括：空间位置特征、属性特征、空间关系特征和时间特征。当面向遥感智能解译时，地理要素不仅具有时、空特征，还增加了谱特征。复杂性度量通过定量化的指标进一步揭示区域内地理要素在时、空、谱特征中的复杂变化，是识别区域内部同质性和区域外部异质性的重要依据。

针对当前复杂场景下遥感智能解译缺乏地学知识及其相关理论指导的问题，引入地学分区的思想，基于场景的复杂性度量，对复杂场景解译进行相关理论研究。拟基于多源数据，构建一套面向遥感智能解译的地理分区方案，系统地将地理分区及其包含的地学知识应用于遥感智能解译过程中。主要关键问题包括：基于空间分异统计理论实现场景复杂性度量、基于复杂性度量的单要素和多要素地学分区、基于地学分区的复杂场景多尺度分类体系构建和面向遥感智能解译的地学分区数据集的构建与验证。总体路线如图 2所示，研究内容主要包括以下几个方面。

图 2  面向遥感智能解译的复杂场景地学分区研究总体流程 Fig. 2  Flowchart of geoscience zoning of complex scenes for remote sensing intelligent interpretation

图选项

(1) 基于空间分异统计理论的场景复杂性度量。复杂场景下类型混杂交错、地物高时空分异等均会导致解译困难。空间统计建模仅考虑邻近点空间分布，缺乏面向遥感场景的复杂性度量指标。在地表复杂性及空间分异统计理论基础上，提出地表复杂性度量指标体系，建模邻近信息对复杂性的重要影响，建立像素-图斑-区域的多层级复杂性度量系统方法，设计复杂性卷积算子提取精细复杂度特征。

(2) 基于复杂性度量指标的地学分区。针对当前遥感智能解译缺乏地学知识系统融入的问题，在场景复杂性度量的基础上，综合利用地理要素基础数据和已有分区数据及文献资料，基于莫兰指数、轮廓系数等指标和特征分割与聚类等方法，将复杂场景划分为多个内部相对均质的区域，实现基于复杂性度量指标的地学分区。

(3) 面向地学分区的多尺度分类体系构建。针对如何实现智能解译需求和地学分区数据尺度相匹配的问题，基于定量化指标对分区单元的同质性和异质性进行评估和尺度优选，构建复杂场景多尺度分类体系，并依据区域特征统一进行归类和命名，为后续地学分区数据集的规范建立和智能解译框架的分类施策奠定基础。

(4) 面向遥感智能解译的地学分区数据集构建及验证。基于复杂性度量的分区方法，构建具有多尺度分类体系的地学分区数据集，为后续的解译试验提供统一的数据基础，并通过分区前后精度评估或数据一致性评价等实现地学分区数据的验证。

2.3 深度学习网络构建

随着当前人工智能理论和方法的不断创新，基于深度学习的网络构建也趋于多样化发展。针对复杂场景下遥感数据的低信噪比、多源异构等特性，构建适合于智能化遥感图像处理与应用的多模态深度学习框架已成为一个亟待完善且富有挑战的研究方向^[29]。目前大多数方法还停留在不同模态特征的简单堆叠阶段，如特征堆栈、子空间学习等，不能满足多模态数据智能化融合与挖掘需求。为此，本文总结整理一些前沿的多模态深度学习网络框架及变种，重点关注其融合策略，分析这些方法各自在多模态遥感数据处理和分析方面的优势和不足，归纳总结出遗留的挑战和问题，并指出未来潜在的研究重点。

根据是否使用标记样本，多模态深度学习网络框架可粗略分成无监督网络与有监督网络。多模态无监督深度网络的核心思想是通过使用不同的自编码网络分别提取不同模态遥感数据的特征表示，进一步在中间隐含层进行融合，例如加性融合、级联融合等，最后融合特征期望能够同时重构出原始的不同输入模态数据^[30]。如此方式可以实现不同模态数据在隐含层较为有效的融合。文献[30]在此基础上，给出了几种不同的无监督网络结构，主要的不同在于网络输入和输出模态的数量及是否进行网络预训练。其中，深度编码-解码的网络结构在多模态遥感图像处理中应用广泛^[31]，可以实现无监督的高维特征提取。为了充分融合多模态遥感数据提供的空间几何信息，采用注意力机制模块能够显著增强不同模态数据的特征信息，以帮助深度学习网络更好地进行特征融合^[32]。文献[20]研究了不同网络的交叉模态表示性能，验证了网络框架在交叉模态情况下的可行性。此外，由于当前生成对抗网络(GAN)优越的特征表示和学习能力^[33]，尤其是稳健性上，GAN也被考虑作为一个深度学习的基准网络结构应用于多模态遥感数据的分类和识别任务中，利用其对数据分布有效的捕捉能力，从统计学的角度对多模态数据进行更有效、更充分的信息融合和学习^[34]。目前，一些基于GAN网络框架的尝试性工作已经被提出并应用于多模态遥感图像智能处理与解译工作^[35-36]，这为后续广泛的应用提供了较好的技术参考与可行性保障。

不同于无监督的深度网络构造，文献[20]首次提出了应用于遥感图像分类的多模态深度学习网络框架，突破了单模态性能瓶颈，为多模态智能解译提供了新的视角，如图 3所示。其框架能够处理不同的数据输入形式，包含了两种不同的网络结构：像元级别和图斑级别。与此同时，多模态融合对于深度学习网络的性能提升具有重大意义。相比于传统基于单模态的深度网络框架，多模态融合旨在整合不同单模态特征，并将其抽取成一个稳定的多模态特征，为深度学习网络赋予了更完备的特征信息。在融合策略上，考虑到多模态特征融合位置的重要性，介绍了3种常见的融合策略：早期融合、中期融合、决策融合。早期融合主要发生在数据输入端，通过联合处理不同模态的遥感数据源来发挥数据原始信息的价值。中期融合将每个模态所提取到的特征联合起来，使得深度学习网络学习到不同的特征表示，但是其难点在于需要考虑合适的特征融合时机。决策融合充分结合多模态网络结构的决策输出，可以针对具体决策目标实现灵活的判别功能。考虑到不同模态数据异质性所带来的融合不充分问题，设计了跨模态交叉融合新思路，将多模态数据分别投影到一个可度量的潜在共享空间，缩减了模态数据间的语义鸿沟，更充分地融合了不同数据的物理属性，有效地提升了特征的判别性，大大提高了地学分类应用的性能。文献[37]利用交叉通道重构模块来交换多模态遥感数据信息，并成功应用于遥感图像分类领域。相比于传统基于级联和基于对齐的融合方法，这种交叉融合方法能够更加准确地提取多模态特征。

图 3 多模态深度学习网络框架 Fig. 3 A network architecture of multimodal deep learning

图选项

随着深度学习技术的广泛推广，大量遥感影像解译任务都得到了极大的发展。其中，以联合知识图谱和深度学习为代表的新一代遥感影像解译模型逐渐成为遥感大数据智能处理的研究重点，从可解释性、泛化能力等方面推动了遥感影像的智能化解译发展^[38]。该类方法将深度学习与知识图谱有机耦合在一个闭环的回路中，利用知识图谱语义推理出的高层次专家语义知识来引导基于深度学习方法的解译纠错。遥感知识图谱的引入能够有效辅助深度学习模型的训练，并且已经成功应用于遥感影像场景分类、语义分割、场景图生成等领域。虽然目前知识图谱与深度学习的耦合理论方法尚处在萌芽阶段，但是未来探究针对多模态遥感数据的智能解译模型仍是具有非常大的潜力。

同时利用有监督和无监督信息的半监督网络框架也将是未来的一个研究重点，这不仅可以更充分地利用标记信息，也能最大程度上利用大量的无标记样本，进而更好地提升模型的表示能力。目前，基于半监督学习的多模态遥感处理方法仍在探索阶段，现有研究在两种模态数据中取得了很大的性能提升^[39]。除此之外，当前多模态预训练模型也受到广泛的关注，利用自监督学习策略^[40-41]，通过构建自学习的深度学习网络框架将是迈向智能化地理认知的一条有效途径，也是实现遥感大数据智能解译有效服务于各种地学应用的一套可行解决方案。

3 面向地理制图的遥感智能解译

地理制图是利用地图学方法对地理现象和实体进行分析和制图的过程，其主要任务在于把抽象的科学概念转为直观形象的视觉思维模型，并正确展现地理环境及各要素间的关系^[42]。面向地理制图的遥感智能解译是利用人工智能技术将图像形态遥感网格数据中的地理对象进行提取和制图表达的过程，其成果是图斑形态矢量数据，并满足严格的GIS矢量数据规范，如拓扑表达规则、最小上图规则等，可直接服务行业应用。受遥感智能解译算法模型能力限制，当前的智能解译结果类型一般包括两类：一是像元级，该类成果不能表达地理实体和要素层级内容；二是图斑级，该类成果达不到制图要求，无法直接服务行业应用。

遥感解译需求伴随着整个遥感学科的发展，走过了从纯人工目视解译的1.0时代，到人机交互解译的2.0时代。在人工智能领域取得突破进展的当下，遥感解译也必将走进智能解译的3.0时代。推进面向地理制图的遥感智能解译，既能引领遥感解译研究走向智能时代，也可以系统性提升解译成果支撑行业应用的能力。

3.1 地理制图的特点

地理制图在将地理空间数据按用途依据严格的地图表达规则实现符号化的过程中，有3大关键点：①地理空间数据——矢量数据是地理制图的基础，其通过点、线、面要素来表示地球表面实体对象的位置、形态、大小分布等信息，通过拓扑信息描述实体间的空间相连、相邻及包含等位置关系^[43]。②地图表达规则实际上是不同地图比例尺转换过程的制图综合。地图比例尺——图上距离与实地距离之比，一般用1∶M表示。因为人的视觉存在生理的分辨极限，即人的视觉分辨率(0.1~0.2 mm)^[44-46]，地理制图时需要根据图幅大小，通过比例尺限定地图对地物表达的精细程度。在我国有从1∶1 000 000至1∶500的11种基本地形图比例尺，可用来表达世界、国家、地区、城市或更小地理单位的地理要素(现象)。③符号系统是一组地理实体的美观标准化示意，如用什么符号、什么颜色表示不同形状、等级、功能的地理实体。不同行业和应用场景有不同的符号化需求，就地理制图而言可不考虑。因此，本文面向地理制图的遥感智能解译主要指：根据不同比例尺制图需求从相应遥感影像数据智能提取地理实体边界准确、拓扑关系正确的矢量数据，并自适应完成制图综合的过程，不涉及符号化环节。

3.2 基于遥感数据的传统地理制图面临的问题

当前，基于遥感数据实现业务级地理制图主要面临3个方面的问题：①普遍依赖人机交互目视解译，而人机交互解译以作业人员的判读经验和专业知识为基础，解译结果往往因人而异^[47]且耗费大量人力、物力和时间成本^[48-49]。②现有自动提取模型难以准确表征对象。尽管系列研究表明经典的机器学习模型(如random forest, support vector machine等)通过训练也可实现土地覆盖分类^[50-52]，但结果往往处于像元级，椒盐效应严重，不满足业务应用的图斑级需求。以深度学习为代表的人工智能算法，通过语义分割任务模式可获得图斑级土地覆盖结果^[53-54]，但图斑边界的准确度达不到制图要求且存在图斑接边问题。为获得满意的图斑级结果，一直有研究从面向对象角度切入，通过影像分割的方式获取图斑边界，尤其是eCognition软件提供的分型网络演化方法(fractal net evolution approach, FNEA)优于其他多尺度分割算法，但这类算法每一类只能选一个尺度，忽略周围环境和内部异质性影响^[55]，也比较容易出现过分割或欠分割现象^[56]，不能满足地图生产的要求。为此，往往还需要通过增加后处理环节获得优化的图斑结果，但就当前而言，后处理仍主要依赖于人工修正，智能化依旧很困难。因此，获取精准地块数据依旧是图斑级解译的关键与难点。③分类结果的应用针对性不强。业务管理的土地利用通常具有完备的分类体系，划分为一级、二级，甚至三级、四级。受限于解译样本的获取难度，目前土地覆盖分类研究的分类体系大多集中在土地利用分类的一级类层级，分类粒度不满足行业应用需要。再有，研究者往往聚焦在某一类遥感数据(如10~30 m的Landsat和Sentinel-2数据，或者1000 m的MODIS数据)，从其可解译性设计分类体系^[51, 57-58]，不适应行业多层次、多目标、多粒度的实际需求。

3.3 复杂地表要素精细尺度智能解译模型与方法

遥感解译进入3.0的智能时代，需突破遥感智能解译对多模态数据和知识的综合利用，以适应行业应用的复杂场景和精细尺度需求，实现专业级的地理制图的目标(图 4)。

图 4 面向地理制图的遥感智能解译框架 Fig. 4 Remote sensing intelligent interpretation framework for geographic cartography

图选项

(1) 面向业务的智能解译分类体系构建。兼顾行业分类体系，综合考虑多模态数据的信息互补性与智能模型的自动解译能力，以及行业制图成果标准，构建以土地利用为主，制图比例尺、地理现象表达详略同遥感空间分辨率联动的复杂地表要素遥感智能解译分类系统，将通用分类系统与应用场景结合，实现技术功能弹性和自适应的智能化目标。

(2) 顾及图斑边界优化的遥感智能解译。结合行业调查数据(如“三调”数据)和模型识别结果，通过交叉感知引导修正图斑边缘及相邻接边，解决图斑边界光滑、精准吻合等制图问题，探索用深度学习方法提升图斑边界提取的准确率，实现智能解译图斑边界的自动优化，突破由图像形态遥感数据(端)到专业级矢量图斑GIS数据(端)的生产瓶颈。

(3) 行业专用智能解译模型构建。针对遥感影像幅宽大、地类多样、尺度变化大、频道多样的特点，实施遥感专用的网络模型架构合理化设计，以满足不同应用场景下模型的快速扩展和重构；此外，将行业知识融入“数据-模型”，探索将第三方知识融入深度学习模型训练和识别的方法，构建“数据+知识—模型”遥感智能解译体系。

4 遥感智能处理系统构建与规模化应用

在复杂场景遥感智能处理领域，存在数据类型复杂、模型体例不一、应用场景多样等特点。因此，需要构建面向复杂自然场景的多模态样本数据库，结合地学知识与遥感特性，规范化组织大规模样本数据；建立统一的自演进开放式遥感智能解译平台，为各行业、各部门、各领域科研人员提供集成“训练-测试-优化”的全链路智能解译服务与海量资源共享的试验环境；在此基础上，深度贴合行业应用的业务需求，建设面向行业的遥感智能精准应用平台，针对性地给出应用解决方案，大幅提升遥感数据大规模快速智能解译能力，推动遥感智能解译技术创新发展及其工程化应用。

4.1 样本库构建

现有遥感样本库大都是对不同的智能解译任务进行针对性地构建，国内外目前已经有面向各类任务的公开样本库，如面向场景分类的Eurosat^[59]、AID^[60]、NWPU-RESISC45^[61]等，面向目标检测识别的NWPU VHR-10^[62]、DIOR^[63]及中国科学院空天院构建并发布的全球规模最大的遥感图像细粒度数据集FAIR1M^[64]等，面向地物要素分类的WHU_Building^[65]、EvLab-SS^[66]等，面向变化检测的SZTAKI AirChange^[67]、CDD^[68]、LEVIR^[69]等。但是目前已经建立的样本库难以适应多模态、多分辨率、多应用驱动的复杂自然场景遥感智能解译，差距主要表现在以下4个方面：①缺乏统一的标准。目前已有样本库无论是组织形式还是标注规范都不相同，样本库间兼容性差，增加了模型开发的复杂性。②缺乏智能化标注工具。面向地形地貌多样、地表结构细碎的复杂场景，目前大部分依靠人工精细化标注，标注速度远低于遥感数据积累速度，降低了数据应用效能。③缺乏遥感知识特性融入。目前已有样本库大都单纯从图像角度对样本进行组织，对遥感专家知识、地物辐射特性、散射特性的描述不够，增加了模型算法嵌入遥感特性知识的难度。④缺乏动态更新机制。大部分样本库建成后其样本数量不变，但是遥感图像不断积累，应该构建与时间分辨率相适应的样本库动态更新机制。因此，针对目前遥感领域样本库存在的问题，需要在深度耦合地学知识和遥感特性的基础上，建立面向复杂场景高分辨率遥感智能处理的规范化、权威性的样本库，对支撑技术发展、精准应用意义重大。

面向复杂场景的多模态样本库建设本着以下4项主要原则：①统一样本标准规范。为不同平台不同载荷的多模态样本提供统一的标准规范，针对不同任务高效组织海量复杂自然场景样本数据。②样本标注人机协同。融合遥感领域人工智能算法和复杂地物的特性实现半自动样本标注，降低标注成本，提高标签精度。③知识特性库配套。提供目标知识特性库，涵盖多类复杂自然场景地物的目标特性与专家知识，推进“数据+知识”的有机结合。④样本库动态更新。利用海量异构数据存储与检索技术及新增数据自适应同步更新技术，实现复杂地表样本数据的动态更新。具体建设方案如图 5所示。

图 5 样本库设计与建设技术流程 Fig. 5 Design and construction process of remote sensing sample database

图选项

整体技术流程包括数据采集、数据清洗、数据标注、知识特性、数据存储、检索更新6个环节: ①采集包括来自国内外的天基卫星、临近空间飞艇和航空飞机等多个平台、全色/多光谱/高光谱/SAR/红外等多类传感器，以及众包地理等数据；②通过设定的清洗规范，对数据规范性、完整性等进行评估和过滤筛选；③采用人机协同等多手段对多源数据实现细粒度标注；④利用数据关联等多种方式进行知识与特性的积累；⑤将样本通过统一的组织规范进行存储；⑥构建精准、高效的智能检索框架，支持样本迭代更新，提升数据的利用价值。整个流程可根据现有样本库内的数据分布，进一步开展针对性的数据采集、清洗、标注等工作，达到循环往复的效果。

4.2 通用遥感智能处理系统构建

目前，国内外主流的公司、研究机构和高校都开发了遥感智能处理系统，如ENVI集成了深度学习模块实现了部分遥感应用场景的智能化操作；武汉大学侧重于遥感光学图像解译开发了LuojiaNET平台；西安电子科技大学针对光学和SAR图像处理推出了RS-Brain AI平台提供解译模型推理功能；中科院空天院专注智能解译领域研发遥感AI平台，提供模型搭建-训练-推理功能。但是目前已经建立的遥感智能处理系统尚难以支撑形成开放共享、技术发展、统一应用的遥感智能生态^[70-72]，主要问题表现在以下3个方面：①系统的开放性不够。各类智能资源有选择性部分开放，容易造成不同系统间重复建设和资源浪费。②系统的涵盖面不全。已有遥感智能处理系统大都针对特定场景、特定数据开发建设，集成特定垂直领域的智能解译模型，模型的适应性较差。③系统的智能化程度不高。智能解译模型搭建、训练、应用缺乏智能化的人机交互引导，需要专业背景支撑，造成准入门槛高，影响系统平台全面推广。

因此，针对目前遥感智能处理系统存在的问题，需要在遥感大数据地理学认知理论基础上，面向全色、多光谱、高光谱、SAR、红外等多模态遥感数据，集成面向多解译任务智能模型，建立权威开放式遥感智能处理系统。高效集成遥感智能解译的数据、算法和算力，为各行业、各部门、各领域科技人员提供开放共享的系统服务，支撑用户利用通用遥感智能处理系统中的功能进行任务驱动的模型快速构建、高效并行训练、模型评估迭代、异构资源集成等全链路全生命周期服务，推动各研究部门在遥感智能处理领域的创新发展。通用遥感智能处理系统总体架构如图 6所示。

图 6 通用遥感智能处理系统总体架构 Fig. 6 Overall architecture of remote sensing intelligent processing system

图选项

通用遥感智能处理系统在底层计算、存储资源支撑下，兼容各类国产化和非国产化智能处理框架，提供基础算法模型插件，将各插件打包封装，能够以拖拽、引导、代码等多种方式完成模型的搭建、训练和发布。系统内置了遥感智能解译领域的图像融合类、变化检测类、语义分割类、地理制图类等权威智能服务，支持以多种方式进行调用。同时，通用遥感智能处理系统包含样本的接入-清洗-标注-存储的全生命周期功能，支持用新增样本进行模型的迭代训练和持续优化。

通用遥感智能处理系统建设涉及两项重点的关键技术：

(1) 云原生架构下的高效集成与互促更新技术。以往遥感智能处理系统采用传统单体架构，将许多分散的遥感智能解译服务捆绑在一起，构成一个“功能包”，使服务之间出现不必要的依赖关系，导致开发和部署过程丧失敏捷性。发生故障时，需要整体停机进行维护，并重新部署整个遥感智能处理系统。为解决上述问题，基于云原生技术采用微服务架构将遥感智能解译的单体应用分解成小型松散耦合的服务，并利用开源堆栈对其进行容器化达到应用隔离的目的，当单个服务进行独立更新、扩展和重启等操作时不影响其他服务，从而提高遥感智能处理系统在开发和部署过程中的灵活性和可维护性，实现应用驱动下的系统局部升级，同时借助DevOps等敏捷思维支持系统平台的持续迭代和运维自动化，最终在国产化硬件上实现遥感智能处理系统的弹性伸缩、动态调度、资源利用率优化。

(2) 面向遥感智能解译的“样本-知识-特性库”集成共享与开放更新技术。以往遥感智能处理系统没有考虑高并发访问的应用需求，采用简单的数据集成策略，无法针对高频动态增长的应用模式动态更新遥感智能解译样本、知识与特性库。围绕时-空-谱数据多源异构、粒度疏密不一等特点，构建数据管理模型，根据数据内容、数据类型、数据关系进行统一组织和多维管理，同时搭建海量数据智能化检索框架，建立高效索引与多级缓存机制，实现样本、知识、特性等异构数据快速、稳定、灵活的精准服务。与此同时，针对复杂地表要素高频动态增长的应用模式，突破海量异构数据多对多关系建模技术和基于在线学习的新增数据自适应关联技术，实现百万级地表要素样本的关联关系构建与动态更新。通过检索的反馈结果进行现有数据关系的优化，实现数据关系网络的动态自演进，促进平台高效集成共享样本、知识、特性等数据，为海量并发用户提供开放共享服务。

4.3 面向行业遥感智能精准应用平台

近年来，对地观测、大数据、云计算及人工智能等技术的快速发展，尤其是海量高时空数据的开放获取和云计算平台的普及，极大地促进了遥感智能应用平台的发展。如最为知名的Google Earth Engine(GEE)^[73]，全球学者在其上进行多种应用和制图研究^[74-77]。国内相关业务部门也积累了一些专业遥感应用平台，持续为各行业提供可靠的遥感基础共性产品，极大地提升了国产卫星产品标准化处理的效率和精度。尽管这些开放平台具备很大的便利性与灵活性，但现阶段鲜有功能丰富、配置灵活、操作便捷、产品规范、数据模型联动、算法算力协调的业务化应用支撑平台，海量数据、模型算法亟需通过应用驱动才能实现效能最大程度发挥。在引领遥感智能解译3.0时代的工作中，以业务体系及应用领域较为典型全面的自然资源行业作为切入点，研发面向行业的遥感智能精准应用平台将进一步促进遥感的业务支撑能力，有重大的示范和推广价值。

面向自然资源领域的遥感智能精准应用平台因各地自然条件和社会发展的差异，使得行业任务场景更加复杂，应用需求更加多样，也将面临更多问题。首先，常见自然资源领域应用如自然资源年度变更调查、季度常态化监测、督查执法即时保障、城镇国土空间调查监测等任务，对于监测数据源、实施周期、成果形式、归集及统计要求等均有不同程度差异，且不同业务中或多或少需要人工导入部分关键业务知识，简单的业务生产线实施方式不仅实现复杂且业务稍有变化就需要对解决方案进行相应调整，系统适应性不强。其次，现有业务系统中遥感大数据技术尚未完全与业务属性深度融合，亟需在业务系统中引入算法模型在不同复杂度场景下的稳定性、效能评估及自适应优化配置等关键技术，最大限度提升终端用户的服务体验和业务效率。因此，遥感智能精准应用平台需要具备业务知识分解和积累、应用场景方案定制化以及直面应用效能的多维评估等新特性和新能力。

遥感智能精准应用平台的根本目的是将智能解译的最新成果服务于行业应用，因此需要深度贴合行业已有的业务需求，平台建设原则需渐进式替代与颠覆性替代相结合。一方面，深入调查已有行业业务流程，对业务知识进行数字化分解建模，渐进式用智能方法尽可能替换业务模块。另一方面，要充分发挥科研人员的创新性，以业务最终结果为导向创造新的智能方案，形成新业务知识。平台应用方式核心要做到业务知识数字化积累、方案定制化生成以及效能多维度评估。如图 7所示，在基础数据上要有数字化的业务知识与成果积累，针对不同业务场景，能自定义业务模块组合方案，最终在全国尺度上赋能多种业务应用。

图 7 遥感智能精准应用平台总体架构 Fig. 7 Overall architecture of remote sensing intelligent application platform

图选项

遥感智能精准应用平台包含两项关键技术：

(1) 深度贴合应用方案的多手段交互定制构建。遥感智能精准应用平台通过定制化方案实现对复杂场景和多样任务的适应性。以自然资源领域的遥感智能解译任务为例，面向不同的目标地类、任务区域、影像数据等信息，在结合已有业务知识和成果的引导下，通过智能交互对解译需求进行粒度分解，形成可直接指导智能解译任务的执行方案。基于当前自然资源行业普遍采用的人机交互解译模式，可在任务I/O和精度要求下，分解从数据、模型和后处理等环节的业务模块，形成交互调整后的解决方案。首先，根据应用场景、任务类型、数据分辨率、数据类型、最低性能要求、最低时间要求、最终输出形式等内容对解译任务进行细粒度分解。其次，从基础数据支撑库中提取已有的数字业务模块，分析能否构建深度贴合任务需求的解决方案，明确哪些能直接智能支撑，哪些需要人机进一步交互等。最后，将各智能模块进行组装、拼接，支持人工交互调整，形成整体性的应用解决方案。

(2) 应用驱动的智能解译成果综合评估。遥感智能精准应用平台通过全流程多渠道实现评估标准一致性。如在智能解译任务中，结合定制化业务流程，开发不同环节的评估工具，形成全流程多维度评估。在任务环节，可以分解为业务知识/成果支持能力、智能化比重、模型性能、解译成果等内容。在测试评估指标，制定基本能力指标和核心能力指标，给出明确的定义和定量方法，结合业务经验和海量验证试验，形成严格的合格标准。在测试评估工具上，开发匹配多种评估环节和指标的评测工具，涵盖样本匹配度、任务结果统计、参量(如距离、定位精度等)测量和计算性能参数采集、模型性能等工具，形成评测环节、指标和工具的统一，形成全过程的业务效能评价能力。

4.4 多层次多尺度真值表达与真实性验证

遥感智能解译技术无疑将大幅提升遥感数据大规模作业能力，从业务化应用的场景考虑，是否具备高效、可靠的技术手段实现对大范围智能解译结果的精度评价及误差分析，同样是制约相关技术业务化规模化应用的重要因素。目前地表分类或信息提取工作中，精度分析评价工作主要是基于真值(ground truth)样本，通过将模型预测结果与真值结果对比，采用AUC、Kappa等指标定量描述预测值与真实值的差异来表征解译结果的精度^[78-79]。但在大规模、业务化智能解译应用场景中，上述指标受到真值样本可靠性、多解性等问题的影响增大，需要进一步开展分析和研究。

智能解译技术将助力各领域业务便捷高效地实现大范围地表制图等应用^[80]，但大范围、大规模且可靠的真实性验证样本获取则相对困难，除了通过外业核查方式获取绝对真值外，能否有效利用人机交互解译技术以及历史专题图件等信息综合形成有效的真值样本是一项重要的工作内容^[81-82]。除此之外，复杂场景中真值采样的空间分布及类型占比是否科学合理，直接影响评价结果的代表性。依据复杂场景的地理地形因素，地面异质性和复杂程度的不同，在地形起伏不大的样区适当选择具有空间代表性的样本，在地形起伏较大的地区可以适当加密采样。并且不同分辨率遥感数据本身是对真实地表在不同尺度上的综合表达，但在部分复杂场景下，或将造成地表真值的多解性，如何匹配遥感数据与真值的尺度也是真实性验证需要考虑的重要因素。

针对复杂自然场景地表真值在不同尺度、不同场景下可能呈现的多解性问题^[83]，本文提出了多层次多尺度精度验证策略，如图 8所示。综合考虑实地调查、人工解译以及历史成果收集等手段获取的多源地表真值数据集，分析地表真值随观测尺度的变化特征，研发地表相对真值概率表达模型及多尺度真值样本重构技术，并构建多尺度地表真值样本分类分级框架、多尺度重构规则以及面向复杂场景的真实性验证的样本优化采样策略^[84]；此外，针对地物目标自然属性和利用属性解释框架的差异性，建立复杂自然场景下面细类与大类转换分析规则，实现真实性验证样本可适配不同类别划分体系，形成大模型智能解译结果的精度验证技术及软件工具。

图 8  智能解译成果的真实性验证技术路线 Fig. 8  Flowchart of remote sensing intelligent interpretation products validation

图选项

通过成熟的尺度转换方法，将真值样本匹配到待评价解译结果的尺度上，是解决“尺度性”“多解性”“区域性”等潜在问题的最有效手段，也是本文多尺度解译结果真实性验证的核心内容；在该技术框架下，还需要基于信息融合理论，构建地表相对真值概率表达模型，首先为不同尺度不同类型地表真值目标构建类别阈值，确定目标类别真值并赋值类别标签，目标真值标签表达兼容自然属性和利用属性，并支持不同分类体系下的类别标签的转换映射；此外，在真值样本多尺度重构以及相关复杂场景统计分析支持下，还需要实现地表绝对真值样本分布的优化采样，以及构建综合考虑属性边界精度的联合验证策略等技术内容。

5 总结与展望

我国对地观测卫星能力不断增强，遥感数据种类和数量也飞速增长，亟需提升与之相匹配的遥感大数据处理、分析与应用能力。而我国地形地貌多样、环境条件复杂等特点，加大了复杂地理场景下的遥感信息自动提取的难度。因此，充分借助引领新一轮科技革命和产业变革的人工智能技术，开展遥感大数据地理学认知模型与方法研究，将遥感智能解译技术落地为遥感应用效能，无论对科学技术研究，还是国民经济发展，都具有十分重要的意义。

未来，基于遥感大数据地理学认知模型的智能解译技术必将在技术、行业、社会生态等方面产生显著影响。在技术方面，运用大数据思维与手段，耦合地学知识和遥感信息，聚焦海量遥感数据多模态同化与融合，通过人工智能、数据挖掘等技术提高遥感产品的专业水平和应用深度，推动建成国内复杂场景智能解译自主知识产权开放平台，为遥感智能解译产业提供基座支撑。在行业方面，人工智能赋能遥感技术，贯穿复杂海量多源异构数据从目标解析、融合处理分析到多需求多场景目标提取全链路，相关成果将推动以数据和场景驱动的遥感应用模式盘活海量数据资源，减少人力、物力的重复投入，有效指导业务部门建立科学合理的数据组织管理架构。在大幅缩短遥感图像解译周期、提高解译精准度的同时，通过开放式平台的运用，一方面支撑技术迭代与进步，促进遥感技术应用的变革和发展；另一方面充分赋能广大中小规模卫星遥感用户，催生新的遥感应用领域，把海量遥感数据产品衔接到社会发展的更多领域，打破行业用户“数据浪费”和社会公众“数据渴求”的现状。在社会生态方面，遥感智能解译系统与精准应用平台可服务于乡村振兴发展、生态保护与修复、自然生态安全、国土空间用途管制等应用领域，填补国内地物信息提取、深度应用与定量化评估等方面的技术空白和生态短板，大范围多尺度应用示范成果，可直接服务于行业和地方部门规划、监管、生态效能评估与预警工作。

作者简介

第一作者简介：张兵(1969—)，男，博士，研究员，博士生导师，研究方向为高光谱遥感与遥感大数据。

E-mail: zb@radi.ac.cn

张兵1,2, 杨晓梅2,3, 高连如1,4, 孟瑜1,5, 孙显1, 肖晨超6, 倪丽1,4     

1. 中国科学院空天信息创新研究院, 北京 100094;
2. 中国科学院大学, 北京 100049;
3. 中国科学院地理科学与资源研究所资源与环境信息系统国家重点实验室, 北京 100101;
4. 中国科学院计算光学成像技术重点实验室, 北京 100094;
5. 国家遥感应用工程技术研究中心, 北京 100101;
6. 自然资源部国土卫星遥感应用中心, 北京 100048

基金项目：国家重点研发计划(2021YFB3900500)

- END -

科普 | 遥感图像处理

一种与遥感影像同步纠正的矢量地理信息采集方法

全球10米遥感数据免费下载及预处理（附软件下载）

数字孪生视角下的实景三维建设探索

智能遥感：AI赋能遥感技术