以下文章来源于遥感学报 ,作者宫鹏
推送《遥感学报》最新论文等网络宣传和运营
遥感是动态监测区域及全球尺度资源环境变化的唯一途径。然而,较高的专业技术门槛使遥感数据至今未能成为可“即得即用”的数据(Analysis Ready Data, ARD),进而也极大限制了遥感更为广泛和快捷的应用,能否解决这一问题?
香港大学教授、《遥感学报》资深编委宫鹏,近期在《遥感学报》期刊上发表论文“21世纪逐日无缝数据立方体构建方法及逐年逐季节土地覆盖和土地利用动态制图—中国智慧遥感制图iMap(China)1.0”和“智慧遥感制图(iMap)”,公布了中国地表覆盖和土地利用数据集,提出了新一代地球观测数据与制图解决方案。这或许将是一个革命性的进步,对海量遥感数据的处理、共享、应用都将引起根本性改变,并对整个地球系统观测行业产生深远影响。
《遥感学报》2021年第2期封面
智慧遥感制图(iMap)
引用格式:
刘涵, 宫鹏. 2021. 21世纪逐日无缝数据立方体构建方法及逐年逐季节土地覆盖和土地利用动态制图—中国智慧遥感制图iMap(China)1.0. 遥感学报, 25(1): 126-147
原文链接:
http://www.jors.cn/jrs/article/html/202101009
引用格式:
宫鹏. 2021. 智慧遥感制图(iMap). 遥感学报, 25(2): 527-529
原文链接:
http://www.jors.cn/jrs/article/html/202102001
遥感卫星数据处理的现状和当前问题主要有:
(1) 基于一景景卫星影像的传统遥感数据组织,在相邻景影像之间存在大量冗余,且数据存储分散,不利于空间大规模、时间序列观测分析;
(2) 实际应用需要的数据往往空间上由不同景的图像组成,时间上卫星覆盖难以全面,导致传统遥感无法提供高空间分辨率和高时间频率兼具的观测数据;
(3) 缺乏专业知识,无法有效地处理和利用遥感数据;
(4) 遥感大数据缺乏基础架构、限于网络带宽,难以有效访问、处理;
(5) 云雾和恶劣天气等的影响,降低了遥感观测质量,增加了遥感观测的时空不连续性,阻碍了地表变化监测。
这些问题可以说是当前困扰整个遥感界的共性问题。如何解决?清华大学理学院地球系统科学系自2019年开始与多家单位合作,从土地覆盖、土地利用制图入手,针对现有土地覆盖制图产品的主要问题,开展了遥感卫星数据处理和信息提取的相关研究,推出“首套中国30米逐日无缝遥感观测数据集–SDC”,并提出了解决方案。
当前世界已有的土地覆盖制图产品存在的缺陷和问题主要有:
(1) 制图样本采集难度大、复用率低;
(2) 产品灵活性差,无法满足更为广泛的用户需求;
(3) 城市、农作物种植、森林火灾等快速变化地区,难以有效实现高空间分辨率高时间频率监测、近实时土地动态监测;
(4) 时间序列制图一致性和可比性较差 。
从2019年9月到2020年1月,宫鹏教授团队等基于AWS Open Data PB级数据高效传输获取技术,利用自动化、无服务器、端到端的生产链,建立起30米逐日无缝遥感观测数据产品(Seamless Data Cubes, SDC)的生产能力,生成了世界首套30米分辨率的中国逐日遥感数据集,并以此SDC为基础生产得到2000年-2018年的逐季节土地覆盖和逐年土地利用数据集。这一研究填补了高空间分辨率、高时间频率遥感观测和大范围无缝遥感数据生产的空白。
“中国30米逐日无缝遥感观测数据集”主要采用的技术包括:
🔺 基于虚拟星座的数据融合算法
🔺 时空重建技术
🔺 ARD范式处理标准
🔺 Data Cube组织形式
首先采用AWS的开放数据集(Open Data)中的多种PB级遥感数据,构建了虚拟星座。通过AWS无服务器以及容器化的大规模并行计算技术,构建了一套端到端的、自动化的Data Cube生产链。利用这条生产链和团队刘涵博士等自主研发的时空数据融合重建技术,将原始的Raw Data Cube进一步生产为无缝的SDC。
基于SDC,运用AWS人工智能和机器学习的套件和服务,结合研究组已有的世界首套全球季节普适样本库和相关领域知识,设计和训练了一套适应遥感大数据的深度遥感特征学习和分类模型。进一步借助AWS的AutoML等自动化多层堆叠集成技术,对模型结构和参数进行深度调优,并进行分布式高性能推理。分类结果经过遥感专业化的变化检测和时空一致性后处理方法,得到这套全国逐季节土地覆盖和逐年土地利用图。
这项工作的优势表现在以下几个方面:
(1) 大幅减少传感器差异,实现“卫星大串联”和协同使用高空间分辨率(30米)、高时间频率(逐日),近实时监测;
(2) 无任何异常值和缺失值(如云、条带值等,实现无缝遥感),重现高时空分辨能力、完整无缝的时空序列轨迹,时空可变嵌套网格,高时空一致性,极大地提高观测数据提取信息的潜力;
(3) 可提供长时间序列、高一致性的历史观测数据;
(4) 从原始数据到多维时空数据库Data Cube、以及最终的制图产品中的各种异构数据统一存放在AWS遥感数据湖(Remote Sensing Data Lake),便于数据的统一处理和分析;
(5) 构建了多级别即得即用(ARD),大大降低了遥感数据应用的门槛,减轻了用户计算的负担,缩短了遥感数据到信息的鸿沟,也为推动遥感走向千家万户奠定了坚实的基础;
(6) 基于像素的分析范式,在时空维度上均具有高互操作性,有利于时空变化信息快速识别和提取,支持近实时智慧服务;
(7) 基于分布式的高性能并行计算、云计算。
目前已有9个国家或地区开发了遥感观测Data Cube,但是这些数据是不完整的、碎片化的Raw Data Cube,存在观测频率低且非等距的问题。实际上,陆地卫星Landsat也是每16天才能对全球覆盖一遍,不同日子有不同的条带,且对云覆盖等所见即所得。而清华大学推出的无缝遥感观测数据集SDC,利用Landsat和 MODIS数据,具备生成时间间隔为一天,即逐日的全球完整的30米的数据能力。采用这种技术方法,可以使长时间序列的时空一致性的遥感动态观测成为可能。
其意义在于:对数据的处理有统一的降到最小误差的标准。这就给遥感数据的共享和应用带来极大的便利,原来只有少数专业用户可以使用,现在成千上万“不会用”“不能用”的普通用户都可以使用遥感数据,这就是“即得即用”数据(ARD)的好处。以往难以实现的动态监测,有了这样的逐日数据集就可以实现,提高了时间序列上的可比性,比如:城市发展、农作物种植、森林火灾等快速变化的地区的监测;还可以根据不同需求,进一步的提取很多信息,比如特定日期的土地覆盖和土地利用等。前面提到的各种现实问题由此可得到一个根本性的改变。
利用这套基础数据集,清华大学在农业监测、城乡规划、生态环境保护、灾害评估、气候模拟、迁徙鸟类栖息环境等方面均开展了研究,并取得了一批结果和进展,为国家相关政策的制定和评估、优化,辅助行政执法提供了客观依据。结合联合国2015可持续发展目标,这套数据还将用于支持清华大学开展有关地球系统动态模拟和预测的相关研究,以及服务于国民经济的很多行业,比方农业集约化和土地闲置的探测,城市化与自然植被的丧失,土地退化和粮食安全,环境变化与健康,造林和土壤的含水量的关系,城市扩张与热岛效应,气候变化,碳储备等。
由此,这项成果的价值不仅体现在实现了长时间序列逐日无缝、近实时的遥感制图产品的高效生产,高精度统一标准“即得即用”遥感数据集的提供,也开辟了中国卫星遥感数据处理和信息提取的新范式,将大幅推进遥感的应用发展。
专家简介
宫鹏,香港大学教授、博士生导师,《遥感学报》资深编委。研究方向为:土地覆盖/利用分类、遥感生态测量学 - 森林与草地生态参数的精确估算、全球土地覆盖/利用变化探测、多数据源空间数据的综 合分析算法、空间数据不确定性的模拟与传播、以及基于知识的专家系统方法等。
E-mail:penggong@tsinghua.edu.cn
- END -