使用深度学习重建3D建筑

激光雷达和图像数据中的自动分类和对象检测对于最大限度地降低生产成本至关重要。虽然使用基于规则的算法对传统方法进行优化增强了地理空间应用，但仍需要大量的人工干预才能获得高质量的数据集。本文概述了人工智能 (AI) 如何为 3D 城市建模带来稳健的流程，并讨论其中的一些挑战。

用于遥感数据的人工智能

随着遥感领域的最新进展，人工智能在地理空间领域的使用显着增加。从现在每天都在收集的大量数据中提取有意义的信息至关重要，并且需要高效且准确的工作流程。

有几篇文章和案例研究将深度学习 (DL) 方法用于航空激光雷达分类和目标检测；然而，将深度学习方法用于工业级和大规模应用程序是一项艰巨的任务，将其整合到生产工作流程中是一项挑战。

通过激光雷达和正射的集成来提取信息通常是使用自动方法完成的，这些方法包括使用图像对激光雷达点进行着色，或者将 RGB-NIR 通道与从激光雷达提取的特征层连接起来，例如数字地形模型 (DTM) 或数字表面模型（帝斯曼）。由于这些融合，点云的 3D 几何信息在转换为 2D 栅格文件时会退化，或者由于阴影、障碍物、边缘等原因导致点云着色质量下降。

尽管如此，集成激光雷达和图像为许多应用程序提供了改善 AI 结果的机会。

自动3D城市建模与深度学习模型

在使用程序化方法提取特征并手动数字化轮廓的自动 3D 建模方法中，大规模激光雷达数据集必须经过多步骤例程才能进行分类。 

自动分类程序通常包括分类地面点、将地面上的点分类，以及根据建筑物的平面特征和其他属性（例如回声）对建筑物进行分组和分类。但是，建筑物的各种组成部分可能无法正确分类，例如边缘、臀部、烟囱闪光和墙壁，具体取决于纹理复杂性和激光雷达点密度。与建筑物相邻的物体（例如树木）也可能被错误分类。这就是为什么通常需要手动编辑激光雷达点来获得高质量数据的原因。结果，自动激光雷达数据分类的过程变得“半自动”和劳动密集型。

另一方面，深度学习方法在训练后可以更快地执行分类和对象检测任务。DL 方法及其在实际场景中的使用的主要要求之一是高质量训练数据的必要性以及轻松区分数据中现有类的能力。例如，传统方法倾向于通过将地面点限制在小三角形中来消除数据的噪声。这会将具有相似特征的点留在两个不同的类中，这将导致 DL 模型不收敛。

训练模型和数据准备

为了训练和测试 DL 方法，我们使用了来自加拿大不列颠哥伦比亚省纳奈莫市 186 公里2的空中激光雷达，其中大约 30,000 个屋顶段使用 TerraSolid 自动分类并由人工编辑手动数字化。

该数据集的平均点密度约为 19pts/m 2，最初被分类为：Never Classified (0)、Unclassified (1)、Ground (2)、Low Vegetation (3)、Medium Vegetation (4)、High植被 (5)、建筑物 (6)、噪音 (7)、水 (9) 和桥面 (17)。由于这项工作的目标主要是 3D 城市建模，并且由于建筑物是感兴趣的对象，我们将数据重新分类为从未分类 (0) 和建筑物 (6)，以便 DL 模型可以更好地将建筑物与其他点区分开来。我们使用 80% 的 Nanaimo 数据作为训练集，13% 用于验证。剩下的 7% 用于测试模型。

为此，我们使用了 PointCNN 模型，激光雷达数据被准备好并以 50 x 50m 的块大小馈送到网络，每个块有 8,192 个样本点。在此过程中，强度和返回数被视为额外特征。激光雷达点的坐标在定义的块大小范围内进行了归一化，强度值和返回数在 0 和 1 之间进行了归一化。

表 1 显示了我们的训练数据集的 Never Classified 和 Building 类获得的精度、召回率和 F1 分数。这表明，尽管数据不平衡（建筑物仅占总数据集的 5% 以下），但该模型能够正确区分建筑物与其他点。

自动化的挑战

深度学习模型的主要限制之一是，当它们在新数据集或具有不同特征的数据集上进行测试时，性能会受到相当大的影响，由于不同的项目规格（例如密度水平）和不同的地理位置（例如城市、森林、山区）。因此，为了使分类过程自动化，同时在各种场景中获得可接受的结果，有必要确保 DL 模型具有泛化性，并且可以预测具有不同特征的数据集。但是，新数据集必须具有与训练模型的数据集相似的特征属性。

在使用上述 Nanaimo 数据集训练模型并获得高度准确的结果后，我们在温哥华数据集上测试了该模型。Vancouver 数据集的平均点密度接近 45pts/m 2，明显高于 Nanaimo 数据集。正如预期的那样，主要预测结果与 Nanaimo 数据集的准确度不同，并且模型未能正确分类大部分建筑点（如表 2 中建筑物的召回值为 67.43% 所示）。

为了提高模型在温哥华数据集上的性能，使用少量温哥华数据集（总共 10 个 1km x 1km 的瓦片）来微调预训练模型。从表 2 中可以看出，模型的性能显着提高，建筑点的 F1 得分值为 96.50%。

在使用温哥华数据集对模型进行微调后，它在卡尔加里市的一个新数据集上进行了测试。卡尔加里的激光雷达数据的平均点密度约为 38pts/m 2。如图 3 所示，卡尔加里数据集中的建筑物被高精度分类，模型能够将建筑物与灌木、树木和汽车等相邻物体区分开来。

用图像细化建筑分类

细节级别 (LoD) 2.2 建筑模型生成的主要要求之一是建筑足迹层。首先，建筑物足迹是通过包括光栅化、多边形化和正则化在内的多步骤过程从激光雷达数据中提取的。为了细化建筑物足迹层，并从另一个数据源中受益以对提取的建筑物足迹和激光雷达分类进行质量检查，我们使用了预训练的 Mask-RCNN 模型从航空图像中检测建筑物。

从图像中提取的建筑物足迹覆盖在激光雷达数据上，错误分类的激光雷达点和建筑物足迹都进行了相应的修改。

结论和建议

在行业级项目中采用基于 AI 的方法需要一个结构良好的工作流程和强大的数据集。在本文中，我们首先训练了一个深度学习模型，使用来自 Nanaimo 的非常高质量的数据集对航空激光雷达数据中的建筑点进行分类。尽管经过训练的模型在与模型训练的同一区域的数据集上获得了可接受的结果，但由于新数据集的不同特征，它未能实现高精度预测。温哥华数据集上的深度学习模型表现不佳意味着该模型没有充分泛化。因此建议通过提供更多的训练数据来提高训练模型的泛化性和可迁移性，以提高激光雷达对各种结构类型的预测质量。

- END -

重磅！遥感科学与技术成为新的一级学科
你需要了解的常用遥感名词汇总
各种实用航测遥感数据数据免费获取，速来领取！
九个影响未来的卫星遥感数据科技趋势
近48万景、560TB数据免费共享！中国遥感卫星地面站共享数据门户升级改版