科研创新 | 基于深度学习和高精度卫星影像的建筑识别方法研究

城市建筑轮廓和高度等信息是空间规划的基础数据之一，但实际工作中很难大范围获取。传统的测绘调查方法速度慢、成本高、周期长、不开放，一般规划研究难以大范围获取，更难获得多年份的建筑变化数据。快速发展的卫星遥感技术和深度学习技术为实现对城市建设情况的大范围、快速、精确的跟踪监测提供了新的思路。一些研究已经探索了采用各类深度学习模型从遥感影像中提取二维建筑物轮廓、建筑屋顶、道路等地表要素。本研究将围绕这一领域开展技术探索，实现基于高精度卫星影像数据和深度学习的三维建筑识别技术，为大范围、快速、较准确的识别分析城市建筑情况提供了可行的工作思路。

本研究以上海为案例，有效训练了建筑轮廓提取、建筑高度预测的深度学习模型，提取了2014、2019年的建筑轮廓和高度信息，探索了多年份建筑变化比较和统计方法。

研究总体思路是（图1）：首先，制作一个针对上海的训练集。将开放地图网站获得的上海矢量建筑与多年份卫星图叠合、切片，人工筛选出其中吻合准确的图片。这部分训练集既包括建筑基底轮廓，又包括建筑层高信息，因此可以用来训练建筑轮廓提取、建筑高度预测两个模型。还采用了一个名为Inria的开源数据集（aerial image labeling dataset）作为补充训练集。将数据集混合后，获得覆盖面积达四千平方公里的训练集。其次，采用上述数据集训练建筑轮廓提取模型，当模型效果在训练集、验证集上取得最优时保存模型，再检验其在测试集上的效果，取效果最优的一个模型备用。继而采用迁移学习（transfer learning）策略，修改上述模型架构，并通过同样的训练、验证、测试流程，获得备用的建筑高度提取模型。最后，将训练的模型应用到两个年份的、覆盖全上海的高精度卫星影像之上，分别提取获得建筑轮廓、建筑层高提取结果，然后经过矢量化、叠加，即可用于评价两年份建筑量的变化。

图1 技术框架

3.1 建筑轮廓提取和高度识别的

深度学习模型构建

训练的两个模型分别称为建筑轮廓提取模型（RSM）和建筑高度预测模型（HPM）。两个模型的架构均修改自DeepLab开发的一种由Encoder-Decoder 结构构建的经典语义分割模型DeepLabv3+。该模型利用深度卷积神经网络和空洞卷积（Atrous Spatial Pyramid Pooling）从图像中捕获多尺度特征，从而能够将高维特征映射与低级特征连接，以更精细化的进行图像分割任务。

建筑物阴影可能是准确分割屋顶和预测建筑物高度的关键信息。为了更好地考虑阴影，我们提出了一种优化的模型结构，即输入图像相比输入图像具有更大的范围，以便边缘区域建筑物产生的阴影信息也可以在一系列卷积过程中被模型识别。为实现这一点，输入图像在每个边缘向外扩展 64 个像素，从而将图像大小从 512×512 像素扩展到 640×640 像素。此外，两个裁剪图层（cropping）也被添加到Encoder-Decoder 结构中，从而保证低级和高级要素具有相同的空间范围。

图2 模型架构

3.2 建筑矢量化

本文采用谷歌地球的高精度卫星影像，分辨率约为0.3-0.6米/像素。研究空间范围是除崇明区以外的上海市域。考虑到崇明区面积广阔、建筑密度低，近年来建设也较少，为减少计算量将其忽略。研究时间范围选择2014年、2019年两个截面。本文所有统计的总建筑面积、建筑面积变化百分比均以2014年识别结果为基数。

5.1 模型精度评估

统计结果表明（表1），训练获得的建筑轮廓提取模型，像素预测精度（Precision）高达92%以上，提取的建筑轮廓交并比（IoU） 高达0.74，即意味着提取的建筑轮廓与实际建筑相交的面积占并集面积比达到74%，能够较好的提取建筑轮廓。同时，本文训练的模型效果也与同类大规模应用案例具有可比性：例如微软在加拿大采用了三百万张图片训练获得了IoU为0.76、准确度为0.987的效果 ，本研究采用的训练集规模仅有微软的约1%且数据标注质量一般，但在关键指标已相当接近其成果。因此认为具有实际应用价值。

训练获得的建筑层高提取模型的层高预测误差控制在0.87以下。综合来看，即使在模型未看过的在测试集上，建筑基底面积误差比率、建筑面积误差比率分别控制在4%、8%左右。虽然缺少相关研究予以比较，笔者在经验上认为，该模型效果已能够较精确的反映城市建筑基本情况。图2的三维对比也表明，两个模型组合使用效果优异，其提取结果能够较好的反映城市建筑的三维形态和空间分布。

表1 模型精度验证结果

图3 上海典型地区识别效果三维示意：

实际建筑（左）与识别建筑（右）

图4 上海典型地区识别效果二维示意

本项目探索了基于高精度卫星影像数据和深度学习的建筑识别技术的大规模应用，为大范围、快速、较准确的识别分析城市建筑情况提供了可行的工作思路。这项技术能够实现像素尺度92%以上的识别精度，建筑基底面积误差比率低于5%，平均楼层误差小于1层，建筑面积误差比率约8%，能够较精准的反映城市建筑变化情况。例如，图7展示了利用本项目提出的方法识别的上海2014-2019年的建筑变化显著变化的热点地区，红色为显著增加、蓝色为显著减少地区，典型单元放大后为大范围开发建设地区、工业腾退地区，准确反映了城市建设变化情况。可见，本项目探索的方法能够满足存量空间开发强度估算等工作需要，也能够为国土空间规划有关研究、实施评估、监测预警提供较为可信的数据源。

图5 上海500米网格建筑量显著变化单元识别及与卫星图验证