Runyu Fan, Jun Li, Weijing Song, Wei Han, Jining Yan, Lizhe Wang∗ (2022), Urban Informal Settlements Classification via a Transformer-based Spatial-Temporal Fusion Network Using Multimodal Remote Sensing and Time-Series Human Activity Data. International Journal of Applied Earth Observation and Geoinformation.
城市非正规居住区是人口密度高、城市基础设施标准低的地区。城市非正规居住区自动识别对于各种城市计算任务具有重要意义。快速准确地提取城市非正规居住区存在以下困难。首先，从高分辨率的角度来看，城市非正规居住区的建筑低层、密集，空间关系复杂。其次，由于拍摄角度和成像环境的原因，城市非正规居住区的遥感观测特征极不显眼。
因此，仅使用单一模态的遥感图像对城市非正规居住区进行分类是不够的。具有多种时间和空间特征的多模态数据为更准确地提取城市非正规居住区提供了潜在的机会。尽管如此，目前仍缺乏关于使用多模态数据进行城市非正规居住区分类的相关工作。
在本文中，我们提出了一种基于 Transformer 的混合时空融合网络，即 STNet，集成了的 PDNet、ResMixer 和基于 Transformer 的时空融合层，以融合超高分辨率遥感影像和时间序列腾讯人口密度（TPD）数据对城市非正规居住区进行提取。
在深圳市的实验结果表明了所提出的 STNet 的优越性能以及时空多模态遥感和时间序列 TPD 数据的融合的有效性。与其他模型相比，所提出的 STNet 达到了 88.58% 的整体准确率 (OA) 和 0.7716 的 Kappa，OA 和 Kappa 分别比基准模型提高了 1% 到 12% 和 0.03 到 0.25 左右。
城市非正规居住区自动提取，在可持续发展、贫困人口估计、基础设施建设和未来城市规划中发挥着关键的作用。在早期的方法中，由于低空间分辨率的遥感图像缺乏足够的地表和地物的详细信息，导致城市非正规居住区分类精度有限。高空间分辨率的遥感图像使得捕捉详细的物理和空间结构以及地物的视觉特征成为可能，更多的研究结合性能良好的模型与高分辨率（VHR）遥感图像提升了城市非正规居住区分类精度。
然而，目前的城市非正规居住区自动提取研究主要集中在单一模态遥感图像上。遥感图像在成像的过程中往往会受到各种退化、噪声影响或变化的影响，从而限制了城市非正规居住区自动提取的有效性和精度。多模态数据可以提供无法直接从遥感图像提取或反映日常人类活动的有价值信息。
因此，使用多模态数据可以缓解由于遥感图像单一模态数据导致的分类性能不佳。在这些多模态数据中，比如出租车数据、兴趣点（POI）数据、手机位置数据和腾讯用户密度数据被广泛用于各种城市遥感任务。与静态数据相比，动态时间序列数据更能反映人类活动的轨迹和模式。
此外，通过统计和分析，城市非正规居住区与其他地区的时序人口密度数据（TPD）存在明显差异。因此，TPD 数据可以极大地区分城市非正规居住区和其他区域。
如何融合静态空间遥感影像数据和动态时序TPD 数据仍旧是一个技术难题。
针对更加精准的城市非正规居住区分类结果，本文提出了一种基于深度学习的混合时空融合网络 STNet（如图1所示），它集成了 PDNet 和 ResMixer 的两个分支以及一个基于 Transformer 的时空融合层来对非正规居住区进行分类。
在所提出的STNet中，VHR遥感图像用于对地物的空间特征进行建模，时间序列TPD数据用于对人类活动模式的时间特征进行建模。
（1）提出了一种基于Transformer 的时空融合网络 (STNet)。STNet 集成了两个特征提取分支（PDNet 和 ResMixer）和一个基于 Transformer 的时空融合层，使用 VHR 遥感图像和时间序列 TPD 数据对城市非正规居住区进行分类。
（2）在STNet中，提出了一种新颖的VHR遥感图像分类模型，即ResMixer。该模型整合了CNN和MLP-Mixer模型，克服了CNN模型深层缺乏多样性不足，以及MLP-Mixer模型训练过程困难的不足。与 CNN 模型和 MLP-Mixer 模型相比，所提出的 ResMixer 模型以更少的参数实现更好的分类性能。
（3）提出了一个基于 Transformer 的时空融合层，通过融合 VHR 遥感图像的静态空间特征和时间序列 TPD 数据的动态时序特征，可以显着提高 城市非正规居住区分类的准确性。
在本文中，我们提出了结合VHR 遥感图像和时间序列 TPD 数据对城市非正规居住区进行分类的 STNet。在提出的 STNet 中，PDNet 和 ResMixer 被提出来分别从不同的数据模态中学习时间和空间特征。并提出了一种基于 Transformer 的时空融合层来融合时空特征，以获得更加精准的城市非正规居住区分类结果。
本文在深圳市进行了实验。结果表明，通过结合具有空间和时间特征的多模态数据，所提出的 STNet 具有最佳分类结果。
此外，我们进行了一项实验，以验证所提出的 ResMixer 使用 VHR 图像的准确性和效率。这一发现表明了所提出的 STNet 在处理城市非正规居住区 分类任务方面的优越性。
基于这项研究，一些可能的未来方向包括精细尺度的城市非正规居住区提取（例如，语义分割）、大规模城市非正规居住区提取（例如，国家尺度），以及全球城市非正规居住区分布与贫困之间的关系等。
最近有朋友问我们：为什么没有及时看到推文？因为微信改了推送规则，没有点“赞”或“在看”，没有把我们“星标”，都有可能出现这种状况。
加“星标”，不迷路！看完文章顺手点点“赞”或“在看”，就可以准时与我们见面了~
原文始发于微信公众号（城市数据派）：【人口密度数据研究】基于多模态遥感影像数据的城市非正规居住区分类丨城市数据派
规划问道
