Gravityformer：更准确、更稳定、也更可解释的人类活动强度预测新框架丨城市数据派

在人类活动预测任务中，活动行为与移动行为是具有交替性和耦合性特征的 。人们为了参与活动产生移动，而活动结束后又会产生新的移动需求，这意味着当前的活动分布潜在包含了未来的人类移动信息（图 1）。

然而，现有研究多依赖无约束数据驱动的方法（如动态相似性）来建模空间关系，面临两个主要挑战：

• 缺乏物理意义：纯数据驱动学习到的关系难以解释真实的物理移动规律，对噪声敏感。

• 过度平滑现象：随着建模空间关系的网络层数增加，注意力矩阵容易趋同且变得稀疏，难以有效区分不同区域的特征，限制了模型在大规模空间预测中的性能。

图1. 人类活动和移动行为具有交替性与耦合性特征：6:50–7:00 为从居住地至商场的移动阶段，7:00–8:00 为购物活动阶段，8:00–8:10 则为从商场返回居住地的移动阶段。

图2. 真实与模拟空间交互对比分析：基于各区域人类活动强度，通过重力模型模拟潜在空间交互，其模拟结果与真实起止点（OD）流数据的空间及数值分布具有相似性。

为了解决上述问题，本文在建模框架中引入了物理引导的机器学习方法。将符合人类活动交互规律的重力模型作为先验知识引入时空建模，引导模型学习更真实、更具解释性的空间交互关系，主要内容如下：

• 提出Gravity-informed Spatiotemporal Transformer (Gravityformer) 框架，借助自适应重力模型模块在端到端网络中表征物理约束，得到物理约束后的注意力矩阵，并缓解深层模型过平滑问题。

  
  

• 设计平行的时空图卷积 Transformer 模块，动态整合时空学习过程，同时保持时空特征间的平衡耦合关系，避免传统模型将时空模式分离建模的局限性。

  
  

• 在六个美国大都市区数据集上实验，验证 Gravityformer 比先进模型在预测性能、可解释性及跨区域零样本泛化上更优，为物理定律与深度学习结合的时空预测提供新视角。

本研究提出的Gravityformer主要包含三个核心组件：时空自适应嵌入、自适应重力模块（AdaGravity）和平行时空图Transformer。总体框架如图3所示。

图3. Gravityformer模型框架

重力模型：在人类移动建模研究中，重力模型是应用最经典的空间交互建模模型，也是模拟区域间移动流量的经典工具。其原理源于物理学中的万有引力定律，形式为：

其中，G为重力常数。重力模型的核心规律可概括为，两区域间的移动流量与出发区发生量mi、到达区吸引量mj的乘积成正比，与区域间的交互阻力r（如距离）成反比。

自适应重力模块：作为 Gravityformer 的核心组件，自适应重力模块（AdaGravity）旨在显式建模潜在空间交互的物理约束。该模块并不直接生成具体的细粒度移动流量，而是将重力模型的封闭解形式作为一种物理约束引入注意力的学习过程，通过端到端的自适应调整来拟合潜在的空间交互规律。

在具体实现中，考虑到传统重力模型通常基于低维且具有明确物理意义的属性，直接将高维且语义抽象的特征张量代入原始重力公式容易引发注意力平滑问题，并干扰对特征模长的学习。为此，我们采用平均池化操作将高维张量压缩为标量，使其专注于学习节点的重要性（模长）关系，而让注意力机制专注于捕捉节点间的关联强度。在此基础上，受变形地图思想的启发，我们引入自适应权重AS对地理距离进行加权变换，以增强模型对复杂空间交互建模的灵活性。此外，为了确保优化的可行性，简单进行了激活变换。其形式如公式2和3所示，详见原文：

重力注意力矩阵：随后，我们将AdaGravity生成的重力矩阵Aag与注意力分数矩阵AS进行哈达玛积后进行非线性变换，得到重力注意力矩阵。这使重力矩阵对注意力分数充当了一个物理掩码，即符合万有引力定律的强关联将得到增强，而违反物理约束（如无端连接远距离区域）的关联将被抑制。这个过程有效减少了深层网络中的信息冗余，以此缓解过度平滑问题。

平行时空学习：针对人类活动数据中时空模式动态耦合的特点，我们设计了平行时空图Transformer 模块。该模块并行处理时间Z’T与空间特征Z’Sg，并通过动态加权参数VT和VS同步调整两者的贡献，实现了时空特征的平衡耦合。

本研究使用了美国六个大都市区（亚特兰大、波士顿、芝加哥、洛杉矶、明尼阿波利斯和旧金山）的大规模真实人类活动数据进行验证 。我们将数据聚合到人口普查区（Census Tract）尺度，以30分钟为时间间隔进行预测。

图4. 本研究所使用的美国六个大都市区

（1）模型性能

时间误差分析：如图5所示，与 STWave、HimNet和STAEformer等先进模型相比，Gravityformer的预测误差（RMSE）显著降低。特别是在人类活动强度较高的时间段，模型的优势更为明显，表明引入物理定律提高了模型在动态变化场景下的稳定性。

图5. 明尼阿波利斯数据集2021年2月24日至2月26日期间，真实值与不同模型预测值的时间序列直方图

空间误差分析：如图6所示，在空间分布上，Gravityformer 在芝加哥等大型城市的误差降低尤为显著。这证实了物理约束能有效提升大规模空间建模的准确性。

图6. 不同模型在（a）明尼阿波利斯（小型城市）、（b）波士顿（中型城市）、（c）芝加哥（大型城市）的空间 RMSE 对比，其中RMSEdiff为基线模型与Gravityformer的RMSE之间的差值，而Gravityformer则以RMSE值展示

（2）模型可解释性

在提升精度的基础上，进一步验证了模型是否学习到了合理的地理关系。

空间显式分析：为了验证注意力的平滑现象是否被缓解，我们对不同模型所学习到的注意力矩阵与距离矩阵进行了可视化分析。其中，标准注意力矩阵大部分数值接近于零，缺乏有效信息，表现出明显的过度平滑现象；而重力注意力矩阵则在不同位置呈现出显著差异，与距离矩阵具有相同的分布模式。我们发现它不仅符合地理学第一定律的距离衰减效应（近处联系更强），还捕捉到了符合地理学第三定律的功能相似性（功能相似的区域联系更强，如图中A地与B地的强关联）。这说明重力与注意力机制的融合能够缓解了原有的注意力平滑问题，还能捕捉到了数据背后的地理规律。

图7. GST-GC2former最后一层矩阵学习展示：（a）注意力、重力注意力与距离矩阵差异；（b）上述矩阵数值分布；（c）学习的重力注意力与注意力矩阵流图

与真实OD流比较：尽管没有任何的细粒度OD数据的监督，重力注意力矩阵仍然凭借封闭解展现出与OD流相似的模式，而标准注意力矩阵则离OD流量的模式相距甚远。

图8. 标准注意力、重力注意力与真实OD流的对比

从更宏观的视角来看，Gravityformer 并不仅仅是一次模型性能的提升。它尝试回答了一个更根本的问题：在数据和算力不断增长的今天，我们是否还需要“理论”和“规律”？

我们的研究表明，答案是肯定的。将重力模型这一源自物理与地理学的经典理论，引入现代深度学习框架，不但没有限制模型能力，反而帮助模型在复杂的城市系统中学到了更符合人类认知的空间关系，有效缓解了深层神经网络常见的过度平滑问题。

更重要的是，这种“物理引导的机器学习”范式，为城市计算提供了一条可持续的路径：

• 在数据不完备的情况下，仍能做出合理推断；

• 在跨城市、跨区域的应用中，具备更强的泛化能力；

• 在模型决策层面，提供可以被理解和检验的解释。

随着城市感知数据不断丰富，未来的城市智能不应只是“更大的模型”，而应是更懂城市运行逻辑的模型。我们希望 Gravityformer 能成为连接物理规律、地理认知与人工智能的一次有益探索，也为复杂人类行为的建模提供新的可能。

Wang, Y., Wang, Z., Zhang, F.*, Kang, C., Ruan, S., Zhu, D., Tang, C., Ma, Z., Zhang, W., Zheng, Y., Yu, P.S. & Liu, Y. (2025). A Gravity-informed Spatiotemporal Transformer for Human Activity Intensity Prediction. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1-18.

相关代码：

https://github.com/wy-st/Gravityformer

本文转载自：未名时空