Stata、深度学习、论文写作、PostgreSQL、
ArcGIS Server、交通可达性评价、OpenGIS
随着基于位置服务的社交网络的快速发展，涌现出大量用户与POI的交互数据，使得POI推荐成为一项重要的服务。跨城市的下一时刻POI推荐是POI推荐的特定场景，对于从常住城市（home city）出发并到访当前城市（current city）的游客用户，基于游客在到访城市的历史POI签到轨迹，为游客推荐下一时刻要访问的当地POI，这对于不熟悉当地情况的游客群体有重要的应用意义。游客在常住城市可以依据其历史经验决定下一时刻要访问的POI；而游客在到访城市并不熟悉当地的具体情况，则更需要POI推荐系统来为他们提供推荐和参考。
与一般的POI推荐相比，跨城POI推荐有更为严重的数据稀疏性问题。以往研究表明，用户在当前城市的签到数比其在常住城市的签到数平均少一个数量级。稀疏的用户-POI交互矩阵无法提供足够的信息用于用户和POI的特征学习，进而影响POI推荐的精度。因此，我们需要进行信息的迁移以缓解数据稀疏性。考虑到用户在到访不同城市时，其偏好始终是影响签到决策的重要因素，因此可以将用户偏好作为不同城市之间信息迁移的有效媒介。
用户偏好由长期偏好与短期偏好组成。长期偏好指用户相对稳定的签到习惯及个人偏好，可表示为用户在不同POI类别（或潜在的话题）上的分布，能够从其常住城市推断得到并在访问其他城市时保持相对稳定。短期偏好指用户在短时间内动态的签到模式，会根据到访城市的属性发生变化，而到访城市的属性可以由当地居民的群体偏好推断得到。因此，我们将游客在常住城市的签到、到访城市的当地居民的签到均作为辅助数据集，用于提供有用的用户偏好信息。
为了更准确地构建游客在到访城市的偏好，对于长期偏好与短期偏好均需要考虑偏好的迁移与变动。迁移聚焦于用户偏好之间的共同点或不变量，并将这部分可用的信息补充到数据稀疏的目标用户中；变动聚焦于用户偏好之间的不同点，在构建偏好时根据各自的特点进行区分。我们对同一游客在常住城市和到访城市构建不同的长期偏好表示，将游客在常住城市的长期偏好的有用信息迁移至到访城市中，并根据游客的个人特征进行变动；对到访城市的游客群体和当地居民构建不同的短期偏好表示，将当地居民短期偏好中的有用信息迁移至游客群体，并根据游客的群体特征进行变动。
本研究提出了用户偏好迁移与变动网络（User Preference Transfer and Drift Network, UPTDNet），以循环神经网络（RNN）为基础，将用户迁移与变动和下一时刻POI推荐任务整合到统一的框架中。如图1所示，模型主要由POI信息迁移、短期偏好构建与长期偏好构建三部分构成。
由于模型中设计了多个RNN分支，为了更好地将信息解耦，获得更为贴合任务的特征，同一POI在不同RNN分支中有不同的特征表示。对于在到访城市的游客与当地居民，考虑到这两个用户群体访问的是同一个POI集合，我们使其共享到访城市的POI特征参数，从而将当地居民签到数据中的POI信息迁移至游客群体的签到中。
给定用户的历史POI签到序列，将对应时刻的POI特征输入RNN中，最后一个时刻输出的隐藏状态可表示为用户的短期偏好。为了将当地居民的短期偏好迁移至游客群体，并根据用户角色进一步区分游客的偏好特征，本研究设计了RNN迁移分支（图1中蓝色分支）和变动分支（图1中绿色分支）。由于游客常住城市中的签到不是短期偏好迁移的主要数据来源，研究中另外设置了独立的常住城市分支（图1中黄色分支）。
对于迁移分支，游客群体与当地居民共享该分支的参数，从而达到偏好迁移的效果。对于变动分支，我们希望能区分出不同的用户角色的序列模式，即游客在常住城市、游客在到访城市、到访城市的当地居民，因此本研究设计了用户角色预测器，以变动分支输出的隐藏状态作为输入，预测该序列所属的用户角色。游客在常住城市的签到也被输入到变动分支中，以进一步扩大不同角色之间的特征距离。
本研究以用户的嵌入向量作为长期偏好的表示，对于同一游客在常住城市和到访城市分别赋予不同的长期偏好特征。
为了迁移游客在常住城市的长期偏好，本研究采用转换函数来构建同一游客在不同城市中长期偏好的对应关系：
在获得迁移信息的基础上，还需要根据游客的个人特征对于长期偏好特征进行变动。为了让长期偏好在模型中的特征表示更接近用户实际的签到模式，本研究引入了用户相似性计算的机制，通过计算不同用户之间长期偏好特征的相似性，并以用户在各个POI类别上的签到频率相似性作为约束，使得在真实生活签到模式越接近的用户，其在模型中的特征表示越相似。对模型中用户的长期偏好特征，我们计算两个用户嵌入向量之间的cosine相似性：
对用户的真实签到模式，则通过统计用户的历史签到数据获得签到频率向量，向量长度为POI类别的总数，向量的每一维为用户在该POI类别上的签到频率，随后对两个用户的签到频率向量计算cosine相似性：
模型中的特征相似性与真实的签到频率相似性应尽可能接近，因此采用平均绝对值误差（MAE）作为损失函数进行约束。
如图1所示，将不同分支的短期偏好表示、长期偏好表示进行拼接后，输入全连接层，便可获得对应城市下一时刻的POI推荐结果。对于POI推荐结果采用对数似然函数（log likelyhood）计算POI推荐损失，对角色预测器结果采用对数似然函数计算角色预测损失，对用户相似性约束采用MAE计算损失，最终对以上损失求和，可获得模型的总损失：
各个模型在测试集上的表现，如表2、表3、表4所示。实验结果表明，UPTDNet在各个数据集上的所有指标均取得最优的结果，相比于最好的基线模型实现了10.22%至22.63%的精度提升，表明模型中的偏好迁移与变动机制能够有效缓解数据稀疏问题。
表3 Los Angeles-San Francisco测试集实验结果
表4 Washington-Baltimore测试集实验结果
为了进一步探究模型当中各个组成结构对于推荐结果的影响，我们设计了不同的变体模型在Dallas-Austin数据集上进行探究。
实验结果表明，相比只学习长期偏好的迁移与变动，只学习短期偏好的迁移与变动能够为模型带来更大的提升，我们推断是短期偏好的构建更聚焦于用户签到序列中不断更新和变化的信息，因此更有利于下一时刻POI推荐任务。另外，POI信息的迁移也在一定程度上缓解了跨城数据集的数据稀疏性。
对于偏好中迁移和变动的影响，短期偏好与长期偏好实验均获得了类似的结果，仅构建变动机制比仅构建迁移机制会获得更高的推荐精度，而同时考虑迁移和变动的模型则会有进一步的精度提升。
此外，结果表明了模型在仅使用一个辅助数据集的情况下，相比基线模型也有较大的提升，体现出UPTDNet在现实应用场景中的可实践性和可推广性。尽管常用城市数据集不是短期偏好构建的主要信息来源，将游客在常住城市的签到加入到偏好变动分支中，也能够获得效果的提升，表明其能够有效增加不同用户角色之间的特征差异。在所有模型变体中，同时考虑了长短期偏好迁移与变动的UPTDNet取得了最好的效果，表明其整合信息的有效性。
模型中的用户嵌入向量表示用户的长期偏好。为了进一步探究用户长期偏好之间的联系，我们对用户的长期偏好进行可视化，采用t-SNE算法将模型训练得到的用户嵌入向量投影到二维平面，使得投影后的向量依旧保持其在高维空间中的关系。如图2所示，紫色点代表游客在到访城市的嵌入向量，绿色点代表游客在常住城市的嵌入向量，黄色点为到访城市居民的嵌入向量。由图可以看到，不同颜色的点集分别呈现明显的聚集现象，且游客在其常住城市（即常住城市居民）与到访城市居民的嵌入向量更为接近。因此，我们可以推断出属于不同城市的当地居民有着较为相似的签到模式，并明显区分于游客的签到模式。
本研究还探究了单个用户的长期偏好之间的联系，我们随机选取了游客#166和游客#149，将同个游客在不同城市的嵌入向量用相同的颜色表示。游客#166为图上蓝色点，其在常住城市和到访城市的签到频率向量的cosine相似性为0.7094；游客#149为图上红色点，其在两个城市的签到频率向量cosine相似性为0.2484。我们另外选取了到访城市居民#30（橙色）与#23（橄榄色），他们与游客#166与#149的签到频率相似性分别提升至0.7907与0.6239。图上两点的距离与签到频率相似性成反比，由此可推断出模型的长期偏好特征的相似性与用户真实的签到模式保持一致。上述分析表明了模型对群体层面与个人层面的长期偏好均进行了有效的建模。
本文提出了针对跨城用户的下一时刻POI推荐模型UPTDNet，充分考虑了在跨城访问情境下长期偏好和短期偏好的迁移与变动机制，并从用户群体与个体层面上探究了用户偏好之间的联系。对于短期偏好，采用RNN模型输出的隐藏状态表示短期偏好，通过迁移分支的权重共享进行偏好迁移，通过增设变动分支并添加用户角色预测器来捕捉偏好变动。对于长期偏好，采用嵌入特征表示长期偏好，通过转换函数构建实现偏好迁移，通过用户相似性约束构建偏好变动。与基线模型的对比实验表明UPTDNet通过用户偏好迁移与变动，有效缓解了数据稀疏问题。此外，我们还对于长短期偏好的迁移与变动的影响、用户在长期偏好之间的联系以及模型组成部分的工作机制进行了讨论。
Yang T, Gao Y, Huang Z, et al. UPTDNet: A User Preference Transfer and Drift Network for Cross-City Next POI Recommendation[J]. International Journal of Intelligent Systems, 2023, 2023.
原文始发于微信公众号（城市数据派）：【POI交互数据分析】考虑用户长短期偏好迁移与变动的跨城POI推荐丨城市数据派
规划问道
