
数据精英春季特训营开车啦!
同时报名还可享更多优惠:
任选2套同报,再减200元!
任选3套同报,再减360元!
任选4套同报,再减520元!
任选5套同报,再减700元!


去年9月,行为与空间智能实验室发布了首个规划垂域大模型PlanGPT, 近期相关论文与源码将陆续公开。今天介绍首篇论文PlanGPT: Enhancing Urban Planning with Tailored Language Model and Efficient Retrieval,成稿于去年9月,日前在arxiv上挂出。PlanGPT发布以来得到众多关注,团队也通过跟10多家规划部门、机构、企业和规划院进行深度交流,逐步扩展规划行业大模型的内涵与外延,不断探讨利用大模型重构规划业务流程的智能应用场景,并与相关部门合作开展定制工具研发与应用基础研究工作,相关行业理解也在最新版本的PlanGPT论文里进行了补充和讨论。
相关阅读:
规划领域专属PlanGPT来啦!未来每个院都会有自己的大模型吗?丨城市数据派

国外推特上的技术大佬给我们论文做的两句话推介:


在城市规划领域,通用大语言模型通常无法满足规划师的特定需求。生成城市规划文本、检索相关信息和评估规划文件等任务都存在独特的挑战。为提高城市专业人员的效率并克服这些障碍,我们推出了 PlanGPT,这是第一个专为城市和空间规划量身定制的专业语言模型。通过与中国城市规划研究院等机构的协作努力,PlanGPT利用定制的本地数据库检索框架、基于行业的基础模型微调以及先进的工具能力进行开发。实证测试证明,PlanGPT取得了先进的表现,提供精准适应城市规划细节的优质响应。
In the field of urban planning, general-purpose large language models often struggle to meet the specific needs of planners. Tasks like generating urban planning texts, retrieving related information, and evaluating planning documents pose unique challenges. To enhance the efficiency of urban professionals and overcome these obstacles, we introduce PlanGPT, the first specialized Large Language Model tailored for urban and spatial planning. Developed through collaborative efforts with institutions like the Chinese Academy of Urban Planning, PlanGPT leverages a customized local database retrieval framework, domain-specific fine-tuning of base models, and advanced tooling capabilities. Empirical tests demonstrate that PlanGPT has achieved advanced performance, delivering responses of superior quality precisely tailored to the intricacies of urban planning.


2. 基于向量数据库的检索增强大模型(Vector LLM)包含两项技术创新:Plan-Emb和Plan-HS,即规划领域的嵌入模型和向量数据库检索系统,用于在大量城市规划文本中进行准确的信息提取,通过使用关键词提取和分层搜索技术,克服了城市规划文本信噪比低等问题。下面的效果图与消融实验结果均证明了方法的有效性。在实际的应用场景建设中, 我们也整合了类似Self-Rag与RA-DIT的技术,通过特定微调提升了检索能力。

The t-SNE projection between Plan-Emb and BERT-cse
3. 规划垂域大模型的微调技术实验:采用严格实验设计的指令自动标注方法与自增广的微调方法来激活模型的跨学科知识,并增强其掌握与运用规划文本风格的能力, 满足规划师的需求。下面图表展示了规划领域知识测试与四项常用任务测试结果,Local LLM 都展示出了优秀能力。

Urban planning-annotation

Common Urban Planning Task Evaluation

Assessment Task process


Zhu, H., Zhang, W., Huang, N., Li, B., Niu, L., Fan, Z., … & Liu, X. (2024). PlanGPT: Enhancing Urban Planning with Tailored Language Model and Efficient Retrieval. arXiv preprint arXiv:2402.19273.
@misc{zhu2024plangpt,
title={PlanGPT: Enhancing Urban Planning with Tailored Language Model and Efficient Retrieval},
author={He Zhu and Wenjia Zhang and Nuoxian Huang and Boyang Li and Luyao Niu and Zipei Fan and Tianle Lun and Yicheng Tao and Junyou Su and Zhaoya Gong and Chenyu Fang and Xing Liu},
year={2024},
eprint={2402.19273},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
原文始发于微信公众号(城市数据派):探秘PlanGPT:如何颠覆规划行业?一文透视垂域大模型技术革新丨城市数据派