教研动态 | “建筑设计中的技术教学探索”主题月度交流会——面向沿边地区人居环境改善的城乡规划大数据理论与方法课程虚拟教研室

      2025年3月25日晚，“面向沿边地区人居环境改善的城乡规划大数据理论与方法课程虚拟教研室”举行了第十九期月度交流会，邀请清华大学博士生马悦和西藏大学索朗白姆老师、魏琴老师，围绕“世界屋脊上的藏族城市风貌：基于多模态大语言模型的视觉评估”进行分享，介绍了两校依托教研室开展的联合课题的阶段成果。来自清华大学、哈尔滨工业大学、厦门大学、沈阳建筑大学、内蒙古工业大学、深圳大学、西南民族大学、吉林建筑大学、昆明理工大学、西藏大学、新疆大学、广西大学、东北大学13所共建高校的30余位教师参加了此次会议。

      报告环节，马悦同学先介绍了联合课题的背景。该项目脱胎于2023年末在西藏大学举办的城市大数据工作坊，经过两校合作进行的数据采集和后续的研究分析，目前已形成了阶段性成果。本次分享着重关注其中利用多模态大语言模型进行的藏族城市风貌视觉评估工作，由马悦同学代表研究团队，从研究背景、数据与研究方法、研究结果、研究贡献等方面详细展示工作进展。

分享内容展示

      第一部分，关于研究背景，马悦同学阐释了议题的重要性和研究的切入点。藏族文化作为一种跨国界民族文化，影响力贯穿喜马拉雅地区，而藏式风貌正是藏族文化的具象表达，了解藏族风貌在各地区的保存情况，对文化保护传承、跨文化理解和旅游开发都有重要意义。既有研究的关注点多落脚在藏式建筑的形式、结构、材料、功能、布局特征，以及藏式风貌的起源与发展，但对于藏式风貌保存情况及其演变过程，缺乏大规模系统性的观察和量化。随着人工智能技术的快速发展，多模态大语言模型在语言理解和图像处理上的通用能力，为藏式风貌识别这种目标多元复杂、缺乏大量标注数据集的任务提供了机遇。

多模态大语言模型为零样本图片感知与识别提供机遇

      第二部分，马悦详细介绍了数据获取过程与视觉评估方法。研究核心数据是街景图片。关于城市街景，一方面，团队从百度地图和谷歌地图下载了国内外20个目标城市的15.2万张最新公开街景；另一方面，在2023年12月，在当地政府的许可和西藏大学的支持下，团队通过主动感知方式在拉萨市采集了6.5万张街景图片，覆盖市中心521公里道路沿线。关于村落街景，团队通过中国传统村落数字博物馆平台和多校共同合作开展的实地调研，收集了55个传统藏族村落的3800余张实景图片。

主动感知方式采集街景图片

        而后是基于大模型的视觉评估环节，总共分为三方面任务：一是整体藏族城市氛围的感知打分；二是藏式建筑识别，包含传统藏式建筑和仿藏式建筑的识别和区分；三是藏式风貌元素识别，先结合官方设计导则和街景人工审计梳理出11项常见藏式风貌元素，再分别进行要素识别。通过预实验将五种代表性的大模型和人工感知结果进行比较，最终采用效果最佳的chatgpt-4o-latest模型进行视觉评估。经过多轮迭代确定了提示词和模型参数，再借助官方API调用实现快速批量且结果稳定的视觉评估。另外，团队还标注了近1.3万张街景图片，用于训练YOLOv8深度学习模型识别藏式建筑和藏式风貌元素，结果显示多模态大模型的效果要优于传统深度学习模型。

        第三部分，马悦展示并解读了初步的评估分析结果。研究发现，藏式风貌元素最多、感知得分最高的城市集中在中国康巴藏区，其中最高的城市是玉树市；拉达克地区的列城具有最密集的传统藏式建筑，而在中国海晏、共和等地的藏式建筑以仿藏式为主。传统藏式风格建筑中，经幡旗、藏式窗、藏式红墙对于藏式风格感知的贡献最大，而在仿藏式风格建筑中，藏式窗、藏式白墙、屋顶突起等要素贡献最大。通过对比拉萨市2013年公开街景和2023年自采集街景，研究发现藏式风貌感知得分明显提升，仿藏式建筑数量激增，各类藏式风貌元素也均有增加。此外，在村落街景图片中，有四成包含了传统藏式建筑，不同于城市中以仿藏式建筑为主的情况，乡村中仍保存了大量细节丰富的传统藏式寺庙和民居。

藏区城市中的藏式风貌保留情况

      第四部分，马悦总结了研究的主要贡献。首先，在数据方面，通过商业平台批量获取、公开网站下载和主动感知采集等多种方式，形成了目前世界上最大的藏式景观数据集；其次，在方法层面，验证了多模态大语言模型在视觉景观要素识别和感知方面的可用性和优越性；第三，在实践层面，刻画了藏式景观保留情况的空间分布和时间演变特征，例如城市地区藏式元素增多、仿藏式建筑成为主流，乡村地区仍保留众多传统藏式建筑；最后，在理论层面，通过对比传统藏式与仿藏式建筑的感知分数、识别主要贡献要素，解析两类风格的差异，为藏式建筑未来的保护与发展方式提供支持。

传统藏式建筑与仿藏式建筑的感知效果差异

      交流研讨阶段，与会师生就报告内容进行了深入交流。西藏大学魏琴老师先介绍了数据采集过程中由于维稳任务和地理环境等因素而面临的困难，并感谢了清华大学龙瀛老师团队在举办工作坊方面给予的支持。魏老师还表示，视觉评估过程中团队师生进行了多次讨论，目前结果与大众的常规认知基本吻合，成果较为理想。西藏大学索朗白姆老师也指出，本次汇报的成果是多学科交叉合作的完整呈现，在人工智能全面投入教学的背景下，这种合作尤为重要。此外，她还提到了成果对于后期城市设计、乡村振兴和灾后重建的意义，并强调了实时更新数据的重要性。

      清华大学来源老师就藏区数据采集的特殊性进行了提问。对此马悦同学回应称，首先，前期需要通过复杂的流程获得官方许可；其次，在数据处理中要重视敏感区域影像的剔除；另外，部分历史街区巷道狭窄，导致机动车采样受限，一些典型藏式景观未被充分记录，可能使风貌水平被低估，未来研究可以考虑补充背街小巷数据，以完善评估结果。

      西南民族大学文晓斐老师围绕区域风貌差异下的要素分类体系构建、专业人士与公众的感知差异等问题作了提问。马悦回应称，研究依据拉萨城市设计导则建立了统一的指标体系，未来还可构建区域特异性指标。她还指出，大语言模型可不受具体要素分类限制给出抽象的整体感知评分，在跨区域氛围评估任务中具有优势。而针对感知差异问题，未来还可以通过比较现有结果与公众调研结果、对比不同角色化模型模拟结果等方式对其进行探究。

      清华大学博士生郝奇提出，根据此前的探索经验，传统深度学习模型在民族建筑元素定位任务中表现更精准，而大语言模型虽具备整体感知能力，却易出现元素误判的“幻觉”。马悦表示，根据实验结果推测，大模型对少数民族文化符号的识别困难，主要源于专业数据稀缺与术语体系缺失，未来需增强算法的文化敏感性和领域知识融合。