简介这份资源面向计算机相关专业学生与知识图谱入门开发者围绕OSM城市数据构建知识图谱的完整技术流程展开可作为课程大作业或课程设计的参考方案。压缩包共27个文件约26.25MB涵盖xml、json、csv、py、xlsx、ipynb等多种类型json与csv用于存储POI、AOI等城市实体数据py脚本负责数据抽取、实体识别与关系构建ipynb提供可交互的实验过程xml与iml则对应项目配置。资源包内含SJT-code与code两个目录配合README说明便于按模块理解从原始数据到图谱落地的整体链路。目前已有334人学习下载适合希望掌握知识图谱构建方法、需要可运行代码与数据样例的读者参考借鉴。1. OSM城市知识图谱构建从地图数据到可查询的城市大脑手里有一份 OSM 的china-latest.osm.pbf想把它变成能查「某条地铁沿线三公里内所有三甲医院」的知识图谱这件事听起来像是一个数据工程问题实际上是一连串取舍问题。OSM 城市知识图谱构建的核心是把 OpenStreetMap 里扁平的节点、路径、关系抽成带语义的实体和边再灌进 Neo4j 这类图数据库让「城市」这个概念从一张张瓦片变成可推理的网络。它解决的是传统 GIS 查询回答不了的多跳问题——比如「从这所小学步行十分钟能到的、评分高于 4.5 的咖啡馆」SQL 写起来要命图查询一句话。适合谁做城市数据分析、选址、应急调度、物流路径规划的后端和算法同学以及想用 Neo4j 构建知识图谱练手但苦于没有真实数据的开发者。这篇不聊虚的从数据下载一路讲到 Cypher 调优中间该踩的坑一个不落。2. 数据准备与 OSM 标签体系先搞懂 pbf 里到底有什么2.1 OSM 的三元结构与城市要素映射OpenStreetMap 的数据模型只有三种原语node点、way线或面、relation关系。node 有经纬度way 是一串有序 node 的引用relation 是一组 node/way/relation 的集合。听起来简单但城市知识图谱要的「医院」「学校」「地铁站」并不是直接存在的类型而是靠 tags 这个键值对字典标记出来的。比如一个医院可能是amenityhospital的 node也可能是一个buildinghospital的 way 围成的面甚至是一个 relation 把多个楼和场地组合起来。这就是第一个认知门槛同一个城市实体在 OSM 里可能有三种几何表达。我一般会先做一次标签普查而不是上来就写抽取规则。用osmium的tags-filter或者osmium fileinfo看目标区域里amenity、shop、highway、public_transport这些 key 的分布心里有数再动手。城市知识图谱构建最怕的就是规则写死了结果发现目标城市的地铁站用的是railwaystation而不是public_transportstation白跑一遍。2.2 下载与裁剪拿到一份能用的 pbf数据源用 Geofabrik 的区域 extracts国内城市一般下china-latest.osm.pbf但全国包太大先裁到目标城市。下面这套命令是我常用的流程依赖osmium-tool装好之后直接跑。# 1. 下载全国包约 1GB视网络而定 wget https://download.geofabrik.de/asia/china-latest.osm.pbf # 2. 用城市边界裁剪boundary.geojson 是你自己准备的目标城市范围 osmium extract -b 116.0,39.6,116.8,40.2 china-latest.osm.pbf -o beijing.osm.pbf # 3. 只保留知识图谱需要的要素减小体积、加快后续解析 osmium tags-filter beijing.osm.pbf \ n/amenityhospital,clinic,school,university,restaurant,cafe,bank \ n/shopsupermarket,convenience \ n/public_transportstation \ n/railwaystation,subway_entrance \ w/highwayprimary,secondary,tertiary,residential \ w/buildinghospital,school \ -o beijing_filtered.osm.pbf # 4. 查看过滤后的统计确认要素数量合理 osmium fileinfo -e beijing_filtered.osm.pbfextract -b的四个数字是minlon,minlat,maxlon,maxlat顺序别写反写反了会得到一个空文件这是血泪经验。tags-filter的语法是类型/键值1,值2n/是 nodew/是 wayr/是 relation。过滤这一步很关键全国包直接解析内存扛不住过滤后通常能降到几十 MB后续 Python 处理才跑得动。fileinfo -e会打印各类要素计数如果 node 数量是 0八成是边界框写错了。2.3 用 pyosmium 把 pbf 读成结构化记录过滤完的 pbf 还是二进制需要解析成可处理的记录。pyosmium是官方维护的 Python 绑定比osmosis轻量比手写 XML 解析靠谱。下面这段代码把 node 和 way 分别抽出来存成两个列表后面做实体抽取用。import osmium import pandas as pd class CityHandler(osmium.SimpleHandler): def __init__(self): super().__init__() self.nodes [] self.ways [] def node(self, n): # 只保留有 tags 的 node纯几何点对图谱没意义 if n.tags: self.nodes.append({ osm_id: n.id, lon: n.location.lon, lat: n.location.lat, tags: dict(n.tags) }) def way(self, w): if w.tags: # 记录 way 的节点引用和中心点中心点用于后续空间关联 self.ways.append({ osm_id: w.id, tags: dict(w.tags), refs: [nd.ref for nd in w.nodes], center_lon: w.nodes[0].lon if len(w.nodes) else None, center_lat: w.nodes[0].lat if len(w.nodes) else None }) handler CityHandler() handler.apply_file(beijing_filtered.osm.pbf, locationsTrue) df_nodes pd.DataFrame(handler.nodes) df_ways pd.DataFrame(handler.ways) print(fnodes: {len(df_nodes)}, ways: {len(df_ways)})apply_file的locationsTrue必须加否则 way 里的 node 拿不到经纬度center_lon全是 None。node()和way()是回调pyosmium 会流式遍历内存占用可控。这里只存了有 tags 的要素因为无 tags 的纯几何点在城市知识图谱里没有语义价值。跑完打印数量正常一个城市过滤后 node 在几万到几十万量级way 在几万量级如果 node 只有几百回去检查tags-filter的规则。3. 实体抽取与关系建模把 tags 翻译成图谱的节点和边3.1 从 tags 到实体类型一张映射表定乾坤OSM 的 tags 是自由标注的同一个概念有多种写法。比如医院可能是amenityhospital也可能是healthcarehospital甚至amenityclinic加healthcarehospital。城市知识图谱构建的实体抽取本质是写一张优先级映射表把 tags 组合映射到统一的实体类型。我一般用「主键优先、辅键补充」的策略下面这张表是核心映射可以直接抄。实体类型主 tag 条件辅助 tag 条件备注医院amenityhospitalhealthcarehospital两者取并集诊所amenityclinichealthcareclinic排除已有医院的学校amenityschool—含中小学大学amenityuniversity—单独类型地铁站railwaystationstationsubway排除火车站公交站highwaybus_stoppublic_transportplatform去重餐厅amenityrestaurant——咖啡馆amenitycafe——银行amenitybank——超市shopsupermarketshopconvenience分大小类映射表要写成配置不要硬编码在代码里。我见过有人把规则写死在 if-else 里后来要加「药店」类型改了三天。用 YAML 或 JSON 存映射代码读配置扩展性完全不一样。3.2 用 Python 做实体抽取与去重有了映射表抽取就是遍历 DataFrame 打标签。但去重是个坑同一个医院可能既有 node 又有 way坐标接近但 osm_id 不同。我的做法是按「名称 坐标网格」去重名称相同且坐标在 50 米内的视为同一实体。import yaml import math # 加载映射配置 with open(entity_mapping.yaml, r, encodingutf-8) as f: mapping yaml.safe_load(f) def classify(tags): 根据 tags 返回实体类型优先级从高到低 for etype, rules in mapping.items(): for rule in rules: key, val rule.split() if tags.get(key) val: return etype return None def grid_key(lon, lat, precision3): 按经纬度网格生成去重键precision3 约 100 米 return (round(lon, precision), round(lat, precision)) # 抽取 node 实体 entities [] for _, row in df_nodes.iterrows(): etype classify(row[tags]) if etype: entities.append({ osm_id: row[osm_id], type: etype, name: row[tags].get(name, ), lon: row[lon], lat: row[lat], grid: grid_key(row[lon], row[lat]) }) # 按 grid name 去重保留第一个 seen set() deduped [] for e in entities: key (e[grid], e[name]) if key not in seen: seen.add(key) deduped.append(e) print(f抽取实体 {len(entities)} 个去重后 {len(deduped)} 个)classify按映射表顺序匹配所以 YAML 里规则顺序就是优先级医院要排在诊所前面。grid_key的precision3对应约 100 米精度太细去不掉重太粗会把相邻两家店合并。去重键用(grid, name)而不是只用 grid是因为同一栋楼里可能有多个不同名称的实体。跑完看数量如果去重后只剩个位数说明classify没匹配上检查 tags 的 key 是不是写成了amenity而实际是healthcare。3.3 关系建模空间邻近与拓扑连接实体有了边怎么建城市知识图谱的边主要有两类空间邻近关系和拓扑连接关系。空间邻近用距离阈值比如「500 米内的医院和药店」建一条NEAR边拓扑连接用 OSM 的 way 引用比如「地铁站 A 和地铁站 B 在同一条线路上」建CONNECTED_TO边。下面这段代码建邻近边用简单的球面距离公式避免引入额外依赖。def haversine(lon1, lat1, lon2, lat2): 计算两点球面距离单位米 R 6371000 phi1, phi2 math.radians(lat1), math.radians(lat2) dphi math.radians(lat2 - lat1) dlambda math.radians(lon2 - lon1) a math.sin(dphi/2)**2 math.cos(phi1)*math.cos(phi2)*math.sin(dlambda/2)**2 return 2 * R * math.asin(math.sqrt(a)) # 建邻近边只对特定类型对建避免边爆炸 near_pairs [(医院, 药店), (学校, 咖啡馆), (地铁站, 餐厅)] edges [] for i, e1 in enumerate(deduped): for e2 in deduped[i1:]: if (e1[type], e2[type]) in near_pairs or (e2[type], e1[type]) in near_pairs: d haversine(e1[lon], e1[lat], e2[lon], e2[lat]) if d 500: edges.append({from: e1[osm_id], to: e2[osm_id], type: NEAR, dist: round(d)}) print(f生成邻近边 {len(edges)} 条)near_pairs是关键不要对所有类型两两建边否则一个城市几十万实体边数会到百亿级内存直接爆。只对业务上有意义的类型对建边比如医院和药店、学校和咖啡馆。haversine的阈值 500 米是经验值做步行可达分析可以调到 800做骑行可以调到 2000。边数打印出来如果超过实体数的 10 倍说明阈值太大或类型对太多回去收窄。4. 灌入 Neo4j 与 Cypher 查询让图谱真正能查4.1 Neo4j 环境准备与批量导入Neo4j 用 Docker 起最省事社区版够用。下面命令起一个带 APOC 插件的实例APOC 后面批量导入要用。docker run -d --name neo4j-osm \ -p 7474:7474 -p 7687:7687 \ -e NEO4J_AUTHneo4j/password123 \ -e NEO4J_PLUGINS[apoc] \ -v $(pwd)/neo4j_data:/data \ neo4j:5.15-communityNEO4J_AUTH设初始密码NEO4J_PLUGINS装 APOC-v把数据挂到本地容器删了数据还在。起完等十几秒浏览器开localhost:7474能连上就 OK。注意社区版不支持多数据库默认用neo4j库就行。4.2 用 Cypher 的 LOAD CSV 批量建节点和边数据从 Python 导出成 CSV再用 Cypher 的LOAD CSV导入比一条条CREATE快几个数量级。先把实体和边写成 CSV。import csv # 导出实体 CSV with open(entities.csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[osm_id, type, name, lon, lat]) writer.writeheader() for e in deduped: writer.writerow({k: e[k] for k in [osm_id, type, name, lon, lat]}) # 导出边 CSV with open(edges.csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[from, to, type, dist]) writer.writeheader() for e in edges: writer.writerow(e)CSV 放 Neo4j 的 import 目录Docker 里是/var/lib/neo4j/import挂载的话放宿主机对应目录。然后跑 Cypher。// 建唯一约束加速后续匹配 CREATE CONSTRAINT entity_id IF NOT EXISTS FOR (e:Entity) REQUIRE e.osm_id IS UNIQUE; // 导入节点 LOAD CSV WITH HEADERS FROM file:///entities.csv AS row MERGE (e:Entity {osm_id: toInteger(row.osm_id)}) SET e.type row.type, e.name row.name, e.lon toFloat(row.lon), e.lat toFloat(row.lat), e:$(row.type); // 导入边 LOAD CSV WITH HEADERS FROM file:///edges.csv AS row MATCH (a:Entity {osm_id: toInteger(row.from)}) MATCH (b:Entity {osm_id: toInteger(row.to)}) MERGE (a)-[r:NEAR {dist: toInteger(row.dist)}]-(b);CREATE CONSTRAINT必须在导入前跑否则 MERGE 会全表扫描几万节点能跑到天荒地老。e:$(row.type)是动态标签把实体类型直接变成 Neo4j 的 label查询时MATCH (h:医院)就能直接命中不用WHERE h.type医院这是 Neo4j 5 的语法。边导入用MERGE而不是CREATE防止重复导入产生重边。如果导入报file:///找不到文件检查 CSV 是不是真在 import 目录Docker 的路径映射容易搞错。4.3 三个能直接用的 Cypher 查询图谱建好验证查询能力。下面三个查询覆盖了城市分析最常见的场景。// 查询1某医院 500 米内的所有药店 MATCH (h:医院 {name: 协和医院})-[r:NEAR]-(p:药店) WHERE r.dist 500 RETURN p.name, r.dist ORDER BY r.dist; // 查询2两所大学之间的最短路径按邻近边跳数 MATCH (a:大学 {name: 北京大学}), (b:大学 {name: 清华大学}) MATCH path shortestPath((a)-[:NEAR*..10]-(b)) RETURN [n IN nodes(path) | n.name] AS route, length(path) AS hops; // 查询3统计各类型实体数量验证导入完整性 MATCH (e:Entity) RETURN e.type AS type, count(*) AS cnt ORDER BY cnt DESC;查询 1 用WHERE r.dist 500过滤边属性比在 Python 里过滤灵活。查询 2 的shortestPath是图数据库的杀手锏SQL 写这个要递归 CTECypher 一行搞定*..10限制最大跳数防止全图遍历。查询 3 用来对账如果「医院」数量和你 Python 里抽出来的对不上回去查 CSV 导出有没有漏行。这三个查询跑通说明图谱基本可用了。5. 避坑与排查OSM 知识图谱构建的五个翻车现场5.1 坐标顺序写反导致空结果现象osmium extract跑完得到一个几 KB 的空文件fileinfo显示 node 数为 0。原因-b参数的顺序是minlon,minlat,maxlon,maxlat很多人按minlat,minlon写结果边界框跑到南极去了。解决记住「经度在前、纬度在后」或者先用osmium fileinfo看全国包的 bbox照着格式填。写反了不会报错只会静默产出空文件这是最阴的坑。5.2 tags 键名大小写和别名不一致现象实体抽取后某类实体数量远少于预期比如「地铁站」只抽到两三个。原因OSM 里地铁站可能标railwaystation加stationsubway也可能标public_transportstation还可能标subwayyes。只匹配一种写法必然漏。解决先做标签普查用osmium tags-filter把相关 key 全导出来看实际值分布映射表里把别名都列上。宁可多写几条规则不要假设数据规范。5.3 邻近边爆炸导致内存溢出现象Python 建边时进程被 OOM Killer 杀掉或者跑了一小时没跑完。原因对所有实体两两算距离复杂度 O(n²)十万实体就是百亿次计算。解决只对业务相关的类型对建边用near_pairs白名单控制进一步可以用网格索引只比较相邻网格内的实体把复杂度降到 O(n)。我一般先跑白名单版本边数控制在实体数的 5 倍以内。5.4 Neo4j 导入时 MERGE 全表扫描现象LOAD CSV导入几万节点跑了半小时还没完。原因没建唯一约束MERGE每次都要全表扫描找匹配节点。解决导入前必须CREATE CONSTRAINT对osm_id建唯一约束。建完约束再导入几万节点通常几十秒完事。另外 CSV 里的osm_id要toInteger字符串匹配比整数慢很多。5.5 动态标签语法在旧版本报错现象e:$(row.type)报语法错误。原因动态标签是 Neo4j 5 才支持的4.x 版本不认。解决要么升级到 5.x要么退回SET e.type row.type然后用WHERE e.type 医院查询。动态标签的好处是查询快但版本兼容性要确认。Docker 起的时候明确指定neo4j:5.15-community别用latest免得版本漂移。6. 进阶技巧用 APOC 做空间索引和路径权重基础图谱跑通后真正让城市分析好用的一步是给边加权重而不是所有NEAR边都一视同仁。我一般用 APOC 的apoc.nodes.group做聚合分析再用边属性做加权最短路。下面这个查询把「距离」作为权重找两所大学之间步行距离最短的路径而不是跳数最少的。// 加权最短路用 APOC 的 Dijkstra权重是边的 dist 属性 MATCH (a:大学 {name: 北京大学}), (b:大学 {name: 清华大学}) CALL apoc.algo.dijkstra(a, b, NEAR, dist) YIELD path, weight RETURN [n IN nodes(path) | n.name] AS route, weight ORDER BY weight LIMIT 1;apoc.algo.dijkstra的第三个参数NEAR表示沿NEAR边正向遍历第四个参数dist是边上的权重属性。返回的weight是路径总距离单位米。这个查询比shortestPath更贴近真实场景因为跳数少不代表距离短。跑之前确认 APOC 装好了RETURN apoc.version()能出版本号就行。另一个实用技巧是用apoc.periodic.iterate做批量更新比如给所有NEAR边按距离分档打标签。CALL apoc.periodic.iterate( MATCH ()-[r:NEAR]-() RETURN r, SET r.level CASE WHEN r.dist 200 THEN 近 WHEN r.dist 500 THEN 中 ELSE 远 END, {batchSize: 1000} );batchSize控制每批处理 1000 条边避免大事务锁表。这个模式适合任何需要遍历全图改属性的场景比一条 Cypher 跑到底稳得多。我自己做城市图谱最大的教训是别一上来就追求全量数据。第一版只抽医院、学校、地铁站三类把链路跑通再逐步加类型。全量数据跑一次几小时调试成本太高小样本快速迭代才是正道。另外 OSM 数据质量参差名称字段经常为空做实体对齐时别依赖名称坐标和 osm_id 更可靠。希望帮到你。本文还有配套的精品资源点击获取