尧图网站建设 
最近在指导毕业设计选题时发现很多同学对“知识图谱”项目既向往又畏惧。向往的是其技术栈丰富、成果可视化强、贴合前沿畏惧的是流程长、环节多从数据获取到最终应用每一步都可能踩坑。特别是医药领域数据来源复杂、实体关系多样构建一个可用的问答系统更是挑战重重。本文将以“医药知识图谱问答系统”为例为你拆解一套从零到一的完整实战流程。内容涵盖数据爬虫采集、知识清洗与融合、Neo4j图数据库存储、以及基于规则的智能问答。无论你是数据科学、计算机还是相关专业的学生都可以跟随本文一步步搭建起属于自己的毕设项目掌握从数据到部署的核心技能。1. 项目背景与核心概念解析在开始动手之前我们需要清晰地理解我们要构建的是什么以及它背后的技术逻辑。1.1 什么是医药知识图谱知识图谱Knowledge Graph本质上是一种用图结构来建模和存储知识的技术。在图结构中节点Node代表实体如“阿司匹林”、“高血压”边Edge代表实体之间的关系如“治疗”、“引起”。医药知识图谱则是将这一技术应用于医疗健康领域。它能够将零散的医学知识药品、疾病、症状、检查、基因等组织成一张巨大的、相互关联的网络。例如实体阿司匹林药品、高血压疾病、头痛症状。关系阿司匹林 -[治疗]- 头痛高血压 -[可能引起]- 头痛。这种结构化的知识表示使得计算机能够“理解”医学概念间的复杂关联为后续的智能应用如问答、推荐、辅助诊断打下基础。1.2 智能问答系统如何工作基于知识图谱的问答系统KBQA, Knowledge Base Question Answering其核心目标是理解用户的自然语言问题并从知识图谱中检索出准确的答案。一个简化的流程如下自然语言理解系统接收到用户问题如“阿司匹林能治什么病”实体识别与链接识别问题中的关键实体“阿司匹林”并将其链接到知识图谱中对应的“阿司匹林”节点。关系识别/意图分类识别用户的意图是查询“治疗”关系。图查询构建与执行根据识别出的实体和关系/意图构建图数据库查询语句如Cypher查询。答案检索与生成执行查询从图谱中获取答案实体如“头痛”、“心绞痛”并以自然语言形式返回给用户。本项目的重点在于构建一个基于规则或模板匹配的问答系统这是入门KBQA最实用、最可控的方式非常适合毕设场景。1.3 技术栈选型说明数据采集PythonRequestsBeautifulSoup4/lxml。选择成熟稳定的爬虫库易于上手和调试。知识存储Neo4j。当前最流行的原生图数据库拥有强大的图查询语言Cypher和活跃的社区桌面版和Docker部署都非常方便。后端服务Spring Boot。Java生态中最主流的Web框架结构清晰整合Neo4j有成熟的 starter便于构建RESTful API。问答引擎基于规则的模板匹配。我们先实现一个稳定可用的版本后期可扩展为基于机器学习的方法。部署Docker。实现环境隔离与一键部署解决“在我电脑上能跑”的难题。2. 环境准备与版本说明工欲善其事必先利其器。以下是构建本项目所需的基础环境请务必确保你的开发环境已就绪。2.1 基础软件环境操作系统Windows 10/11, macOS, 或 Linux (Ubuntu 20.04)。本文命令以Linux/macOS的bash和Windows的PowerShell为例。JavaJDK 8 或 JDK 11 (推荐)。Spring Boot 2.x 对这两个版本支持最好。# 检查Java版本 java -versionPythonPython 3.8。用于编写数据爬虫和预处理脚本。# 检查Python版本 python --version # 或 python3 --versionMaven3.6。用于管理Java项目依赖和构建。# 检查Maven版本 mvn -vDockerDocker Compose用于容器化部署Neo4j和整个应用。请根据官方文档安装。# 检查Docker版本 docker --version docker-compose --version2.2 Neo4j 安装与启动Neo4j提供了多种安装方式推荐使用Docker最为简洁。方式一Docker快速部署推荐创建一个docker-compose.yml文件version: 3.8 services: neo4j: image: neo4j:5-community container_name: my_neo4j ports: - 7474:7474 # HTTP浏览器端口 - 7687:7687 # Bolt协议端口应用程序连接 environment: - NEO4J_AUTHneo4j/your_password_here # 设置用户名和密码 - NEO4J_PLUGINS[apoc] # 安装APOC插件用于高级图操作 volumes: - ./neo4j/data:/data # 持久化数据 - ./neo4j/logs:/logs - ./neo4j/import:/var/lib/neo4j/import # 挂载导入目录方便导入CSV - ./neo4j/plugins:/plugins restart: unless-stopped在终端中进入该文件所在目录运行docker-compose up -d访问http://localhost:7474使用用户名neo4j和你设置的密码登录Neo4j Browser。方式二桌面版安装适合初学者直观操作从Neo4j官网下载对应操作系统的Desktop版本。安装后可以图形化地创建数据库、运行Cypher查询、查看图数据体验非常友好。2.3 创建Spring Boot项目使用Spring Initializr快速生成项目骨架。访问 start.spring.io 。选择Project: MavenLanguage: JavaSpring Boot: 选择稳定的版本如2.7.xGroup:com.yournameArtifact:medical-kg-qaDependencies: 添加Spring Web,Spring Data Neo4j,Lombok(可选简化代码)。点击“GENERATE”下载项目压缩包并导入到你喜欢的IDEIntelliJ IDEA或Eclipse中。3. 数据采集与知识获取数据是知识图谱的血液。医药数据来源众多如专业数据库DrugBank, PubMed、百科网站、公开数据集等。出于教学和演示目的我们以从公开的医药信息网站模拟爬取数据为例。重要声明在实际项目中务必遵守网站的robots.txt协议尊重版权控制爬取频率避免对目标服务器造成压力。本示例仅展示技术原理。3.1 爬虫目标分析与设计假设我们要爬取“药品-疾病”治疗关系。目标页面结构一个药品详情页包含药品名称、适应症治疗的疾病、不良反应等信息。策略先爬取药品列表页获取每个药品的链接再进入详情页解析所需信息。3.2 Python爬虫代码实现首先安装必要的Python库pip install requests beautifulsoup4 pandas创建爬虫脚本crawler.pyimport requests from bs4 import BeautifulSoup import pandas as pd import time import random # 模拟浏览器请求头避免被简单的反爬机制拦截 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } def get_drug_list(base_url): 获取药品列表页解析出药品名称和详情页链接 drug_list [] try: resp requests.get(base_url, headersHEADERS, timeout10) resp.raise_for_status() # 检查请求是否成功 soup BeautifulSoup(resp.text, html.parser) # 假设列表项在 classdrug-item 的div中链接在a标签里 # 这里的选择器需要根据实际网页结构调整 items soup.select(div.drug-item a) for item in items: drug_name item.text.strip() drug_link item[href] # 处理相对链接 if drug_link.startswith(/): drug_link https://example.com drug_link # 替换为真实域名 drug_list.append({name: drug_name, url: drug_link}) print(f获取到 {len(drug_list)} 个药品链接。) except requests.RequestException as e: print(f获取药品列表失败: {e}) return drug_list def parse_drug_detail(drug_url): 解析单个药品详情页提取适应症疾病 drug_info {name: , indications: []} try: resp requests.get(drug_url, headersHEADERS, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, html.parser) # 提取药品名称假设在 h1 标签内 name_tag soup.find(h1) if name_tag: drug_info[name] name_tag.text.strip() # 提取适应症假设在一个idindications的section里每个疾病是li标签 # 这是最需要根据目标网站实际HTML结构修改的部分 indications_section soup.find(section, idindications) if indications_section: disease_items indications_section.find_all(li) for item in disease_items: disease item.text.strip() if disease: drug_info[indications].append(disease) # 礼貌性延迟避免请求过快 time.sleep(random.uniform(1, 3)) except requests.RequestException as e: print(f解析药品详情页 {drug_url} 失败: {e}) return drug_info def main(): # 示例起始URL请替换为实际可访问且允许爬取的页面 base_url https://example.com/drugs/list print(开始爬取药品列表...) drug_links get_drug_list(base_url) all_drugs_data [] for idx, drug in enumerate(drug_links): print(f正在处理第 {idx1}/{len(drug_links)} 个: {drug[name]}) detail_info parse_drug_detail(drug[url]) if detail_info[name] and detail_info[indications]: all_drugs_data.append(detail_info) # 将数据转换为DataFrame并保存为CSV # 数据结构一行代表一个药品其适应症可能多个需要特殊处理 records [] for drug in all_drugs_data: for disease in drug[indications]: records.append({drug: drug[name], disease: disease, relation: TREATS}) df pd.DataFrame(records) df.to_csv(drug_disease_relations.csv, indexFalse, encodingutf-8-sig) print(f数据爬取完成共获取 {len(records)} 条关系已保存到 drug_disease_relations.csv) if __name__ __main__: main()关键点说明请求头添加User-Agent模拟浏览器是绕过基础反爬的常见做法。异常处理网络请求必须包裹在try-except中并对响应状态码进行检查(resp.raise_for_status())。解析器BeautifulSoup配合select或find方法其选择器写法取决于目标网页的HTML结构。这是爬虫最易变的部分需要你使用浏览器的开发者工具F12仔细分析页面元素。延迟time.sleep是基本的道德爬虫准则避免高频请求对服务器造成负担。数据存储我们将“药品-疾病”关系保存为CSV格式每行一条关系方便后续导入Neo4j。3.3 数据清洗与预处理爬取的原始数据通常很“脏”包含空白字符、重复项、不一致的命名等。我们需要进行清洗。创建数据清洗脚本data_clean.pyimport pandas as pd import re def clean_text(text): 清洗文本去除首尾空格、换行符、多余空格 if pd.isna(text): return # 去除首尾空格和换行 text str(text).strip() # 将多个空格、换行符、制表符替换为单个空格 text re.sub(r\s, , text) return text def main(): # 读取爬取的原始数据 df pd.read_csv(drug_disease_relations.csv) print(f原始数据量: {len(df)}) # 1. 清洗药品和疾病名称 df[drug] df[drug].apply(clean_text) df[disease] df[disease].apply(clean_text) # 2. 去除药品或疾病名为空的记录 df df[(df[drug] ! ) (df[disease] ! )] # 3. 去除完全重复的记录药品、疾病、关系都相同 df.drop_duplicates(subset[drug, disease, relation], inplaceTrue) # 4. (可选) 简单的实体归一化例如将“阿斯匹林”统一为“阿司匹林” # df[drug] df[drug].replace({阿斯匹林: 阿司匹林, 阿斯匹靈: 阿司匹林}) # 5. 保存清洗后的数据 df.to_csv(drug_disease_relations_cleaned.csv, indexFalse, encodingutf-8-sig) print(f清洗后数据量: {len(df)}) print(数据清洗完成。) # 6. 生成节点文件可选为后续Neo4j导入准备 # 药品节点 drug_nodes df[[drug]].drop_duplicates() drug_nodes[:LABEL] Drug # Neo4j导入所需的标签列 drug_nodes.rename(columns{drug: name:ID}, inplaceTrue) # 指定ID列 drug_nodes.to_csv(drug_nodes.csv, indexFalse) # 疾病节点 disease_nodes df[[disease]].drop_duplicates() disease_nodes[:LABEL] Disease disease_nodes.rename(columns{disease: name:ID}, inplaceTrue) disease_nodes.to_csv(disease_nodes.csv, indexFalse) # 关系文件 relations df.copy() relations[:TYPE] relations[relation] # 关系类型列 relations.rename(columns{drug: :START_ID, disease: :END_ID}, inplaceTrue) relations relations[[:START_ID, :END_ID, :TYPE]] relations.to_csv(relations.csv, indexFalse) print(节点和关系CSV文件已生成可用于Neo4j批量导入。) if __name__ __main__: main()清洗后的数据质量直接决定了知识图谱的可靠性这一步至关重要。4. 知识存储构建Neo4j图数据库有了干净的数据我们就可以将其“灌入”Neo4j构建我们的医药知识图谱。4.1 Neo4j数据模型设计在设计数据模型时我们需要决定节点类型标签和关系类型。节点标签Drug药品、Disease疾病。未来可以扩展Symptom症状、Gene基因等。关系类型TREATS治疗。未来可以扩展CAUSES引起、HAS_SIDE_EFFECT有副作用等。节点属性name名称作为主要属性也是节点的唯一标识。4.2 使用Cypher语句创建图谱在Neo4j Browser (http://localhost:7474) 中我们可以直接运行Cypher查询语言来操作图数据。方法一逐条插入适用于小数据量或测试// 创建药品节点如果不存在 MERGE (d:Drug {name: 阿司匹林}) // 创建疾病节点如果不存在 MERGE (s:Disease {name: 头痛}) // 创建治疗关系 MERGE (d)-[:TREATS]-(s)MERGE命令会检查是否存在具有相同属性的节点/关系如果不存在则创建存在则匹配。这可以避免重复创建。方法二批量导入推荐高效利用我们清洗脚本生成的标准化CSV文件通过Neo4j的LOAD CSV指令批量导入。将生成的drug_nodes.csv,disease_nodes.csv,relations.csv三个文件放入Neo4j的import目录如果你使用Docker部署这个目录已挂载到宿主机的./neo4j/import。在Neo4j Browser中依次执行以下语句// 1. 导入药品节点 LOAD CSV WITH HEADERS FROM file:///drug_nodes.csv AS row MERGE (d:Drug {name: row.name:ID}); // 2. 导入疾病节点 LOAD CSV WITH HEADERS FROM file:///disease_nodes.csv AS row MERGE (d:Disease {name: row.name:ID}); // 3. 创建索引加速后续查询非常重要 CREATE INDEX drug_name_index IF NOT EXISTS FOR (d:Drug) ON (d.name); CREATE INDEX disease_name_index IF NOT EXISTS FOR (d:Disease) ON (d.name); // 4. 导入治疗关系 LOAD CSV WITH HEADERS FROM file:///relations.csv AS row MATCH (startNode {name: row.:START_ID}) MATCH (endNode {name: row.:END_ID}) CALL apoc.merge.relationship(startNode, row.:TYPE, {}, {}, endNode) YIELD rel RETURN count(rel);注意第4步使用了apoc插件中的过程apoc.merge.relationship来合并关系。确保你的Neo4j已安装APOC插件Docker Compose中已配置。如果未安装可以使用基础的MERGE语句但写法更复杂。执行成功后可以运行MATCH (n) RETURN n LIMIT 25在浏览器中可视化查看图谱。4.3 使用Spring Data Neo4j操作图谱在Spring Boot项目中我们可以用面向对象的方式来操作Neo4j。1. 添加依赖与配置确保pom.xml中包含dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-neo4j/artifactId /dependency在application.properties中配置连接# Neo4j连接配置 spring.neo4j.uribolt://localhost:7687 spring.neo4j.authentication.usernameneo4j spring.neo4j.authentication.passwordyour_password_here2. 定义节点实体// 文件路径src/main/java/com/yourname/medicalkgqa/entity/Drug.java package com.yourname.medicalkgqa.entity; import lombok.Data; import org.springframework.data.neo4j.core.schema.*; import java.util.HashSet; import java.util.Set; Node(Drug) // 对应Neo4j中的标签 Data public class Drug { Id GeneratedValue // Neo4j内部生成ID private Long id; Property(name) // 映射到节点的name属性 private String name; // 定义与Disease节点的TREATS关系 Relationship(type TREATS, direction Relationship.Direction.OUTGOING) private SetDisease treatedDiseases new HashSet(); }// 文件路径src/main/java/com/yourname/medicalkgqa/entity/Disease.java package com.yourname.medicalkgqa.entity; import lombok.Data; import org.springframework.data.neo4j.core.schema.*; Node(Disease) Data public class Disease { Id GeneratedValue private Long id; Property(name) private String name; }3. 定义Repository接口// 文件路径src/main/java/com/yourname/medicalkgqa/repository/DrugRepository.java package com.yourname.medicalkgqa.repository; import com.yourname.medicalkgqa.entity.Drug; import org.springframework.data.neo4j.repository.Neo4jRepository; import org.springframework.data.neo4j.repository.query.Query; import org.springframework.data.repository.query.Param; import java.util.List; public interface DrugRepository extends Neo4jRepositoryDrug, Long { // 根据名称查找药品 Drug findByName(String name); // 自定义Cypher查询查找能治疗某种疾病的所有药品 Query(MATCH (d:Drug)-[:TREATS]-(dis:Disease {name: $diseaseName}) RETURN d) ListDrug findDrugsTreatingDisease(Param(diseaseName) String diseaseName); // 自定义Cypher查询查找某个药品治疗的所有疾病 Query(MATCH (d:Drug {name: $drugName})-[:TREATS]-(dis:Disease) RETURN dis) ListDisease findDiseasesTreatedByDrug(Param(drugName) String drugName); }4. 编写服务层与控制器服务层DrugService调用DrugRepository控制器DrugController暴露RESTful API。这部分是标准的Spring Boot三层架构代码略。通过API我们就可以以编程方式查询和操作知识图谱了。5. 智能问答系统实现问答系统是本项目的应用层。我们实现一个基于规则模板匹配的简单但有效的问答引擎。5.1 问答流程设计接收问题用户通过前端或API提交自然语言问题如“阿司匹林治疗什么病”问题解析使用规则或简单的NLP工具如HanLP, jieba进行实体识别和意图分类。实体识别识别出“阿司匹林” -Drug实体。意图分类根据关键词“治疗什么病” - 识别为“查询药品适应症”意图。查询模板匹配根据识别出的实体类型和意图匹配到预定义的Cypher查询模板。执行图查询将实体填充到模板中生成具体的Cypher语句在Neo4j中执行。答案生成将查询结果节点或关系列表组织成自然语言答案返回。5.2 核心代码实现1. 定义意图与模板枚举// 文件路径src/main/java/com/yourname/medicalkgqa/qa/QATemplate.java package com.yourname.medicalkgqa.qa; import lombok.Getter; Getter public enum QATemplate { // 意图查询药品治疗哪些疾病 // 模板中的 :drugName 是占位符将被实际实体替换 DRUG_TREAT_DISEASE(DRUG_TREAT_DISEASE, MATCH (d:Drug {name: $entity})-[:TREATS]-(dis:Disease) RETURN dis.name AS result), // 意图查询疾病有哪些治疗药品 DISEASE_TREATED_BY_DRUG(DISEASE_TREATED_BY_DRUG, MATCH (d:Drug)-[:TREATS]-(dis:Disease {name: $entity}) RETURN d.name AS result), // 可以继续扩展其他意图模板如查询药品副作用、疾病症状等 // DRUG_SIDE_EFFECT(..., ...), // DISEASE_SYMPTOM(..., ...) ; private final String intent; private final String cypherTemplate; QATemplate(String intent, String cypherTemplate) { this.intent intent; this.cypherTemplate cypherTemplate; } // 根据意图关键词匹配模板这里简化处理实际可用更复杂的分类器 public static QATemplate matchIntent(String question) { String q question.toLowerCase(); if (q.contains(治疗什么病) || q.contains(治什么) || q.contains(用于治疗)) { return DRUG_TREAT_DISEASE; } else if (q.contains(用什么药治) || q.contains(怎么治疗) || q.contains(治疗药物)) { return DISEASE_TREATED_BY_DRUG; } // 默认或抛出异常 return null; } }2. 简单的实体识别器// 文件路径src/main/java/com/yourname/medicalkgqa/qa/SimpleEntityRecognizer.java package com.yourname.medicalkgqa.qa; import com.yourname.medicalkgqa.repository.DrugRepository; import com.yourname.medicalkgqa.repository.DiseaseRepository; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component; import java.util.*; import java.util.regex.Pattern; Component public class SimpleEntityRecognizer { Autowired private DrugRepository drugRepository; Autowired private DiseaseRepository diseaseRepository; // 一个非常简单的识别在问题中查找已知的药品或疾病名称 public RecognizedEntity recognize(String question, QATemplate intent) { RecognizedEntity entity new RecognizedEntity(); SetString allNames new HashSet(); // 根据意图优先从相关实体库中查找 if (intent QATemplate.DRUG_TREAT_DISEASE) { // 假设我们有一个获取所有药品名的方法这里简化 // 实际应从数据库或缓存中获取所有药品名列表 ListString drugNames getAllDrugNames(); for (String name : drugNames) { if (question.contains(name)) { entity.setName(name); entity.setType(Drug); break; // 简单处理只识别第一个匹配的 } } } else if (intent QATemplate.DISEASE_TREATED_BY_DRUG) { ListString diseaseNames getAllDiseaseNames(); for (String name : diseaseNames) { if (question.contains(name)) { entity.setName(name); entity.setType(Disease); break; } } } return entity; } private ListString getAllDrugNames() { // 这里应该从Repository或缓存中获取所有药品名 // 示例return drugRepository.findAllDrugNames(); // 为简化返回一个示例列表 return Arrays.asList(阿司匹林, 布洛芬, 青霉素); } private ListString getAllDiseaseNames() { return Arrays.asList(头痛, 发烧, 高血压); } Data // 使用Lombok生成getter/setter public static class RecognizedEntity { private String name; private String type; // Drug or Disease } }3. 问答服务核心// 文件路径src/main/java/com/yourname/medicalkgqa/qa/QuestionAnsweringService.java package com.yourname.medicalkgqa.qa; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.neo4j.core.Neo4jClient; import org.springframework.stereotype.Service; import java.util.List; import java.util.Map; import java.util.stream.Collectors; Service public class QuestionAnsweringService { Autowired private Neo4jClient neo4jClient; // 用于执行动态Cypher查询 Autowired private SimpleEntityRecognizer entityRecognizer; public Answer ask(String question) { Answer answer new Answer(); // 1. 意图识别 QATemplate template QATemplate.matchIntent(question); if (template null) { answer.setAnswer(抱歉我暂时无法理解这个问题。请尝试询问药品治疗哪些疾病或疾病有哪些治疗药物。); return answer; } // 2. 实体识别 SimpleEntityRecognizer.RecognizedEntity entity entityRecognizer.recognize(question, template); if (entity.getName() null) { answer.setAnswer(未在知识库中找到相关实体请检查药品或疾病名称是否正确。); return answer; } // 3. 构建并执行Cypher查询 String cypher template.getCypherTemplate().replace($entity, entity.getName() ); ListString results neo4jClient.query(cypher) .fetchAs(String.class) .mappedBy((typeSystem, record) - record.get(result).asString()) .all() .stream() .collect(Collectors.toList()); // 4. 生成自然语言答案 if (results.isEmpty()) { answer.setAnswer(知识库中没有找到相关信息。); } else { String answerText ; if (template QATemplate.DRUG_TREAT_DISEASE) { answerText String.format(%s 可用于治疗%s。, entity.getName(), String.join(、, results)); } else if (template QATemplate.DISEASE_TREATED_BY_DRUG) { answerText String.format(%s 可以使用以下药物治疗%s。, entity.getName(), String.join(、, results)); } answer.setAnswer(answerText); answer.setRelatedEntities(results); } answer.setMatchedTemplate(template.getIntent()); answer.setRecognizedEntity(entity.getName()); return answer; } Data public static class Answer { private String answer; private String matchedTemplate; private String recognizedEntity; private ListString relatedEntities; } }4. 提供REST API// 文件路径src/main/java/com/yourname/medicalkgqa/controller/QAController.java package com.yourname.medicalkgqa.controller; import com.yourname.medicalkgqa.qa.QuestionAnsweringService; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.*; RestController RequestMapping(/api/qa) public class QAController { Autowired private QuestionAnsweringService qaService; GetMapping(/ask) public QuestionAnsweringService.Answer askQuestion(RequestParam String question) { return qaService.ask(question); } }启动Spring Boot应用后访问http://localhost:8080/api/qa/ask?question阿司匹林治疗什么病即可获得JSON格式的答案。6. 系统部署与上线一个完整的毕设项目部署演示是加分项。使用Docker Compose可以轻松将整个系统容器化。6.1 编写Dockerfile为Spring Boot应用创建Dockerfile# 使用官方Maven镜像构建应用 FROM maven:3.8.6-eclipse-temurin-11 AS build WORKDIR /app COPY pom.xml . COPY src ./src RUN mvn clean package -DskipTests # 使用轻量级JRE运行环境 FROM eclipse-temurin:11-jre-focal WORKDIR /app COPY --frombuild /app/target/*.jar app.jar EXPOSE 8080 ENTRYPOINT [java, -jar, app.jar]6.2 编写整合的docker-compose.yml将Neo4j和我们的应用编排在一起version: 3.8 services: neo4j: image: neo4j:5-community container_name: medical-kg-neo4j ports: - 7474:7474 - 7687:7687 environment: - NEO4J_AUTHneo4j/your_strong_password_here - NEO4J_PLUGINS[apoc] volumes: - ./neo4j_data:/data - ./neo4j_logs:/logs - ./neo4j_import:/var/lib/neo4j/import healthcheck: test: [CMD, cypher-shell, -u, neo4j, -p, your_strong_password_here, RETURN 1] interval: 10s timeout: 10s retries: 5 networks: - medical-kg-net medical-kg-app: build: . container_name: medical-kg-qa-app ports: - 8080:8080 environment: - SPRING_NEO4J_URIbolt://neo4j:7687 - SPRING_NEO4J_AUTHENTICATION_USERNAMEneo4j - SPRING_NEO4J_AUTHENTICATION_PASSWORDyour_strong_password_here depends_on: neo4j: condition: service_healthy # 等待neo4j健康检查通过后再启动 networks: - medical-kg-net networks: medical-kg-net: driver: bridge关键点网络两个服务在同一个自定义网络medical-kg-net中应用可以通过服务名neo4j访问数据库。健康检查确保应用在Neo4j完全就绪后才启动避免连接失败。环境变量将数据库连接信息通过环境变量传递给Spring Boot应用。6.3 一键部署与访问在包含docker-compose.yml和Dockerfile的目录下执行docker-compose up -d --build等待构建和启动完成后即可访问Neo4j Browser:http://服务器IP:7474问答系统API:http://服务器IP:8080/api/qa/ask?question你的问题7. 常见问题与排查思路在实践过程中你可能会遇到以下问题问题现象可能原因排查思路与解决方案爬虫获取不到数据或报错1. 网站结构已更新。2. 触发反爬机制IP被封、请求头不符。3. 网络问题或目标页面不存在。1. 使用浏览器开发者工具重新分析页面元素更新CSS选择器。2. 添加更完整的请求头如Referer, Accept等使用代理IP池增加随机延迟。3. 检查URL是否正确尝试用浏览器直接访问。Neo4j LOAD CSV导入失败1. CSV文件路径错误或不在import目录。2. CSV文件编码问题中文乱码。3. 列名与Cypher语句中引用的不匹配。1. 确认文件在Neo4j容器的/var/lib/neo4j/import/目录下在Cypher中使用file:///前缀。2. 将CSV文件保存为UTF-8编码注意BOM头建议用utf-8-sig。3. 仔细检查Cypher语句中的列名如:START_ID与CSV文件表头完全一致。Spring Boot无法连接Neo4j1. Neo4j服务未启动或端口不对。2. 连接配置URI, 用户名, 密码错误。3. 防火墙或网络策略阻止。1. 运行docker ps确认Neo4j容器状态检查日志docker logs container_id。2. 在application.properties中确认配置密码包含特殊字符时可能需要URL编码。3. 如果使用Docker Compose确保应用配置中的主机名是neo4j服务名而非localhost。问答系统识别不出实体1. 实体识别逻辑过于简单字符串包含匹配。2. 知识库中没有该实体。3. 用户问题中的实体名称与知识库中不一致别名、缩写。1. 考虑引入更专业的NLP工具进行实体识别如HanLP, LTP。2. 扩充知识库数据。3. 在知识库中为实体添加alias属性并在识别时进行模糊匹配或同义词扩展。查询性能慢1. 未创建索引。2. 查询语句未优化。3. 数据量过大。1.务必为经常用于查询条件的属性如name创建索引。2. 使用EXPLAIN或PROFILE分析Cypher查询计划避免全节点扫描。3. 考虑对图进行分片或使用Neo4j企业版集群。8. 项目优化与扩展方向完成基础版本后你可以从以下方向进行深化提升项目深度和复杂度数据源扩展与知识融合多源数据从DrugBank、PubMed、中文医学百科等更多权威渠道爬取或下载数据。知识融合不同来源对同一实体如“阿司匹林”可能有不同表述。需要做实体对齐Entity Alignment将“Aspirin”、“乙酰水杨酸”等都链接到同一个节点。关系扩充除了TREATS增加CAUSES疾病引起症状、HAS_SIDE_EFFECT药品有副作用、INTERACTS_WITH药品相互作用等关系。问答系统智能化升级实体链接使用词向量Word2Vec, BERT计算相似度更准确地将问题中的词链接到知识库实体。意图识别模型将简单的规则匹配升级为基于机器学习如TextCNN, BERT的分类模型识别更多样的问句意图。语义解析研究将复杂自然语言问题直接解析为Cypher查询的语义解析技术。系统功能完善前端界面使用Vue.js或React构建一个简单的Web界面让用户可以直接输入问题并看到可视化结果。图谱可视化集成ECharts、G6或Neo4j自带的可视化库展示查询结果的子图。用户日志与反馈记录用户问答日志用于分析问题和优化系统。工程化与性能缓存对热点查询结果如常见药品信息使用Redis进行缓存大幅提升响应速度。异步处理对于耗时的数据更新或复杂查询引入消息队列如RabbitMQ进行异步处理。API网关与鉴权为系统添加API网关如Spring Cloud Gateway并实现简单的JWT鉴权。这个“医药知识图谱问答系统”项目串联了数据采集、数据处理、数据存储、后端开发和简单AI应用等多个核心技能点是一个非常好的全栈式练手项目。它不仅能够帮助你深入理解知识图谱技术的应用更能让你体验一个完整软件系统的开发流程。 从零构建医药知识图谱问答系统：数据爬虫、Neo4j存储与智能问答实战
最近在指导毕业设计选题时发现很多同学对“知识图谱”项目既向往又畏惧。向往的是其技术栈丰富、成果可视化强、贴合前沿畏惧的是流程长、环节多从数据获取到最终应用每一步都可能踩坑。特别是医药领域数据来源复杂、实体关系多样构建一个可用的问答系统更是挑战重重。本文将以“医药知识图谱问答系统”为例为你拆解一套从零到一的完整实战流程。内容涵盖数据爬虫采集、知识清洗与融合、Neo4j图数据库存储、以及基于规则的智能问答。无论你是数据科学、计算机还是相关专业的学生都可以跟随本文一步步搭建起属于自己的毕设项目掌握从数据到部署的核心技能。1. 项目背景与核心概念解析在开始动手之前我们需要清晰地理解我们要构建的是什么以及它背后的技术逻辑。1.1 什么是医药知识图谱知识图谱Knowledge Graph本质上是一种用图结构来建模和存储知识的技术。在图结构中节点Node代表实体如“阿司匹林”、“高血压”边Edge代表实体之间的关系如“治疗”、“引起”。医药知识图谱则是将这一技术应用于医疗健康领域。它能够将零散的医学知识药品、疾病、症状、检查、基因等组织成一张巨大的、相互关联的网络。例如实体阿司匹林药品、高血压疾病、头痛症状。关系阿司匹林 -[治疗]- 头痛高血压 -[可能引起]- 头痛。这种结构化的知识表示使得计算机能够“理解”医学概念间的复杂关联为后续的智能应用如问答、推荐、辅助诊断打下基础。1.2 智能问答系统如何工作基于知识图谱的问答系统KBQA, Knowledge Base Question Answering其核心目标是理解用户的自然语言问题并从知识图谱中检索出准确的答案。一个简化的流程如下自然语言理解系统接收到用户问题如“阿司匹林能治什么病”实体识别与链接识别问题中的关键实体“阿司匹林”并将其链接到知识图谱中对应的“阿司匹林”节点。关系识别/意图分类识别用户的意图是查询“治疗”关系。图查询构建与执行根据识别出的实体和关系/意图构建图数据库查询语句如Cypher查询。答案检索与生成执行查询从图谱中获取答案实体如“头痛”、“心绞痛”并以自然语言形式返回给用户。本项目的重点在于构建一个基于规则或模板匹配的问答系统这是入门KBQA最实用、最可控的方式非常适合毕设场景。1.3 技术栈选型说明数据采集PythonRequestsBeautifulSoup4/lxml。选择成熟稳定的爬虫库易于上手和调试。知识存储Neo4j。当前最流行的原生图数据库拥有强大的图查询语言Cypher和活跃的社区桌面版和Docker部署都非常方便。后端服务Spring Boot。Java生态中最主流的Web框架结构清晰整合Neo4j有成熟的 starter便于构建RESTful API。问答引擎基于规则的模板匹配。我们先实现一个稳定可用的版本后期可扩展为基于机器学习的方法。部署Docker。实现环境隔离与一键部署解决“在我电脑上能跑”的难题。2. 环境准备与版本说明工欲善其事必先利其器。以下是构建本项目所需的基础环境请务必确保你的开发环境已就绪。2.1 基础软件环境操作系统Windows 10/11, macOS, 或 Linux (Ubuntu 20.04)。本文命令以Linux/macOS的bash和Windows的PowerShell为例。JavaJDK 8 或 JDK 11 (推荐)。Spring Boot 2.x 对这两个版本支持最好。# 检查Java版本 java -versionPythonPython 3.8。用于编写数据爬虫和预处理脚本。# 检查Python版本 python --version # 或 python3 --versionMaven3.6。用于管理Java项目依赖和构建。# 检查Maven版本 mvn -vDockerDocker Compose用于容器化部署Neo4j和整个应用。请根据官方文档安装。# 检查Docker版本 docker --version docker-compose --version2.2 Neo4j 安装与启动Neo4j提供了多种安装方式推荐使用Docker最为简洁。方式一Docker快速部署推荐创建一个docker-compose.yml文件version: 3.8 services: neo4j: image: neo4j:5-community container_name: my_neo4j ports: - 7474:7474 # HTTP浏览器端口 - 7687:7687 # Bolt协议端口应用程序连接 environment: - NEO4J_AUTHneo4j/your_password_here # 设置用户名和密码 - NEO4J_PLUGINS[apoc] # 安装APOC插件用于高级图操作 volumes: - ./neo4j/data:/data # 持久化数据 - ./neo4j/logs:/logs - ./neo4j/import:/var/lib/neo4j/import # 挂载导入目录方便导入CSV - ./neo4j/plugins:/plugins restart: unless-stopped在终端中进入该文件所在目录运行docker-compose up -d访问http://localhost:7474使用用户名neo4j和你设置的密码登录Neo4j Browser。方式二桌面版安装适合初学者直观操作从Neo4j官网下载对应操作系统的Desktop版本。安装后可以图形化地创建数据库、运行Cypher查询、查看图数据体验非常友好。2.3 创建Spring Boot项目使用Spring Initializr快速生成项目骨架。访问 start.spring.io 。选择Project: MavenLanguage: JavaSpring Boot: 选择稳定的版本如2.7.xGroup:com.yournameArtifact:medical-kg-qaDependencies: 添加Spring Web,Spring Data Neo4j,Lombok(可选简化代码)。点击“GENERATE”下载项目压缩包并导入到你喜欢的IDEIntelliJ IDEA或Eclipse中。3. 数据采集与知识获取数据是知识图谱的血液。医药数据来源众多如专业数据库DrugBank, PubMed、百科网站、公开数据集等。出于教学和演示目的我们以从公开的医药信息网站模拟爬取数据为例。重要声明在实际项目中务必遵守网站的robots.txt协议尊重版权控制爬取频率避免对目标服务器造成压力。本示例仅展示技术原理。3.1 爬虫目标分析与设计假设我们要爬取“药品-疾病”治疗关系。目标页面结构一个药品详情页包含药品名称、适应症治疗的疾病、不良反应等信息。策略先爬取药品列表页获取每个药品的链接再进入详情页解析所需信息。3.2 Python爬虫代码实现首先安装必要的Python库pip install requests beautifulsoup4 pandas创建爬虫脚本crawler.pyimport requests from bs4 import BeautifulSoup import pandas as pd import time import random # 模拟浏览器请求头避免被简单的反爬机制拦截 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } def get_drug_list(base_url): 获取药品列表页解析出药品名称和详情页链接 drug_list [] try: resp requests.get(base_url, headersHEADERS, timeout10) resp.raise_for_status() # 检查请求是否成功 soup BeautifulSoup(resp.text, html.parser) # 假设列表项在 classdrug-item 的div中链接在a标签里 # 这里的选择器需要根据实际网页结构调整 items soup.select(div.drug-item a) for item in items: drug_name item.text.strip() drug_link item[href] # 处理相对链接 if drug_link.startswith(/): drug_link https://example.com drug_link # 替换为真实域名 drug_list.append({name: drug_name, url: drug_link}) print(f获取到 {len(drug_list)} 个药品链接。) except requests.RequestException as e: print(f获取药品列表失败: {e}) return drug_list def parse_drug_detail(drug_url): 解析单个药品详情页提取适应症疾病 drug_info {name: , indications: []} try: resp requests.get(drug_url, headersHEADERS, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, html.parser) # 提取药品名称假设在 h1 标签内 name_tag soup.find(h1) if name_tag: drug_info[name] name_tag.text.strip() # 提取适应症假设在一个idindications的section里每个疾病是li标签 # 这是最需要根据目标网站实际HTML结构修改的部分 indications_section soup.find(section, idindications) if indications_section: disease_items indications_section.find_all(li) for item in disease_items: disease item.text.strip() if disease: drug_info[indications].append(disease) # 礼貌性延迟避免请求过快 time.sleep(random.uniform(1, 3)) except requests.RequestException as e: print(f解析药品详情页 {drug_url} 失败: {e}) return drug_info def main(): # 示例起始URL请替换为实际可访问且允许爬取的页面 base_url https://example.com/drugs/list print(开始爬取药品列表...) drug_links get_drug_list(base_url) all_drugs_data [] for idx, drug in enumerate(drug_links): print(f正在处理第 {idx1}/{len(drug_links)} 个: {drug[name]}) detail_info parse_drug_detail(drug[url]) if detail_info[name] and detail_info[indications]: all_drugs_data.append(detail_info) # 将数据转换为DataFrame并保存为CSV # 数据结构一行代表一个药品其适应症可能多个需要特殊处理 records [] for drug in all_drugs_data: for disease in drug[indications]: records.append({drug: drug[name], disease: disease, relation: TREATS}) df pd.DataFrame(records) df.to_csv(drug_disease_relations.csv, indexFalse, encodingutf-8-sig) print(f数据爬取完成共获取 {len(records)} 条关系已保存到 drug_disease_relations.csv) if __name__ __main__: main()关键点说明请求头添加User-Agent模拟浏览器是绕过基础反爬的常见做法。异常处理网络请求必须包裹在try-except中并对响应状态码进行检查(resp.raise_for_status())。解析器BeautifulSoup配合select或find方法其选择器写法取决于目标网页的HTML结构。这是爬虫最易变的部分需要你使用浏览器的开发者工具F12仔细分析页面元素。延迟time.sleep是基本的道德爬虫准则避免高频请求对服务器造成负担。数据存储我们将“药品-疾病”关系保存为CSV格式每行一条关系方便后续导入Neo4j。3.3 数据清洗与预处理爬取的原始数据通常很“脏”包含空白字符、重复项、不一致的命名等。我们需要进行清洗。创建数据清洗脚本data_clean.pyimport pandas as pd import re def clean_text(text): 清洗文本去除首尾空格、换行符、多余空格 if pd.isna(text): return # 去除首尾空格和换行 text str(text).strip() # 将多个空格、换行符、制表符替换为单个空格 text re.sub(r\s, , text) return text def main(): # 读取爬取的原始数据 df pd.read_csv(drug_disease_relations.csv) print(f原始数据量: {len(df)}) # 1. 清洗药品和疾病名称 df[drug] df[drug].apply(clean_text) df[disease] df[disease].apply(clean_text) # 2. 去除药品或疾病名为空的记录 df df[(df[drug] ! ) (df[disease] ! )] # 3. 去除完全重复的记录药品、疾病、关系都相同 df.drop_duplicates(subset[drug, disease, relation], inplaceTrue) # 4. (可选) 简单的实体归一化例如将“阿斯匹林”统一为“阿司匹林” # df[drug] df[drug].replace({阿斯匹林: 阿司匹林, 阿斯匹靈: 阿司匹林}) # 5. 保存清洗后的数据 df.to_csv(drug_disease_relations_cleaned.csv, indexFalse, encodingutf-8-sig) print(f清洗后数据量: {len(df)}) print(数据清洗完成。) # 6. 生成节点文件可选为后续Neo4j导入准备 # 药品节点 drug_nodes df[[drug]].drop_duplicates() drug_nodes[:LABEL] Drug # Neo4j导入所需的标签列 drug_nodes.rename(columns{drug: name:ID}, inplaceTrue) # 指定ID列 drug_nodes.to_csv(drug_nodes.csv, indexFalse) # 疾病节点 disease_nodes df[[disease]].drop_duplicates() disease_nodes[:LABEL] Disease disease_nodes.rename(columns{disease: name:ID}, inplaceTrue) disease_nodes.to_csv(disease_nodes.csv, indexFalse) # 关系文件 relations df.copy() relations[:TYPE] relations[relation] # 关系类型列 relations.rename(columns{drug: :START_ID, disease: :END_ID}, inplaceTrue) relations relations[[:START_ID, :END_ID, :TYPE]] relations.to_csv(relations.csv, indexFalse) print(节点和关系CSV文件已生成可用于Neo4j批量导入。) if __name__ __main__: main()清洗后的数据质量直接决定了知识图谱的可靠性这一步至关重要。4. 知识存储构建Neo4j图数据库有了干净的数据我们就可以将其“灌入”Neo4j构建我们的医药知识图谱。4.1 Neo4j数据模型设计在设计数据模型时我们需要决定节点类型标签和关系类型。节点标签Drug药品、Disease疾病。未来可以扩展Symptom症状、Gene基因等。关系类型TREATS治疗。未来可以扩展CAUSES引起、HAS_SIDE_EFFECT有副作用等。节点属性name名称作为主要属性也是节点的唯一标识。4.2 使用Cypher语句创建图谱在Neo4j Browser (http://localhost:7474) 中我们可以直接运行Cypher查询语言来操作图数据。方法一逐条插入适用于小数据量或测试// 创建药品节点如果不存在 MERGE (d:Drug {name: 阿司匹林}) // 创建疾病节点如果不存在 MERGE (s:Disease {name: 头痛}) // 创建治疗关系 MERGE (d)-[:TREATS]-(s)MERGE命令会检查是否存在具有相同属性的节点/关系如果不存在则创建存在则匹配。这可以避免重复创建。方法二批量导入推荐高效利用我们清洗脚本生成的标准化CSV文件通过Neo4j的LOAD CSV指令批量导入。将生成的drug_nodes.csv,disease_nodes.csv,relations.csv三个文件放入Neo4j的import目录如果你使用Docker部署这个目录已挂载到宿主机的./neo4j/import。在Neo4j Browser中依次执行以下语句// 1. 导入药品节点 LOAD CSV WITH HEADERS FROM file:///drug_nodes.csv AS row MERGE (d:Drug {name: row.name:ID}); // 2. 导入疾病节点 LOAD CSV WITH HEADERS FROM file:///disease_nodes.csv AS row MERGE (d:Disease {name: row.name:ID}); // 3. 创建索引加速后续查询非常重要 CREATE INDEX drug_name_index IF NOT EXISTS FOR (d:Drug) ON (d.name); CREATE INDEX disease_name_index IF NOT EXISTS FOR (d:Disease) ON (d.name); // 4. 导入治疗关系 LOAD CSV WITH HEADERS FROM file:///relations.csv AS row MATCH (startNode {name: row.:START_ID}) MATCH (endNode {name: row.:END_ID}) CALL apoc.merge.relationship(startNode, row.:TYPE, {}, {}, endNode) YIELD rel RETURN count(rel);注意第4步使用了apoc插件中的过程apoc.merge.relationship来合并关系。确保你的Neo4j已安装APOC插件Docker Compose中已配置。如果未安装可以使用基础的MERGE语句但写法更复杂。执行成功后可以运行MATCH (n) RETURN n LIMIT 25在浏览器中可视化查看图谱。4.3 使用Spring Data Neo4j操作图谱在Spring Boot项目中我们可以用面向对象的方式来操作Neo4j。1. 添加依赖与配置确保pom.xml中包含dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-neo4j/artifactId /dependency在application.properties中配置连接# Neo4j连接配置 spring.neo4j.uribolt://localhost:7687 spring.neo4j.authentication.usernameneo4j spring.neo4j.authentication.passwordyour_password_here2. 定义节点实体// 文件路径src/main/java/com/yourname/medicalkgqa/entity/Drug.java package com.yourname.medicalkgqa.entity; import lombok.Data; import org.springframework.data.neo4j.core.schema.*; import java.util.HashSet; import java.util.Set; Node(Drug) // 对应Neo4j中的标签 Data public class Drug { Id GeneratedValue // Neo4j内部生成ID private Long id; Property(name) // 映射到节点的name属性 private String name; // 定义与Disease节点的TREATS关系 Relationship(type TREATS, direction Relationship.Direction.OUTGOING) private SetDisease treatedDiseases new HashSet(); }// 文件路径src/main/java/com/yourname/medicalkgqa/entity/Disease.java package com.yourname.medicalkgqa.entity; import lombok.Data; import org.springframework.data.neo4j.core.schema.*; Node(Disease) Data public class Disease { Id GeneratedValue private Long id; Property(name) private String name; }3. 定义Repository接口// 文件路径src/main/java/com/yourname/medicalkgqa/repository/DrugRepository.java package com.yourname.medicalkgqa.repository; import com.yourname.medicalkgqa.entity.Drug; import org.springframework.data.neo4j.repository.Neo4jRepository; import org.springframework.data.neo4j.repository.query.Query; import org.springframework.data.repository.query.Param; import java.util.List; public interface DrugRepository extends Neo4jRepositoryDrug, Long { // 根据名称查找药品 Drug findByName(String name); // 自定义Cypher查询查找能治疗某种疾病的所有药品 Query(MATCH (d:Drug)-[:TREATS]-(dis:Disease {name: $diseaseName}) RETURN d) ListDrug findDrugsTreatingDisease(Param(diseaseName) String diseaseName); // 自定义Cypher查询查找某个药品治疗的所有疾病 Query(MATCH (d:Drug {name: $drugName})-[:TREATS]-(dis:Disease) RETURN dis) ListDisease findDiseasesTreatedByDrug(Param(drugName) String drugName); }4. 编写服务层与控制器服务层DrugService调用DrugRepository控制器DrugController暴露RESTful API。这部分是标准的Spring Boot三层架构代码略。通过API我们就可以以编程方式查询和操作知识图谱了。5. 智能问答系统实现问答系统是本项目的应用层。我们实现一个基于规则模板匹配的简单但有效的问答引擎。5.1 问答流程设计接收问题用户通过前端或API提交自然语言问题如“阿司匹林治疗什么病”问题解析使用规则或简单的NLP工具如HanLP, jieba进行实体识别和意图分类。实体识别识别出“阿司匹林” -Drug实体。意图分类根据关键词“治疗什么病” - 识别为“查询药品适应症”意图。查询模板匹配根据识别出的实体类型和意图匹配到预定义的Cypher查询模板。执行图查询将实体填充到模板中生成具体的Cypher语句在Neo4j中执行。答案生成将查询结果节点或关系列表组织成自然语言答案返回。5.2 核心代码实现1. 定义意图与模板枚举// 文件路径src/main/java/com/yourname/medicalkgqa/qa/QATemplate.java package com.yourname.medicalkgqa.qa; import lombok.Getter; Getter public enum QATemplate { // 意图查询药品治疗哪些疾病 // 模板中的 :drugName 是占位符将被实际实体替换 DRUG_TREAT_DISEASE(DRUG_TREAT_DISEASE, MATCH (d:Drug {name: $entity})-[:TREATS]-(dis:Disease) RETURN dis.name AS result), // 意图查询疾病有哪些治疗药品 DISEASE_TREATED_BY_DRUG(DISEASE_TREATED_BY_DRUG, MATCH (d:Drug)-[:TREATS]-(dis:Disease {name: $entity}) RETURN d.name AS result), // 可以继续扩展其他意图模板如查询药品副作用、疾病症状等 // DRUG_SIDE_EFFECT(..., ...), // DISEASE_SYMPTOM(..., ...) ; private final String intent; private final String cypherTemplate; QATemplate(String intent, String cypherTemplate) { this.intent intent; this.cypherTemplate cypherTemplate; } // 根据意图关键词匹配模板这里简化处理实际可用更复杂的分类器 public static QATemplate matchIntent(String question) { String q question.toLowerCase(); if (q.contains(治疗什么病) || q.contains(治什么) || q.contains(用于治疗)) { return DRUG_TREAT_DISEASE; } else if (q.contains(用什么药治) || q.contains(怎么治疗) || q.contains(治疗药物)) { return DISEASE_TREATED_BY_DRUG; } // 默认或抛出异常 return null; } }2. 简单的实体识别器// 文件路径src/main/java/com/yourname/medicalkgqa/qa/SimpleEntityRecognizer.java package com.yourname.medicalkgqa.qa; import com.yourname.medicalkgqa.repository.DrugRepository; import com.yourname.medicalkgqa.repository.DiseaseRepository; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component; import java.util.*; import java.util.regex.Pattern; Component public class SimpleEntityRecognizer { Autowired private DrugRepository drugRepository; Autowired private DiseaseRepository diseaseRepository; // 一个非常简单的识别在问题中查找已知的药品或疾病名称 public RecognizedEntity recognize(String question, QATemplate intent) { RecognizedEntity entity new RecognizedEntity(); SetString allNames new HashSet(); // 根据意图优先从相关实体库中查找 if (intent QATemplate.DRUG_TREAT_DISEASE) { // 假设我们有一个获取所有药品名的方法这里简化 // 实际应从数据库或缓存中获取所有药品名列表 ListString drugNames getAllDrugNames(); for (String name : drugNames) { if (question.contains(name)) { entity.setName(name); entity.setType(Drug); break; // 简单处理只识别第一个匹配的 } } } else if (intent QATemplate.DISEASE_TREATED_BY_DRUG) { ListString diseaseNames getAllDiseaseNames(); for (String name : diseaseNames) { if (question.contains(name)) { entity.setName(name); entity.setType(Disease); break; } } } return entity; } private ListString getAllDrugNames() { // 这里应该从Repository或缓存中获取所有药品名 // 示例return drugRepository.findAllDrugNames(); // 为简化返回一个示例列表 return Arrays.asList(阿司匹林, 布洛芬, 青霉素); } private ListString getAllDiseaseNames() { return Arrays.asList(头痛, 发烧, 高血压); } Data // 使用Lombok生成getter/setter public static class RecognizedEntity { private String name; private String type; // Drug or Disease } }3. 问答服务核心// 文件路径src/main/java/com/yourname/medicalkgqa/qa/QuestionAnsweringService.java package com.yourname.medicalkgqa.qa; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.neo4j.core.Neo4jClient; import org.springframework.stereotype.Service; import java.util.List; import java.util.Map; import java.util.stream.Collectors; Service public class QuestionAnsweringService { Autowired private Neo4jClient neo4jClient; // 用于执行动态Cypher查询 Autowired private SimpleEntityRecognizer entityRecognizer; public Answer ask(String question) { Answer answer new Answer(); // 1. 意图识别 QATemplate template QATemplate.matchIntent(question); if (template null) { answer.setAnswer(抱歉我暂时无法理解这个问题。请尝试询问药品治疗哪些疾病或疾病有哪些治疗药物。); return answer; } // 2. 实体识别 SimpleEntityRecognizer.RecognizedEntity entity entityRecognizer.recognize(question, template); if (entity.getName() null) { answer.setAnswer(未在知识库中找到相关实体请检查药品或疾病名称是否正确。); return answer; } // 3. 构建并执行Cypher查询 String cypher template.getCypherTemplate().replace($entity, entity.getName() ); ListString results neo4jClient.query(cypher) .fetchAs(String.class) .mappedBy((typeSystem, record) - record.get(result).asString()) .all() .stream() .collect(Collectors.toList()); // 4. 生成自然语言答案 if (results.isEmpty()) { answer.setAnswer(知识库中没有找到相关信息。); } else { String answerText ; if (template QATemplate.DRUG_TREAT_DISEASE) { answerText String.format(%s 可用于治疗%s。, entity.getName(), String.join(、, results)); } else if (template QATemplate.DISEASE_TREATED_BY_DRUG) { answerText String.format(%s 可以使用以下药物治疗%s。, entity.getName(), String.join(、, results)); } answer.setAnswer(answerText); answer.setRelatedEntities(results); } answer.setMatchedTemplate(template.getIntent()); answer.setRecognizedEntity(entity.getName()); return answer; } Data public static class Answer { private String answer; private String matchedTemplate; private String recognizedEntity; private ListString relatedEntities; } }4. 提供REST API// 文件路径src/main/java/com/yourname/medicalkgqa/controller/QAController.java package com.yourname.medicalkgqa.controller; import com.yourname.medicalkgqa.qa.QuestionAnsweringService; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.*; RestController RequestMapping(/api/qa) public class QAController { Autowired private QuestionAnsweringService qaService; GetMapping(/ask) public QuestionAnsweringService.Answer askQuestion(RequestParam String question) { return qaService.ask(question); } }启动Spring Boot应用后访问http://localhost:8080/api/qa/ask?question阿司匹林治疗什么病即可获得JSON格式的答案。6. 系统部署与上线一个完整的毕设项目部署演示是加分项。使用Docker Compose可以轻松将整个系统容器化。6.1 编写Dockerfile为Spring Boot应用创建Dockerfile# 使用官方Maven镜像构建应用 FROM maven:3.8.6-eclipse-temurin-11 AS build WORKDIR /app COPY pom.xml . COPY src ./src RUN mvn clean package -DskipTests # 使用轻量级JRE运行环境 FROM eclipse-temurin:11-jre-focal WORKDIR /app COPY --frombuild /app/target/*.jar app.jar EXPOSE 8080 ENTRYPOINT [java, -jar, app.jar]6.2 编写整合的docker-compose.yml将Neo4j和我们的应用编排在一起version: 3.8 services: neo4j: image: neo4j:5-community container_name: medical-kg-neo4j ports: - 7474:7474 - 7687:7687 environment: - NEO4J_AUTHneo4j/your_strong_password_here - NEO4J_PLUGINS[apoc] volumes: - ./neo4j_data:/data - ./neo4j_logs:/logs - ./neo4j_import:/var/lib/neo4j/import healthcheck: test: [CMD, cypher-shell, -u, neo4j, -p, your_strong_password_here, RETURN 1] interval: 10s timeout: 10s retries: 5 networks: - medical-kg-net medical-kg-app: build: . container_name: medical-kg-qa-app ports: - 8080:8080 environment: - SPRING_NEO4J_URIbolt://neo4j:7687 - SPRING_NEO4J_AUTHENTICATION_USERNAMEneo4j - SPRING_NEO4J_AUTHENTICATION_PASSWORDyour_strong_password_here depends_on: neo4j: condition: service_healthy # 等待neo4j健康检查通过后再启动 networks: - medical-kg-net networks: medical-kg-net: driver: bridge关键点网络两个服务在同一个自定义网络medical-kg-net中应用可以通过服务名neo4j访问数据库。健康检查确保应用在Neo4j完全就绪后才启动避免连接失败。环境变量将数据库连接信息通过环境变量传递给Spring Boot应用。6.3 一键部署与访问在包含docker-compose.yml和Dockerfile的目录下执行docker-compose up -d --build等待构建和启动完成后即可访问Neo4j Browser:http://服务器IP:7474问答系统API:http://服务器IP:8080/api/qa/ask?question你的问题7. 常见问题与排查思路在实践过程中你可能会遇到以下问题问题现象可能原因排查思路与解决方案爬虫获取不到数据或报错1. 网站结构已更新。2. 触发反爬机制IP被封、请求头不符。3. 网络问题或目标页面不存在。1. 使用浏览器开发者工具重新分析页面元素更新CSS选择器。2. 添加更完整的请求头如Referer, Accept等使用代理IP池增加随机延迟。3. 检查URL是否正确尝试用浏览器直接访问。Neo4j LOAD CSV导入失败1. CSV文件路径错误或不在import目录。2. CSV文件编码问题中文乱码。3. 列名与Cypher语句中引用的不匹配。1. 确认文件在Neo4j容器的/var/lib/neo4j/import/目录下在Cypher中使用file:///前缀。2. 将CSV文件保存为UTF-8编码注意BOM头建议用utf-8-sig。3. 仔细检查Cypher语句中的列名如:START_ID与CSV文件表头完全一致。Spring Boot无法连接Neo4j1. Neo4j服务未启动或端口不对。2. 连接配置URI, 用户名, 密码错误。3. 防火墙或网络策略阻止。1. 运行docker ps确认Neo4j容器状态检查日志docker logs container_id。2. 在application.properties中确认配置密码包含特殊字符时可能需要URL编码。3. 如果使用Docker Compose确保应用配置中的主机名是neo4j服务名而非localhost。问答系统识别不出实体1. 实体识别逻辑过于简单字符串包含匹配。2. 知识库中没有该实体。3. 用户问题中的实体名称与知识库中不一致别名、缩写。1. 考虑引入更专业的NLP工具进行实体识别如HanLP, LTP。2. 扩充知识库数据。3. 在知识库中为实体添加alias属性并在识别时进行模糊匹配或同义词扩展。查询性能慢1. 未创建索引。2. 查询语句未优化。3. 数据量过大。1.务必为经常用于查询条件的属性如name创建索引。2. 使用EXPLAIN或PROFILE分析Cypher查询计划避免全节点扫描。3. 考虑对图进行分片或使用Neo4j企业版集群。8. 项目优化与扩展方向完成基础版本后你可以从以下方向进行深化提升项目深度和复杂度数据源扩展与知识融合多源数据从DrugBank、PubMed、中文医学百科等更多权威渠道爬取或下载数据。知识融合不同来源对同一实体如“阿司匹林”可能有不同表述。需要做实体对齐Entity Alignment将“Aspirin”、“乙酰水杨酸”等都链接到同一个节点。关系扩充除了TREATS增加CAUSES疾病引起症状、HAS_SIDE_EFFECT药品有副作用、INTERACTS_WITH药品相互作用等关系。问答系统智能化升级实体链接使用词向量Word2Vec, BERT计算相似度更准确地将问题中的词链接到知识库实体。意图识别模型将简单的规则匹配升级为基于机器学习如TextCNN, BERT的分类模型识别更多样的问句意图。语义解析研究将复杂自然语言问题直接解析为Cypher查询的语义解析技术。系统功能完善前端界面使用Vue.js或React构建一个简单的Web界面让用户可以直接输入问题并看到可视化结果。图谱可视化集成ECharts、G6或Neo4j自带的可视化库展示查询结果的子图。用户日志与反馈记录用户问答日志用于分析问题和优化系统。工程化与性能缓存对热点查询结果如常见药品信息使用Redis进行缓存大幅提升响应速度。异步处理对于耗时的数据更新或复杂查询引入消息队列如RabbitMQ进行异步处理。API网关与鉴权为系统添加API网关如Spring Cloud Gateway并实现简单的JWT鉴权。这个“医药知识图谱问答系统”项目串联了数据采集、数据处理、数据存储、后端开发和简单AI应用等多个核心技能点是一个非常好的全栈式练手项目。它不仅能够帮助你深入理解知识图谱技术的应用更能让你体验一个完整软件系统的开发流程。