一、本地知识库的核心原理本地知识库基于RAG架构的工作流程是你的文档 → 切片 → 向量化 → 存入向量数据库 ↓ 用户提问 → 向量化 → 相似度检索 → 找到相关文档片段 ↓ 大模型 检索到的上下文 → 生成答案关键组件大模型DeepSeek、Llama等负责理解问题生成答案向量数据库Chroma、Milvus、PGVector等存储文档的向量表示编排层Dify、MaxKB、LangChain等把整个流程串起来二、三套方案按需选择方案A小白友好型——Dify Ollama DeepSeek推荐这是目前最流行、最适合个人/小团队的组合。技术栈Dify开源AI应用开发平台提供可视化界面Ollama本地运行大模型的工具DeepSeek大模型也可以换Llama、Qwen等部署步骤# 1. 安装 Docker如果还没装curl-fsSLhttps://get.docker.com|sh# 2. 安装 Ollamacurl-fsSL|sh# 3. 拉取 DeepSeek 模型根据显存选择ollama pull deepseek-r1:7b# 7B版本需要8GB显存# 或ollama pull deepseek-r1:1.5b# 1.5B版本CPU也能跑# 4. 修改Ollama配置让Dify能访问sudosystemctl stop ollamasudovim/etc/systemd/system/ollama.service# 在[Service]下添加# EnvironmentOLLAMA_HOST0.0.0.0sudosystemctl daemon-reloadsudosystemctl start ollama# 5. 部署 Difygitclonecddify/dockercp.env.example .envsudodocker-composeup-d配置Dify访问http://你的IP:180/install完成安装在设置中添加模型供应商选Ollama地址填http://你的IP:11434模型名填deepseek-r1:7b创建知识库上传你的图书文档PDF/Word/Markdown等创建应用关联知识库就可以聊天了硬件要求最低4核CPU 8GB内存跑1.5B小模型推荐有NVIDIA显卡6GB显存体验更好方案B轻量极简型——PandaWiki适合个人笔记如果你主要是管理个人文档、笔记想要一个带AI功能的Wiki系统。特点开箱即用界面像Notion支持DeepSeek、Ollama等多种模型可配合cpolar实现公网访问部署Docker一键# 一键安装脚本bash-c$(curl-fsSLk)按提示选择安装目录完成后访问http://你的IP:8088即可。适用场景个人知识管理、技术文档、博客系统对Vert.x开发者来说写技术笔记很合适。方案C企业级全栈型——MaxKB万星开源项目如果你需要考虑权限管理、高并发、企业级部署用这个。特点GitHub 1万 Star社区活跃支持多模型切换DeepSeek、LLaMA、Qwen等内置向量数据库Milvus/ChromaRBAC权限控制、审计日志部署# Docker Compose部署gitclonecdMaxKBdocker-composeup-d适合场景团队知识库、客服系统、内部FAQ平台。三、结合Vert.x图书系统既然你在做图书系统我帮你设计一个图书智能助手的场景场景读者可以问关于图书的问题// Vert.x 后端调用本地知识库APIpublicclassBookKnowledgeService{privatefinalWebClientknowledgeClient;publicBookKnowledgeService(Vertxvertx){// 调用上面部署的Dify APIHttpClientOptionsoptionsnewHttpClientOptions().setDefaultHost(localhost).setDefaultPort(180).setSsl(false);this.knowledgeClientWebClient.wrap(vertx.createHttpClient(options));}/** * 读者提问这本书适合什么水平的读者 */publicFutureStringaskBookQuestion(StringbookTitle,Stringquestion){JsonObjectrequestnewJsonObject().put(query,question).put(knowledge_base,books_kb)// Dify中创建的知识库ID.put(user,anonymous);returnknowledgeClient.post(/v1/chat-messages).putHeader(Authorization,Bearer YOUR_API_KEY).sendJson(request).compose(response-{if(response.statusCode()200){JsonObjectresultresponse.bodyAsJsonObject();Stringanswerresult.getString(answer);returnFuture.succeededFuture(answer);}else{returnFuture.failedFuture(Knowledge API error);}});}}可以上传哪些图书资料资料类型作用图书简介PDFAI回答这本书讲什么的目录/TOC让AI回答这本书有哪些章节书评/推荐语让AI回答这本书适合谁读作者介绍让AI回答作者还有哪些作品读者常见问题让AI直接回答FAQ四、选型建议你的情况推荐方案理由个人学习/测试Dify Ollama DeepSeek功能全、社区活跃、文档多个人笔记/文档PandaWiki轻量、界面好、一键部署团队知识库MaxKB万星项目、权限完善、可扩展想深度定制Dify二次开发API完善可以和你Vert.x后端集成硬件配置参考入门4核CPU 8GB内存跑1.5B模型纯CPU也能跑慢点而已标准加个RTX 3060显卡跑7B模型豪华双路CPU 32GB内存 RTX 4090跑70B大模型五、上手最快的方式30分钟内跑起来# 1. 装Dockercurl-fsSLhttps://get.docker.com|sh# 2. 装Ollama 拉模型curl-fsSL|shollama pull deepseek-r1:1.5b# 3. 启动Difygitclonecddify/dockerdocker-composeup-d# 4. 浏览器访问 http://你的IP:180 开始配置配置完后上传几本图书PDF就可以问问题了。