ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

DeepSeek本地部署实战:Ollama+Dify打造私有知识库

DeepSeek本地部署实战:Ollama+Dify打造私有知识库 1. 本地部署难点拆解这次到底要搭什么折腾了两天终于把 DeepSeek 本地部署这套流程跑通了。整体链路其实不复杂Ollama 负责把大模型在本地跑起来再用 Dify 接一个知识库让模型回答问题时能引用自己的文档。这篇文章主要给同样准备做本地部署的同学尤其是那些还没接触过 Ollama、知识库或者 RAG 的新手。我会把环境准备、模型下载、知识库配置完整走一遍最后重点分享我在实际部署中踩过的 3 个高频报错报错现象、排查思路、最终解决办法都写清楚看完你至少能少折腾一晚。先说结论如果你只是调云端 API 用大模型完全没必要部署本地买 API 更省心。但当你出现下面几种情况之一本地部署就有它的不可替代性数据不能出内网比如公司内部制度、合同、研发文档根本不敢传到外部接口要做私有化知识库希望模型回答时严格引用公司或团队自己的文档长期高频调用 API成本越来越高一次部署能摊平后面所有调用费想在离线环境做模型实验比如出差、内网开发、边缘设备场景。这个方案里有两个主角。一个是 Ollama它把 DeepSeek 的开源模型拉下来在本机起一个推理服务另一个是 Dify它负责处理文档、切片、向量化、检索并把检索结果和用户问题一起组装成上下文交给本地模型回答。模型在你电脑上文档也在你电脑上这就是私有化知识库的形态。1.1 为什么“本地大模型 知识库”能解决实际问题有些朋友觉得本地部署就是“跑一个 ChatUI 一个模型”其实那只是第一步。没有知识库的时候你问模型“公司年假制度是什么”它只能根据训练时学过的公开知识编。编出来的东西看似通顺实际不可信。知识库的作用是先把公司文档切分成片段存成向量索引每次提问先检索最相关的片段再让模型基于这些片段作答。这种方式在行业里叫检索增强生成英文缩写 RAG。它的核心思想是“不逼模型记住所有细节只让它按需查资料”。实际用下来回答的准确性和可解释性会提升一大截。因为模型不再是凭记忆瞎说而是拿着你给的资料复述、总结、提炼。这个过程完全可以在本机完成不用把资料传到任何外部服务。对于团队内部使用这个价值非常直接你今天上传一份产品说明明天所有人问相关问题都能得到统一、准确的答复而不是去翻群聊记录。DeepSeek 开源版在中文理解和推理上表现不错配合本地知识库后完全可以承担这种内部问答助手的角色。1.2 方案选型为什么是 Ollama 加 Dify模型运行层我选了 Ollama 而不是直接用 llama.cpp 或 vLLM。Ollama 本质上是把 llama.cpp 封装成了服务好处非常明显安装简单、命令统一、自带模型管理对外暴露一个http://localhost:11434接口任何程序都可以直接调用。你不用自己写模型加载、显存管理、并发调度这些底层逻辑只要知道ollama pull、ollama run几个命令就能跑起来。知识库平台我选了 Dify。Dify 自带完整的知识库流水线文档上传、分段、向量化、召回测试、知识库关联全部在界面上操作。而且它对 Ollama 的支持很友好不仅能接 Ollama 的对话模型还能接 Ollama 的嵌入模型意味着整条链路可以做到全本地化不依赖任何云端向量 API。这里有个关键决策嵌入模型我也打算用本地模型不是调外部 Embedding API。因为知识库里的文档可能包含敏感信息如果嵌入向量时还要走外部网络隐私优势就打折了。本地嵌入模型效果够用中文场景推荐bge-m3这模型由国产开源社区贡献中文检索效果很不错。1.3 部署前的硬件和软件准备清单本地部署大模型的第一个门槛不是软件是硬件。我最近实测的一套环境是CPU 8 核、内存 32GB、显卡 8GB 显存跑deepseek-r1:7b量化版加bge-m3嵌入模型流畅度可以接受。如果你只有 16GB 内存没有独显也可以跑 7B 模型但速度会慢需要耐心等回答。组件最低配置推荐配置说明CPU4 核8 核以上影响推理速度和文档切分效率内存16GB32GB模型加载 Docker 服务 嵌入式向量都很吃内存显卡无8GB 显存以上有显卡推理速度质变没有也能跑但慢磁盘20GB50GB 以上deepseek-r1:7b量化版约 4.7GBbge-m3 约 1GBDocker 镜像还要占空间操作系统Windows 10 / Ubuntu 20.04 / macOS 12任意不同系统命令略有差异软件层面需要提前装好 Docker 和 Docker Compose因为 Dify 是通过容器方式部署的。Ollama 可以直接安装在宿主机上不用进 Docker这样它和 Dify 之间通过 HTTP 通信结构也清爽。如果你之前完全没装过 Docker建议先去了解docker compose up -d这个命令的作用后面部署 Dify 就靠它。2. 模型运行层搭建Ollama 安装与 DeepSeek 拉取这一层是所有工作的地基。模型运行不了知识库做得再精致也是白搭。所以我把这一部分拆成三个步骤安装 Ollama、拉取 DeepSeek 模型、处理下载慢的问题。2.1 安装 Ollama 并完成基础配置Ollama 支持 Windows、macOS 和 Linux 三种平台。Windows 用户直接去官网下载安装包安装完成后托盘区会有一个小图标服务默认启动。macOS 用户如果有 Homebrew可以直接执行brew install ollamaLinux 用户最省事的方式是执行官方安装脚本curl -fsSL https://ollama.com/install.sh | sh如果你的网络访问官方脚本不稳定脚本可能拉不下来。可以把脚本内容复制到本地另存为install.sh再sh install.sh执行原理一样。装完后先用ollama --version验证。我习惯在安装后立刻看一眼模型存放目录。默认路径在 Linux 是/usr/share/ollama/.ollama/modelsWindows 是C:\Users\你的用户名\.ollama\models。如果系统盘空间不够建议把模型目录指到其他大分区通过环境变量OLLAMA_MODELS修改。这个操作很多人容易忽略等到拉下好几个模型后才发现系统盘满了非常被动。再用下面两条命令确认 Ollama 服务真的在运行ollama list curl http://localhost:11434如果返回了模型列表或者 curl 输出一段提示信息说明服务正常。这一步虽然简单但建议严格执行后面大量报错都能从这里找到线索。2.2 拉取 DeepSeek 模型完整命令流程Ollama 安装好之后拉模型只需要一条命令。这里以 DeepSeek 的 7B 量化版为例ollama pull deepseek-r1:7b这个模型是从 DeepSeek-R1 蒸馏出来的 7B 版本优点是资源占用低单张消费级显卡或 16GB 内存机器都能跑。如果你显存更大想追求更强推理能力可以拉 14B 或 32Bollama pull deepseek-r1:14b不过提醒一句参数越大硬件要求呈指数上升。14B 量化版在纯 CPU 环境下基本是“能跑但痛苦”32B 则建议 32GB 内存起步、最好有 24G 显存。第一次尝试本地部署我建议就从 7B 开始先跑通全流程再根据体感升级模型。拉取完成后先做一个最简单的对话测试ollama run deepseek-r1:7b 11等于几只回答数字能正确回答说明推理服务正常。这时候你的 DeepSeek 已经能在本地跑起来了但它还只是一个裸模型没有任何知识库能力。接下来就要搭建知识库平台。2.3 模型下载慢或中断的处理离线包方式这是新手遇到最多的第一个坑。ollama pull卡在进度 0B或下到一半报错或者进度条走完但提示拉取失败我都见过。原因不复杂模型文件好几个 GB默认下载源在公网不同网络环境下传输速度差异巨大甚至会中途断掉。除了换一个网络更顺畅的时间点重试我推荐直接用“离线包 Modelfile”的方式绕过网络下载。思路是先从其他渠道把模型 GGUF 格式的文件下载到本地再让 Ollama 基于本地文件构建模型。具体操作分三步。第一步下载 GGUF 文件。可以去 Hugging Face 或 ModelScope 等模型仓库搜索deepseek-r1-distill-qwen-7b选择量化版本比如q4_K_M这种后缀它是质量和体积的平衡点。下载后把文件放到一个目录比如D:\models\deepseek-7b\。第二步写一个 Modelfile。这是 Ollama 构建模型时的“配方”作用是告诉 Ollama 模型文件在哪、用什么参数。Modelfile 内容类似这样FROM /models/deepseek-r1-distill-qwen-7b-q4_K_M.gguf TEMPLATE {{- if .System }}|im_start|system {{ .System }}|im_end| {{- end }}|im_start|user {{ .Prompt }}|im_end| |im_start|assistant PARAMETER temperature 0.7 PARAMETER stop |im_start| PARAMETER stop |im_end|第三步用ollama create构建并运行ollama create deepseek-r1-local -f Modelfile ollama run deepseek-r1-local 你好注意FROM后面务必写 GGUF 文件的绝对路径写相对路径很容易报找不到文件。TEMPLATE不是必须的但建议带否则部分模型回复格式会比较乱。这条离线构建路线虽然多几步但稳定性极高下载文件时可以多线程工具协助下完一次以后也能反复使用。3. 知识库平台搭建Dify 接入本地模型模型就绪后下一步是搭知识库平台。我在这一步反复比较过几套工具最终选了 Dify因为它把“文档导入、切片、向量化、召回”这条知识库流水线做成了可视化操作对本地部署场景很友好也便于后续给团队内部使用。3.1 为什么知识库不能靠“把文档全塞进 Prompt”有朋友问知识库为什么一定要搞得这么复杂直接把文档贴进 Prompt让模型读不就行了这个想法对于两三页的文档勉强可行但对稍大的知识库根本不现实。因为大模型的上下文窗口虽然越来越长但把几十篇文档全部塞进 Prompt一方面会极大拖慢推理速度另一方面模型容易被无关信息干扰抓不住重点。更致命的是很多大模型对长上下文中间部分的内容注意力会衰减专业上说叫“迷失在中间”你贴得越长关键信息越容易被忽略。RAG 的解决方式非常务实把文档切成几百字的小段每段做向量化用户提问时先通过相似度检索找出最相关的几段再把这些片段拼到 Prompt 里。这样每次喂给模型的上下文只有几百到两三千字全是和问题高度相关的信息。检索负责“找人”模型负责“办事”各司其职。3.2 Dify 本地部署步骤Dify 官方提供了 Docker 部署方式命令不复杂但有几个细节容易踩坑。先用 git 拉取代码git clone https://github.com/langgenius/dify.git cd dify/docker然后复制环境变量模板cp .env.example .env这个.env文件里有很多配置项新手不用全改但建议改两个地方一个是SECRET_KEY换成随机字符串另一个是POSTGRES_PASSWORD和DB_PASSWORD改成自己记得住的密码。其他保持默认就能启动。启动 Difydocker compose up -d第一次会拉取很多镜像耗时取决于网络。启动完成后访问http://localhost/install进行初始化。这里有一个很容易卡住的地方Dify 初始化向导会要求填 OpenAI API Key。如果你没有云 API Key随便填一个占位符先进系统再说。进去后在模型供应商页面把不需要的 OpenAI 配置删除再添加 Ollama这样就不会受影响了。如果你已经有服务器占用了 80 端口可以在.env里修改EXPOSE_NGINX_PORT8080再重启容器访问地址就变成http://localhost:8080。3.3 在 Dify 中配置 Ollama 模型进入 Dify 后台后点击右上角头像进入“设置”找到“模型供应商”页面左侧搜索框输入 Ollama点击添加。这里需要配置三项关键内容API Base URL如果 Ollama 和 Dify 在同一台机器上Linux 下填http://localhost:11434。如果你用 Docker Desktop 跑 Dify 而 Ollama 装在宿主机Windows 和 macOS 下可能要填http://host.docker.internal:11434。模型类型分别添加一次语言模型和一次嵌入模型。模型名称严格按照ollama list里显示的名称填写比如deepseek-r1:7b和bge-m3。先执行ollama pull bge-m3把嵌入模型拉下来。bge-m3 是开源的中文嵌入模型体积不大效果却很稳。然后回到 Dify 模型供应商页面LLM 模型名称填deepseek-r1:7b模型类型选LLMEmbedding 模型名称填bge-m3模型类型选Embeddings。填完后点击“测试”按钮如果能看到Connection succeeded之类的提示说明 Dify 已经能调用本地模型了。我自己第一次配置时卡在 Base URL 填错服务日志一直报连接拒绝最后把localhost换成host.docker.internal就好了。4. 知识库创建与应用联调模型和平台对上了接下来做真正有业务价值的事情把文档喂进知识库让模型基于你的文档回答问题。这部分我按创建知识库、创建应用、调优效果三个步骤来讲。4.1 创建知识库分段、索引与召回设置在 Dify 左侧菜单点击“知识库”选择“创建知识库”上传文档。支持 TXT、PDF、Markdown、Word 等格式。上传完成后会进入分段设置页面这里是最影响检索效果的地方我展开讲讲。分段方式通常选“自定义分段”把分段长度设置成 500 到 800 个字符分段重叠设置成 80 到 100 个字符。为什么这么设分段长度太短每段信息量不足检索时容易断章取义太长则一段里塞了多个主题检索噪音变大。重叠部分的作用是避免一段刚好从句子中间切开导致前后文断裂。80 到 100 个字符的重叠相当于多兜住一个完整句子。如果你的文档本身是 Markdown 或严谨排版的文档可以使用“按 Markdown 标题分段”模式这样每段天然对应一个小节语义更完整。对于纯 PDF扫描件必须先 OCR 成文本Dify 不会帮你做扫描识别。索引方式建议选“高质量”也就是向量索引加全文索引。向量索引擅长语义匹配比如你问“怎么请假”它能把文档里关于休假制度的段落找出来。全文索引则适合关键词精确匹配比如员工编号、型号名称这类固定字符串。两者结合召回效果会好很多。这里还有一个细节Dify 的知识库实际上使用的是内置的向量数据库也就是weaviate或qdrant。这些向量库在配置阶段不需要你额外操作Docker 启动时已经一并拉起了。4.2 创建问答应用并联调知识库建好后在左侧菜单点击“创建应用”选“聊天助手”。在应用设置页里把模型切到deepseek-r1:7b然后你会看到“上下文”这个变量。把刚才创建的知识库关联到上下文变量上这一步是知识库生效的关键很多人的问题都出在这里知识库建了但应用没有关联模型当然不会引用。接着在“提示词”里写上类似这样的系统指令你是一个企业内部知识库助手。请先阅读上下文中的资料再回答用户问题。 如果上下文资料中没有答案请直接告诉用户“资料中未找到相关内容”不要编造。 回答时尽量引用上下文原文不要展开无关信息。保存后进入调试界面输入一个和文档内容相关的问题比如“公司年假是怎么规定的”。如果文档里有这个内容回答应该会引用知识库段落。同事问你日常问题也能得到统一答案。4.3 效果调优的几个关键点联调通过只是第一步实际使用中你会发现有些问题答得准有些问题明显答偏。这里分享几个我实测有效的调优手段。第一调召回参数。知识库设置里的“召回设置”可以控制两个核心参数Top K 和 Score 阈值。Top K 表示最多取多少段文档参与回答默认 3当文档内容较长、信息分散时可以调到 5。Score 阈值表示只有相似度达到多少才召回默认 0.5 偏高如果频繁出现“资料中未找到相关内容”可以降到 0.3。第二看召回结果。Dify 调试界面的“上下文”面板会展示实际召回了哪些文档片段。如果召回的片段确实相关但模型没答对那是提示词问题如果召回的片段完全不相关那就要调整文档分段或降低阈值。顺着这一步你能快速定位问题出在检索还是生成。第三区分文档类型。制度类、规范类文档适合按标题分段FAQ 类适合一段一问答产品手册适合较长的分段。不同文档混在一个知识库里时建议分多个知识库再在应用里同时关联Dify 支持一个应用关联多个知识库可以按文档类型分开管理。5. 三个高频报错与排查实录这部分是整篇文章经验的浓缩。我在跑通这套环境的路上踩了不少坑最后选了三个最有代表性、也最影响进度的报错分享给你。每一个我都会按现象、原因、解决步骤来写。5.1 报错一Ollama 模型下载卡住一直失败现象执行ollama pull deepseek-r1:7b后进度条长时间停在 0B或者下载到 80% 左右报错退出重试几次都一样。排查思路先确认不是磁盘空间问题。执行df -h或检查你设置的OLLAMA_MODELS目录所在分区剩余空间最好在模型文件大小的 2 倍以上。因为下载过程中会有临时文件和分片文件不是等模型下完才开始占空间。然后确认是否是网络传输问题可以看下载进度一直是 0% 还是在中途停住前者多半是连不上下载源后者是网络稳定性问题。解决办法我按实施顺序给你清理可能损坏的模型缓存ollama rm deepseek-r1:7b再重新ollama pull。这个操作简单但很多人第一反应是重启电脑而不是清掉半成品结果反复失败。换一个网络相对稳定的时间再拉取比如清晨或深夜。直接走“离线包 Modelfile”构建路线替代在线拉取。具体方法就是 2.3 节写的那一套下载一个几 GB 的 GGUF 文件通常比反复中断的在线拉取更可控。如果 Ollama 服务是通过 systemd 管理的重启前先看服务状态systemctl status ollama确认服务没有异常退出。偶发情况下服务进程长时间运行后状态异常重启服务也能解决。经验不要轻易删除一个下载到 90% 的残缺文件再重头来先查OLLAMA_MODELS目录下 blobs 子目录里的文件大小观察是否还在增长。如果还在增长说明下载其实在进行只是网络慢这时候耐心等就行。5.2 报错二ollama run 出现 500 internal server errorllama-server process现象执行ollama run deepseek-r1:7b时模型开始加载但随后终端返回类似Error: 500 internal server error: llama-server process模型完全无法对话。这个报错在不同模型上都可能出现有朋友拿 2B 小模型测试时也碰到过。原因分析Ollama 内部会启动一个叫 llama-server 的进程它就是真正执行推理的 llama.cpp 服务。这个报错等于说 llama-server 进程还没来得及响应就崩了。根据我的排查经验最常见的原因有三个内存不足、模型文件损坏、Ollama 版本异常。解决办法按顺序排查看服务日志。Linux 用journalctl -u ollama -n 100 --no-pagerWindows 可以在托盘图标上右键看日志目录。日志里如果有Out of memory或killed process字样基本就是内存不足。查看资源占用free -h看内存nvidia-smi看显存。如果剩余内存不到 4GB而模型量化版需要 5GB 左右大概率启动即崩。如果你想用 16GB 内存机器跑 7B 模型至少保证系统其他程序不吃掉一半内存。大模型加载瞬间内存峰值很高。如果机器有内存但不够宽裕可以临时增加 swapsudo fallocate -l 8G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile这一步在 Linux 上很实用实测加到 swap 后2B、7B 模型的加载崩溃问题缓解很多。虽然 swap 会拖慢速度但至少不会直接崩。减短上下文长度。Ollama 默认上下文长度可能偏大加载时显存和内存都会按最大上下文预留。通过环境变量调小能显著降低内存压力OLLAMA_CONTEXT_LENGTH2048 ollama serve如果 Ollama 是系统服务需要在 systemd 服务文件里加一行EnvironmentOLLAMA_CONTEXT_LENGTH2048然后sudo systemctl daemon-reload sudo systemctl restart ollama。如果上面都试过还是报错考虑模型文件损坏。ollama rm deepseek-r1:7b后重新拉取或重新构建。如果换个模型也一样报 500并且日志里没有明确的内存错误那就更新 Ollama 版本旧版本和某些新发布的模型格式不兼容是常有的事。5.3 报错三知识库关联 MySQL 时 1064 语法错误现象在知识库场景里想把 MySQL 中的表单数据作为数据源接入或者在自定义 SQL 配置里填查询语句时报出ERROR 1064 (42000): You have an error in your SQL syntax。原因分析1064 是 MySQL 的语法错误报错信息通常会紧跟出错 SQL 片段。很多人误以为是数据库连接问题实际是 SQL 语句本身没有通过 MySQL 解析。常见原因包括字段名是保留字没加反引号、字符串值没加单引号、SQL 结尾多写了分号、字段名拼写和表结构不一致、MySQL 版本不支持某些语法。解决办法先把 SQL 拿到 MySQL 命令行手工执行一遍mysql -u root -p在 MySQL 命令行里逐句执行出错后会直接指出错位置比在系统里盲猜靠谱得多。检查字段名。如果表的列名恰好叫order、usage、group这类保留字必须用反引号包裹。比如要查询排序字段正确写法是SELECT order, title FROM kb_doc WHERE title 年假;如果在 Dify 或类似系统的“数据源配置”里填 SQL语句结尾不要加分号。很多系统会把你填的 SQL 拼到自己的查询逻辑里你加分号会导致后半段语法错乱。检查 MySQLsql_mode是否启用了ONLY_FULL_GROUP_BY。这个模式下GROUP BY后面的字段和SELECT里的非聚合字段必须严格一致稍微不一致就会报错。查看方式SELECT sql_mode;如果包含ONLY_FULL_GROUP_BY就要重写 SQL确保所有非聚合字段都出现在GROUP BY中。注意 MySQL 版本差异。MySQL 5.7 和 8.0 在窗口函数、字符集默认值上有不少区别。如果你用的是 5.7却写了ROW_NUMBER() OVER这类 8.0 才支持的语法必然 1064。写 SQL 前先确认版本。经验在任何系统里配置 SQL都要先在数据库终端把语句原样跑通再复制进系统。这一步能挡掉九成以上的 1064 报错剩下的基本都是保留字和分号问题。5.4 报错排查顺序与常用命令三个报错是独立的但排查逻辑有共同点先看日志再看资源最后才怀疑软件本身。我整理了一张速查表你可以直接截图保存报错特征优先排查常用命令解决方向ollama pull进度不动或中断网络传输、磁盘空间ollama list、df -h清理缓存重拉或离线构建500 internal server error内存、模型完整度free -h、nvidia-smi、journalctl -u ollama增加 swap、减短上下文、重装模型ERROR 1064 (42000)SQL 语句本身mysql -u root -p单独执行定位、查保留字、去分号排查时有个原则一个错误一个错误地来别同时改多个配置。改一次跑一次确认有效后再动下一个。很多人出问题就是因为“听说要加 swap、要改模型、要换版本”一次性全改了结果都不知道哪个动作产生了效果后面出了新问题也无法定位。6. 资源占用实测与日常使用建议最后聊聊实测数据和使用体感这部分可能对你规划硬件和日常维护最有参考价值。我这套环境跑下来deepseek-r1:7b的 q4_K_M 量化版磁盘占用约 4.7GB运行时内存占用约 5GB用 8GB 显存的显卡加载后显存占用接近 6GB。bge-m3嵌入模型很小模型文件约 1.2GB平时只有做文档向量化时会占用几百 MB 内存。Dify 的容器组比较多有 API 服务、Worker、数据库、向量库、Nginx 等整体占用内存约 3GB 到 4GB。所以一台 16GB 内存的机器跑这套组合属于“能跑但紧巴巴”。32GB 内存会觉得从容很多打开浏览器、办公软件都不太受影响。回答质量方面我要说句公道话裸跑的 7B 模型做开放问答时偶尔会一本正经地编造信息这是小参数模型的天生短板。但接上知识库后情况有显著改善。模型会优先复述上下文里检索到的内容回答的稳定性明显提升。我拿团队的产品 FAQ 测试问“这个功能支持哪些权限角色”二十多个问题里绝大多数回答都能对上文档原文少数没答准的通过调整召回阈值也能救回来。日常使用有几个小建议是我踩过坑后才总结出来的。第一保持 Ollama 常驻可用但别贪多。Ollama 的环境变量OLLAMA_KEEP_ALIVE控制模型在内存中的驻留时间默认是 5 分钟。如果团队使用频繁可以设置时间长一点比如 300 秒避免每次提问都要重新加载模型。但也不要同时加载多个大模型显存和内存都会吃不消。第二别一上来就追求大模型。先用 7B 把全流程跑通感受回答速度和硬件负载再考虑上 14B 甚至 32B。很多人第一步就想部署 32B结果光模型加载就卡了半天最后心态崩了。本地部署这事先能跑起来再跑得好才是正确节奏。第三Dify 和 Ollama 的版本更新节奏不一样升级前先看发布说明。Dify 升级后模型供应商配置一般不会丢但我和朋友都遇到过大版本升级后 Ollama 连接配置莫名失效的情况。升级 Dify 前把.env文件和模型供应商配置截图备份一下这是低成本高回报的习惯。第四定期检查磁盘占用。模型、Docker 镜像、日志文件都会悄悄占据空间。用ollama list查看模型列表不用的模型用ollama rm 模型名删掉。Docker 的悬空镜像可以通过docker system prune清理但要确认不影响正在运行的容器。最后补充一点实操体会也是整个项目里我觉得最有用的一个习惯遇到任何报错先打开日志别急着卸载重装。Ollama 的日志、Dify 容器的日志、MySQL 的错误日志它们都会告诉你真正的失败点。这个项目里绝大多数问题都不是“软件坏了”而是资源不够、配置写错、模型文件不完整这类能定位能修复的问题。把日志看明白了你会发现本地部署大模型其实没那么玄乎就是一套包含模型、接口、数据库、向量的常规服务组合而已。
返回列表