简介一份DeepSeek本地部署与私有知识库搭建的完整教程适合有一定技术背景的开发者、AI爱好者及需要本地化部署的研发团队。内容以Ollama为核心详细讲解从安装、配置到运行DeepSeek R1系列模型1.5b、7b、14b、32b、70b的全流程并结合硬件配置给出选型建议用户可根据自身计算资源选择合适版本。教程还涵盖API键设置、ChatBox交互界面接入以及通过Cherry Studio构建企业级私有知识库的方法解决敏感数据安全与定制化问答需求。针对潜在网络风险作者补充了选用硅基流动性API等可靠替代源的应对方案强调实施中的数据保护要点。资源包共1个文件为docx格式文档大小2.8MB项目文件清晰梳理各操作步骤与注意事项。目前已有16452人学习下载适合正在探索本地大模型落地的技术人员参考。1. 先把DeepSeek本地部署这条路看明白Ollama做引擎ChatBox做界面Cherry Studio做知识库把DeepSeek本地部署到自己的机器上是我今年做过最值的一次环境搭建。整套链路只用三个软件Ollama在本地跑起DeepSeek模型ChatBox提供一个能日常对话的界面Cherry Studio负责把文档变成私有知识库。这么做的收益很直接数据不出内网、提问不用按token付费、还能在自己文档上做检索问答。适合的人群很广——开发者要在内网搭模型服务企业要给内部知识做问答个人用户想离线使用一个完全属于自己的大模型。开头先说结论这条路本身不难但坑集中在模型下载、存储路径和上下文配置三处下面按我踩过的顺序来写。2. Ollama里跑起DeepSeek安装、模型下载与存储路径规划2.1 为什么选Ollama当推理引擎把跑模型收窄成两条命令Ollama把跑大模型这件事压缩成了两个命令ollama pull负责下载ollama run负责加载对话。它默认帮你处理了模型量化、显存调度和HTTP服务启动对外暴露一个兼容OpenAI格式的API端口默认11434。相比之下直接用llama.cpp要自己编译和写脚本上vLLM吞吐更高但配置成本和显存要求也更高。对单机部署和三五个人用的内网场景Ollama是性价比最高的选择也是后面ChatBox和Cherry Studio能顺利接入的前提。用Ollama之前先认识三个环境变量它们会贯穿整个部署过程环境变量作用默认值OLLAMA_MODELS模型文件存放目录用户目录下的.ollama/modelsOLLAMA_HOSTOllama服务监听地址127.0.0.1OLLAMA_KEEP_ALIVE模型在显存里的驻留时间5m第一行解决“模型装到哪个盘”第二行解决“谁能访问这个服务”第三行解决“模型用完要不要立刻从显存里释放”。很多人部署完发现C盘被塞满或者局域网里别的电脑连不上基本都能归到这三项没设对。改完环境变量以后要重启Ollama服务才生效这一点在Windows和Linux上都不例外。2.2 安装OllamaWindows、Linux与NAS三条路径和离线安装包Windows上最省事的方式是下载官方安装包双击安装装完任务栏会出现Ollama图标服务默认开机启动。安装时如果你不想让模型占用系统盘可以先把安装包放一边装完立刻改存储路径。Linux上常见做法是下载官方安装脚本本地执行或者直接装对应发行版的deb/rpm包# 把安装脚本放在当前目录后执行建议先看一眼脚本内容再跑 bash install.sh # 装完以后确认服务状态 systemctl status ollama这段命令里我特意没写“curl管道直接执行”因为生产环境里先看脚本再执行是更稳妥的做法毕竟它要向系统里写入二进制和systemd服务。装完后用ollama --version验证一下版本能正常输出版本号就说明装好了。如果你手头是NAS或者已有Docker环境用容器跑更省心模型目录也容易挂到数据盘上# 把模型目录挂到 /data/ollama避免容器删除后模型丢失 docker run -d -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama这条命令的-v是反向挂载宿主机上的/data/ollama对应容器里的模型目录-p 11434:11434暴露Ollama服务端口--name ollama给容器起名方便管理。容器方式的好处是升级和回滚都很干净删掉容器重跑一个就行模型文件留在了宿主机上不会跟着容器一起没。再补一个离线场景内网机器不能直接访问外网时可以在一台能联网的机器上下载Ollama安装包拷过去安装。安装本身不需要联网但拉模型仍然是联网动作离线拉模型的办法放在2.3节说。2.3 下载DeepSeek模型尺寸怎么选、路径怎么改、下载慢怎么兜底先做一件我现在每次都会先做的事把模型存储路径改到数据盘再开始拉模型。Windows下用管理员身份打开命令行:: 设置模型目录到D盘这里需要先退出Ollama托盘图标 setx OLLAMA_MODELS D:\ollama\modelsLinux下如果用的是systemd托管最好是直接编辑服务文件写入环境变量而不是只在当前shell export因为后者重启就丢# 只对当前会话生效适合临时验证 export OLLAMA_MODELS/data/ollama/models # 永久生效重启不丢 sudo systemctl edit ollama # 在打开的override文件里写入 # [Service] # EnvironmentOLLAMA_MODELS/data/ollama/models路径改完以后如果你之前已经拉过模型记得把旧的.ollama/models目录整体搬到新位置再重启服务否则ollama list会变成一个空列表看起来像模型丢了其实只是没去老地方找。拉取模型我一般直接指定具体尺寸而不是拉默认tag# 拉取7B量级模型普通8G显存或纯CPU都能跑 ollama pull deepseek-r1:7b # 拉完以后直接进入交互对话两条命令可以分开执行 ollama run deepseek-r1:7b模型尺寸按显存选我的建议是模型参考显存适合场景deepseek-r1:7b8GB或纯CPU个人体验、轻量问答速度优先deepseek-r1:14b16GB需要一定回答质量的小团队deepseek-r1:32b24GB以上认真当生产力工具用deepseek-r1:70b48GB以上多并发或高要求场景一般交给服务器选型这条不要只看参数表还要看你的硬盘读写速度。机械盘加载7B模型可能要等半分钟SSD上几秒就进交互。如果拉模型时进度条长时间不动最常见的兜底做法是找一台网络条件好的机器用同样的Ollama版本把模型拉好然后直接把整个.ollama/models目录拷到目标机器。目标是离线环境也适用拷过去后在目标机器上执行ollama list能识别出已有模型tag不需要重新下载。注意两台机器的Ollama版本尽量保持一致版本差太多时模型索引格式可能不兼容这是一个很隐蔽的坑。3. ChatBox接上Ollama把本地模型变成可对话的生产力入口3.1 为什么需要ChatBox模型接口不是给普通用户用的界面Ollama跑起来以后你直接面对的是一个命令行和一个裸HTTP接口/api/generate能返回JSON但真拿它来回消息、维护会话历史体验很差。ChatBox是一个桌面客户端专门用来接这类OpenAI兼容接口它把本地DeepSeek变成一个有会话列表、能分组、能写Prompt模板的聊天窗口。对开发者和知识工作者来说这比在终端里敲命令实用得多也方便把对话记录导出成Markdown存档。有人会问既然后面要用Cherry Studio建知识库是不是可以跳过ChatBox我的看法是不要跳。日常闲聊、调Prompt、验证模型状态ChatBox更轻量Cherry Studio因为带了知识库索引启动和配置都偏重。两个客户端共用同一个Ollama服务完全不冲突按场景切换就行。3.2 在ChatBox里配置本地Ollama模型服务地址、API Key占位与模型名ChatBox添加自定义服务时有人会直接选“Ollama”预设项但预设项有时会默认带一个云端地址反而不对。我更建议选OpenAI API兼容这个通用项自己填三个东西服务地址http://127.0.0.1:11434/v1 API Keyollama本地服务不校验但ChatBox要求非空 模型名deepseek-r1:7b解释一下为什么这三个值这样填。服务地址里的/v1是Ollama兼容OpenAI接口的路径前缀漏掉它ChatBox会报“连接失败”API Key填什么都行本地Ollama默认不鉴权但ChatBox的输入框不允许为空填一个占位符就行模型名必须和ollama list里显示的tag完全一致大小写和冒号都不能错。填完后新建对话第一次发消息可能会等十几秒这是模型在加载权重不是卡死。配置完如果连不通我一般按这个顺序排查先确认Ollama还活着在命令行执行ollama list能列出模型说明服务正常再确认端口通不通浏览器直接打开http://127.0.0.1:11434/api/tags能看到一个JSON列表就说明接口正常最后再回ChatBox检查服务地址里是不是把“http://”写漏了。这三步能解决九成以上的连接问题。3.3 上下文不够长怎么办调大num_ctx并理解显存联动对话时间长了ChatBox这边可能突然报错或者回答开始答非所问很多时候不是模型问题是上下文窗口太小。Ollama里的模型默认上下文窗口一般只有2048或4096个token超过以后老内容就被挤掉了模型自然“失忆”。调大上下文需要在Ollama里改参数llama run deepseek-r1:7b /set parameter num_ctx 8192 /save deepseek-r1:7b/set parameter num_ctx 8192把上下文窗口从默认值翻到8192模型能记住更长的对话历史/save deepseek-r1:7b把这次修改永久保存到模型配置里不加这一句下次启动又回到默认值。调大的代价是显存占用明显上涨所以我不建议一上来就设置到32768。你可以在Ollama交互界面输入/show parameter看当前生效值再决定往上调还是往下调。这一节里还有一个容易被忽略的点Ollama默认会在模型空闲5分钟后把显存释放也就是OLLAMA_KEEP_ALIVE5m。如果你做知识库问答每个问题都要重新加载一次模型速度会慢得让人怀疑机器坏了。常见做法是把驻留时间改长一点比如OLLAMA_KEEP_ALIVE30m或者直接设成-1让模型一直驻留显存代价是其他程序拿不到这块显存。4. Cherry Studio搭私有知识库把文档变成DeepSeek能检索的本地知识4.1 私有知识库的组成文档切块、嵌入模型、向量检索与生成回答Cherry Studio在整套链路里的定位是“带知识库的对话客户端”。它不负责模型推理推理还是交给Ollama它做的是把文档切块、向量化、存进本地向量索引提问时把相关片段取出来拼给模型。这条链路常被称为RAG拆开看是四件事文档切块、文本向量化、向量检索、生成回答。很多人第一次搭知识库以为丢了PDF进去就能问结果模型只会复读大道理——因为少了检索这一环模型根本看不到你文档里的内容。文档切块为什么重要如果你把一整本产品手册当一段塞给模型向量化之后检索出来的是一大块泛泛的内容模型能“看到”但抓不住重点。按段落切成小块以后每条向量对应一个具体的知识点检索命中率会高很多。嵌入模型负责把文本变成向量这一步要用专门的embedding模型不能用对话模型顶替。4.2 让Cherry Studio用上Ollama里的两个模型对话模型与嵌入模型分开配先在Ollama里拉一个小的嵌入模型这类模型体量很小、用CPU跑也够快# 拉取通用嵌入模型几百MB级别专用于向量化文本 ollama pull nomic-embed-text注意这个嵌入模型只负责向量化不负责对话对话模型继续用deepseek-r1:7b。然后在Cherry Studio的模型设置里添加Ollama服务一般会有两栏需要填对话模型和嵌入模型。对话模型填deepseek-r1:7b嵌入模型填nomic-embed-text服务地址同样是http://127.0.0.1:11434/v1。配置完以后我习惯先在Cherry Studio里随便发一句话测试连接确认对话模型能响应再去建知识库。如果你跳过了这个测试直接导入文档结果问答时模型不回答你会很难分清是知识库出了问题还是模型对接出了问题。先验证最小链路再往上叠加功能排查成本会低很多。4.3 建第一个知识库导入文档、分段参数与检索效果验证在Cherry Studio里新建知识库命名随你比如“产品手册”然后把markdown、txt、pdf、docx这类文档拖进去。导入时客户端会做分段处理我用过的参考值是每段500到800字相邻段落重叠80到120字。段太长检索出来的内容太粗段太短语义不完整命中率反而下降。这个参数在不同场景间差别很大代码类文档可以短一点合同技术规范这类长逻辑文档可以长一点。导入完成后别急着问复杂问题先用文档里的原文去验证。比如文档里写着“退货需在签收后7天内申请”你就问“退货时效是多久”。如果回答里出现了“7天”这个关键信息说明检索链路是通的。这一步是检验知识库好坏的第一个关口很多人导入后直接问开放式问题回答不如意就以为是模型不行其实多半是检索就没生效。这里有一个常见的翻车点刚导入完就去提问向量索引可能还没建完。导入大量文档后建议等几十秒再提问或者在知识库界面看一下索引状态。另外如果你发现回答完全没引用你导入的文档内容先确认嵌入模型有没有配置上——Cherry Studio的配置页里这两栏填没填对差别是决定性的。5. 本地部署DeepSeek的五个高频坑从模型下载慢到ChatBox缓冲失败的排查手记5.1 资源侧的三颗定时炸弹下载慢、C盘占满、GPU不干活坑1模型下载进度条长时间不动。现象是ollama pull停在某个百分比重试几次又从0开始非常折磨人。原因是模型文件动辄几个GB网络波动和高峰时段都会让下载中断。解决方法是别反复删除重拉停掉任务以后换到网络负荷低的时段再试更省事的路子是找一台网络好的机器把模型拉好拷整个.ollama/models目录过来。拷贝时注意两台机器Ollama版本尽量一致没下载完的残留目录先删掉否则容易出奇怪的加载报错。坑2C盘被模型塞满。现象是系统盘突然红了一看用户目录下的.ollama占了几十个G。原因就是2.2节说的Ollama默认把模型放在系统盘安装时没规划存储路径。解决方法是先退出Ollama把.ollama/models整个目录挪到数据盘设置OLLAMA_MODELS指向新位置再重启服务。迁移后如果ollama list是空的多半是路径写错或者服务没重启成功别慌检查环境变量是否还在。坑3显卡明明有模型却不用。现象是模型能跑但CPU占用极高生成速度几token每秒比乌龟还慢。原因可能是显卡驱动没装好或者Ollama运行时根本没检测到GPU。Windows下打开任务管理器看GPU有没有占用Linux下执行nvidia-smi看显存里有没有模型。如果一直没有常见做法是重装对应显卡驱动并检查ollama serve启动日志里有没有GPU字样。还有一种情况是安装时用了CPU-only的包换带GPU支持的版本就好。5.2 连接侧的两个高频翻车ChatBox缓冲失败和局域网无法访问坑4ChatBox报“无法缓冲请求正文超出长度限制”。现象是短对话一切正常一旦粘贴长文档或者要求模型输出长回答ChatBox直接报错。原因是请求里塞的内容超过了对话客户端的缓冲能力或者超出了Ollama模型设置的上下文窗口。解决方法是先在Ollama端调大num_ctx也就是3.3节写的/set parameter num_ctx 8192后再/save保存同时在ChatBox设置里关掉流式输出再试。如果仍然报错就把输入拆短分批提问这是最直接的后备手段别指望一劳永逸。坑5局域网里别的机器连不上Ollama。现象是本机ChatBox对话正常换到手机或另一台电脑填同一个IP却显示连接失败。原因是Ollama默认只监听127.0.0.1只允许本机访问。解决方法是设置环境变量OLLAMA_HOST0.0.0.0然后重启Ollama局域网内其他设备就能通过http://这台机器的IP:11434访问了。改完以后端口相当于在内网裸奔建议在接入层加一道访问校验具体做法放在下一章。6. 把DeepSeek本地服务做稳开机自启、访问校验与一条curl验证到底把Ollama做成常驻服务以后有几个实用技巧能让这套环境少出幺蛾子。第一Linux下用systemd托管确保开机自启、挂了自动拉起。官方安装脚本一般会自带服务但如果你想改存储路径和监听地址用override片段写环境变量最干净# 打开服务配置文件覆盖层写入你想追加的环境变量 sudo systemctl edit ollama[Service] # 开启局域网访问注意设置 OLLAMA_HOST 后端口会暴露给内网 EnvironmentOLLAMA_HOST0.0.0.0 # 模型目录指向数据盘避免系统盘被撑满 EnvironmentOLLAMA_MODELS/data/ollama/models保存后执行sudo systemctl daemon-reload sudo systemctl restart ollama。这样环境变量不会随着重启丢失日志统一走journalctl -u ollama查看排查时比翻各种配置文件省力得多。第二如果OLLAMA_HOST已经改成了0.0.0.0又不想让11434端口在内网裸奔我一般会在Ollama前面加一层Nginx接入只放行带校验请求头的调用location /api/ { # 请求头里必须带上自定义的 X-API-Key否则直接拒绝 if ($http_x_api_key ! custom-key-here) { return 403; } proxy_pass http://127.0.0.1:11434; }这样ChatBox或Cherry Studio连接时在自定义请求头里加上X-API-Key: custom-key-here就能正常访问其他扫到端口的请求会被挡在403。别小看这层校验内网里扫描器远比你想的多裸端口暴露出去迟早会被顺手调用给你留下一堆莫名其妙的请求日志。第三验证整条链路是否正常我最常用一条curl命令直接把Ollama的生成接口打一遍# 直接调用本地生成接口streamfalse 表示等完整结果返回再退出 curl -s http://127.0.0.1:11434/api/generate \ -d {model:deepseek-r1:7b,prompt:用一句话介绍你自己。,stream:false} | head -c 500返回JSON里出现response字段说明Ollama本身健康。接下来把地址换成前面Nginx的入口再加上X-API-Key请求头跑一遍就能确认接入层也通了。这一步可以在每次换机器、改配置后当“冒烟测试”用几十秒就能判断环境是否可用。这套环境我在不同机器上搭过好几遍最大的教训是别等C盘满了才想起来改路径别等文档问答答非所问才想起来没配嵌入模型。新机器落地DeepSeek我第一件事永远是先改模型存储路径再拉模型最后连界面。顺序对了后面能省掉大半返工。希望帮到你。本文还有配套的精品资源点击获取