从去年年底开始我一直在琢磨一件事作为非科班出身的普通上班族家里到底能不能搭一套“能干活”的AI系统而不是只用来聊天、画个图、写个周报折腾了几个月踩了不少坑现在这套“家庭AI工作系统”终于从玩具变成了能每天上手的工具。这篇日记就当是给和我一样的业余小白做个参考顺便记录一下从零到一的过程。先说结论家庭部署AI不需要多顶级的硬件也不需要懂深度学习原理。关键是想清楚你要拿它干什么以及怎么把各种零散的AI工具串成一条真正能省时间的工作流。我现在的系统里有大模型对话、知识库问答、日程与事务规划、配图生成、简单视频脚本辅助这些模块全部跑在本机的Ollama加几个开源工具上局域网内手机、平板、电脑都能用。这篇文章里我会把这套系统的需求拆解、选型思路、部署过程、日常问题和坑全写出来。适合那些不想被云服务绑死、有隐私顾虑、或者单纯想折腾一套“自己说了算”的AI工作台的动手党。文章偏实战有些命令和配置我会直接贴出来复制就能用。1. 家庭AI工作系统到底要解决什么问题1.1 我家的“琐事清单”先看看这套系统要替代我干什么活。列个清单之后你会发现家里那点事比想象中复杂查资料、读长文章、总结技术文档写邮件、写周报、润色各种说明文字规划菜谱、做旅行行程、列采买清单给孩子的科普问题当耐心的“第二讲解员”做视频封面、文章配图或者生成一些简单的设计素材把散落在各个文件夹里的笔记变成可以检索的知识库。这里面有大模型擅长的有传统脚本就能搞定的也有需要配多个工具才能跑通的。如果一上来就想“装一个大模型解决所有问题”多半会失望。系统的核心不是某一个模型而是把合适的任务分发给合适的模块。1.2 哪些适合AI做哪些其实不适合我划了一条线只要是“没有标准答案、需要生成内容或做语义理解”的优先交给AI只要有明确规则、需要稳定流程的还是用普通程序最稳。比如“这周花了多少钱做个流水统计”这用Excel和Python脚本处理比AI更可靠AI反而容易编数。但“把这份合同的核心风险点提炼成三条”AI就非常擅长。分清这条线能避免很多“AI怎么这么没用”的抱怨。1.3 这套系统的最终形态整套系统跑起来后的结构是这样一台旧台式机当家庭服务器我用的是一台五年前的Ryzen处理器32G内存2060S显卡没有想象中那么高配本地部署了大模型推理服务提供OpenAI兼容的API上层接了两个界面一个日常聊天问答一个用于知识库和自动化流程知识库单独跑一套文档检索服务把家里所有PDF、Markdown、个人笔记都喂进去图片生成单独跑本地Stable Diffusion不占用主对话模型资源。局域网内任何设备通过浏览器就能访问手机上也能当私人助理用。整个系统的关键词是本地私有、模块化、可折腾。2. 方案选型本地部署与云API怎么选2.1 三种主流方案的对比动手之前先别急着装软件。我先后对比了三条路线给它们简单列了个表方案上手难度隐私性长期成本自由度推荐场景全云端API调用厂商接口低低按量付费跑多了略贵低快速验证临时使用云端API本地工作流编排中中中等中想省事又想要自动化全本地部署高高仅耗电高隐私敏感爱折腾我最后选了第三条路主要原因倒不全是因为隐私。我一个普通家庭用户其实没那么多机密资料但每天高频调用、反复调试按量付费真不便宜。而且本地部署能让我随时换模型、改参数今天跑这个开源模型明天换另一个不用考虑厂商接口会不会变。2.2 模型怎么挑尺寸、量化与显存的三角关系选模型是新手最容易卡住的地方。我总结成一个公式显存大小决定了你能跑多大参数的模型模型参数量和质量成正比量化则是在质量损失很小的前提下降低显存需求。拿我最常用的Qwen2.5系列举例7B、8B模型大概需要6到8G显存量化后5G左右一般的卡都能跑14B模型量化后要10到12G显存2060S这种12G卡能勉强带起来32B模型量化后要20G以上显存普通家用卡就别想了。我自己在2060S上跑7B模型流畅跑14B稍慢但日常对话也够用。日常事务不需要太强的推理7B足够。遇到要总结长文档、处理复杂指令时我切到云端的大模型接口应急。所以我的架构是“本地为主、云端兜底”两个都留着。2.3 硬件准备与开销估算很多人以为要买几千块的显卡才能玩实际上看你要跑多大的模型。如果你的需求只是“日常问答、简单总结、知识库”8G显存就够起步了。我用的是2060S 12G二手几百块加一台旧台式机整机功耗大概200W按这个算一天开12小时一个月电费不到50块比云API便宜得多。如果你是零基础、还不想折腾硬件那就先去租个云主机或调用在线API把流程跑通确定自己真的需要长期用了再考虑买卡。我身边好几个朋友就是一时上头买了显卡结果新鲜劲过了就吃灰。3. 动手搭建从裸机到能用的AI服务3.1 第一步安装推理引擎Ollama本地跑大模型最省事的方式是直接用Ollama它把下载模型、启动服务、提供API这些流程全部封装好了。Windows和Linux都有安装包装完打开终端确认版本ollama --version然后拉取模型ollama pull qwen2.5:7b这一步会从模型仓库下载几个G的文件等它跑完就行。启动服务也简单ollama serve默认监听在11434端口是OpenAI兼容的接口格式。这时候你可以用任何支持OpenAI API的工具直接连它非常方便。有Linux基础的话我更推荐把服务跑在Ubuntu服务器上资源占用更干净。如果没Linux基础也别怕Windows版照样能跑我前期就是在Windows上搭好再迁移的。3.2 第二步接入对话界面裸的API不好用还得配一个聊天界面。我用的是Open WebUI它功能全有账号体系、会话管理、联网搜索插件甚至能把多模态模型接到同一个页面里。拉起来很简单用Docker一条命令就能跑docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main首次打开设置里把Ollama的地址填成http://host.docker.internal:11434页面里就能看到模型列表了。到这里你已经拥有一个“局域网版的ChatGPT”手机、平板都能连。注意用Docker装Open WebUI时容器内访问宿主机不能用localhost要用host.docker.internal这个坑让我卡了半小时。3.3 第三步搭自动化工作流聊天界面只是入口真正让系统变成“工作系统”的是自动化。我试过Dify和n8n最终在家庭场景下留了Dify。Dify主打开箱即用它把“模型接入、知识库、Prompt编排、工作流”全塞进一个可视化的界面里。你可以把多个模型串成一个流程比如先让A模型提炼要点再用B模型重写成简报最后用C模型检查是否有遗漏。中间还可以接HTTP请求、查数据库、调外部工具。Dify装好后可以配置一个“文档处理助手”工作流上传一份PDF或Word调用本地模型做长文本切片和总结把结果写入一个Markdown文件推送到你的手机通过Server酱或钉钉机器人。流程画好后以后丢一个文件进去它自动处理完并推送结果到手机真正做到了“琐事自动跑”。3.4 第四步给系统加上记忆和知识库家庭AI最实用的功能之一是知识库问答——把你所有的笔记、文档、说明书都喂进去然后像聊天一样问它。实现这事的核心是RAG检索增强生成技术简单理解就是先根据问题找出最相关的文档片段再把这些片段交给大模型生成答案而不是让模型凭空乱编。Dify自带知识库功能你只需要在“知识库”里上传文件系统自动做分段和向量化在对话应用里关联这个知识库提问时开启“引用”开关能看到出处。这里有个经验分段策略直接决定回答质量。分段太大会导致检索不精准太小又丢失上下文。我试下来200到300字一段、重叠50字左右的效果最稳。还有上传PDF前如果扫描版不清晰最好先用OCR转成文字否则向量检索会搜出大量乱码这是个高频坑。4. 让系统真正干活的三个实战案例4.1 案例一家庭文件与知识库问答有一回我翻孩子学校的通知十几份PDF堆在文件夹里什么时间交什么材料、有哪些注意事项全混在一起。以前我得一个一个打开看那天我直接把全部文件丢到Dify知识库里问了一句“下个月有哪些事情需要家长做按时间顺序列出来。”它很快列出了一张时间表还标清了每个通知的来源PDF。虽然后来我逐条核对时发现个别日期不对但作为初筛工具至少帮我省掉了前80%的逐份阅读时间。日常查自己写的笔记、搜之前的文档这套系统让我终于敢说“知识库真能当第二大脑用了”。4.2 案例二家庭事务规划器知识库用来查事务规划用来“做”。我用Dify搭了一个“家庭事务规划器”工作流长这样输入一段话比如“孩子周三运动会当天要带水壶和防晒晚上有钢琴课”模型提取时间、人物、事件、物品清单生成结构化日程表并自动检查有没有时间冲突调一个免费的天气API接口生成“出门建议”最后把结果通过Webhook推到手机的“家庭群”。这套流程跑起来之后最大的变化是我老婆发现这玩意儿比她自己记备忘录靠谱至少提醒比人勤快。前提是你要搭好Webhook那一步服务器用国内能访问的通知通道就行没必要折腾其他平台。4.3 案例三本地AI工作台辅助内容创作我自己偶尔写点稿子、剪点短视频最近这套系统成了我的内容生产线。比如写文章需要配图我让本地部署的Stable Diffusion生成风格统一的无版权配图写短视频脚本时让大模型先产出几个版本的脚本框架我再挑主线来细化。实际操作中我给图片生成单独配了一台服务与对话模型分开因为一个文生图请求会占满整个显卡如果和聊天共用同一个服务聊天的响应会卡到怀疑人生。分开之后两个模块各跑各的体验都好了很多。配图生成的提示词也有讲究我整理了一个模板“主体动作 环境 构图 风格 画质词”比如“一只戴着眼镜的猫坐在书桌前台灯照亮俯视构图扁平插画风高细节”。出图稳定性比自己乱写词高得多。5. 刚开跑就翻车常见问题与排查实录5.1 模型回答质量不稳定时好时坏原因大概率不在模型而在你的Prompt。我发现新手特别喜欢把问题问得很模糊比如“帮我写个方案”模型只能自由发挥。解决办法是给模型“角色任务输入材料输出要求格式示范”五段式Prompt基本能稳定出活。比如“你是帮我整理家庭事务的秘书。根据下面材料提取事件并生成表格。材料‘周三开会周五交房租周六孩子有篮球课’。输出要求‘表格包含序号、日期、事件、优先级、备注”。稳定度明显提升。5.2 部署后访问不了网页界面先确认服务有没有起来再用curl直接探接口。如果是局域网访问不了先看Windows防火墙有没有放行对应端口再看Docker端口映射有没有写对。宿主机和容器网络不通的时候也优先检查host.docker.internal配置。排查顺序大致是进程状态 → 端口监听 → 防火墙 → 容器网络 → 浏览器缓存。按这个顺序走能省很多无用功。5.3 高并发请求直接把显卡干爆有段时间我把知识库和聊天共用同一个模型服务结果一次知识库批量入库的向量化任务把显存占完聊天直接超时。后面我给每个服务都加了独立的模型部署并且用OLLAMA_MAX_LOADED_MODELS1限制同时加载的模型数量。总而言之家里跑AI一定要学会给任务“排队”和“隔离”。5.4 哪些数据不适合放进本地AI系统虽然本地部署很私密但也不是什么都能往里丢。银行卡密码、各种账号密钥、身份证照片这类敏感信息不管是本地还是云端我都不建议交给任何AI。这类事情上人脑和密码管理器比AI可靠。安全意识比技术栈更重要这个原则得守住。6. 折腾三个月后的一些碎碎念说实话这套系统能跑通靠的不是某一个高大上的模型而是“流程”本身。从文件到知识库从知识库到工作流从工作流到消息推送每一步都是孤立的串起来之后价值才开始放大。我最深的体会是业余玩家玩AI别追求最顶级的模型要把重心放在“把一件小事做得足够顺”上。与其纠结32B模型比7B聪明多少不如先把7B接进你的日常工作流让它每天真的帮你省半小时。如果让我给刚开始折腾的朋友提三个建议我会说先定义“给谁用、解决什么、一天用几次”再决定买什么硬件、跑什么模型一切围绕“输入 → 处理 → 输出”的闭环来搭建少搞单点功能堆砌每一步都要能回滚。我所有服务的配置文件都做了备份出问题直接还原节省了排查时间。最后分享一个我自己习惯的小技巧每次改完配置或Prompt我会把前后效果截图放在一个固定的文件夹里标注日期和备注。折腾AI这东西很容易“越调越乱”有了记录才能判断到底是变好了还是变坏了。这套系统还在不断迭代比如最近我正在研究把语音接入进来让家里人直接说一句话就能创建日程或者查资料。方向很多坑也很多但每天能帮家里省点时间这件事至少让我觉得这些电费花得挺值。