尧图网站建设 
AgenticSeek 本地运行 LLM 时显存和模型规模怎么选【免费下载链接】agenticSeekFully Local Manus AI. No APIs, No $200 monthly bills. Enjoy an autonomous agent that thinks, browses the web, and code for the sole cost of electricity.项目地址: https://gitcode.com/GitHub_Trending/ag/agenticSeekAgenticSeek 是一个完全本地运行的 AI Agent能自主浏览网页、写代码、规划任务其中 LLM 由你自己硬件上的本地服务Ollama、LM-Studio 等提供不需要云 API。这篇文章解决一个具体问题你手上有一块显存固定的 GPU应该选多大的模型以及如何把选定的模型在 AgenticSeek 中部署起来并验证连通。前提是已按 README.md 装好 Git、Python 3.10.x官方强烈建议使用 3.10.x其他版本可能出现依赖错误以及 Docker Engine 和 Docker Compose V2。按显存对照表确定模型规模README 的硬件要求写得很直接本地跑 LLM 的最低要求是一块能运行 Magistral、Qwen 或 Deepseek 14B 的 GPU。README FAQ 给出了模型规模与显存的对照及官方评价模型规模GPU 显存文档中的评价7B8GB VRAM不推荐。性能差、频繁幻觉planner agent 很可能失败14B12 GB VRAM如 RTX 3060可用于简单任务网页浏览和规划类任务可能吃力32B24 GB VRAM如 RTX 4090大多数任务可成功任务规划仍可能吃力70B48 GB VRAM优秀推荐用于高级用例选型结论可以直接从这张表读出8GB 显存对应 7B 档文档明确标注 Not recommendedplanner agent 大概率失败——除非你只打算让它做最简单的事否则不要选 7B。12GB如 RTX 3060是文档意义上的可用下限跑 14B简单任务可用但网页浏览和规划任务可能不稳定。24GB 以上跑 32B 是文档中大多数任务成功的档位48GB 以上跑 70B 才是文档推荐用于高级用例的配置。模型类型上文档推荐选择推理模型reasoning model例如Magistral或Deepseek后文的部署示例沿用 README 中使用的deepseek-r1:14b作为模型名示例32B 档对应deepseek-r1:32bREADME 的 Config 示例中出现。主路径用 Ollama 部署选定的模型以下路径假设你按上表选定了模型示例为 14B 档且 AgenticSeek 以 Docker 方式运行Web 界面模式。1. 克隆仓库并初始化 .envgit clone https://gitcode.com/GitHub_Trending/ag/agenticSeek.git cd agenticSeek mv .env.example .env按你的实际环境修改.env文档要求用你自己的值替换SEARXNG_BASE_URLhttp://searxng:8080 # Web 界面模式backend 在 Docker 内固定用这个 SEARXNG_PORT8080 REDIS_BASE_URLredis://redis:6379/0 WORK_DIR/Users/mlg/Documents/workspace_for_ai OLLAMA_PORT11434说明SEARXNG_BASE_URL在 Web 界面模式下始终是http://searxng:8080即使你改过SEARXNG_PORT后者只改变宿主机映射端口WORK_DIR是 Agent 可读写文件的本地目录上面是文档中的示例路径必须换成你机器上真实存在的目录REDIS_BASE_URL保持不变。2. 启动 Ollama 并拉取模型Docker 模式的 backend 通过host.docker.internal访问宿主机的 Ollama所以 Ollama 必须绑定到0.0.0.0而不仅仅是本机回环地址export OLLAMA_HOST0.0.0.0:11434 ollama serve如果改用 CLI 模式backend 直接跑在宿主机上则不需要这一步见 README 说明Unless you wish to run AgenticSeek on host (CLI mode)。在另一个终端拉取与上节选型一致的模型ollama pull deepseek-r1:14b32B 档把模型名换成deepseek-r1:32b。3. 修改 config.ini把config.ini改成本地 Ollama 配置[MAIN] is_local True provider_name ollama provider_model deepseek-r1:14b provider_server_address 127.0.0.1:11434 agent_name Friday recover_last_session True save_session True speak False listen False [BROWSER] headless_browser True stealth_mode True要点均来自 READMEconfig.ini的文件格式不支持注释README 里带注释的配置示例不要直接整段粘贴否则报错上面已去掉注释请按你的实际值手动修改。provider_model必须是你的 provider 支持的、已拉取好的模型并且要choose a model that fit your hardware与第二节对照表保持一致。Docker 模式下provider_server_address只有端口会生效host 部分会被.env中的DOCKER_INTERNAL_URL替换不要改它README 的 Config 一节示例中该值写作http://127.0.0.1:11434两处写法都出现在文档中按所在章节原样使用即可。若用 LM-Studio 作为本地 providerprovider_name必须写lm-studio而不是openai且地址需要http://前缀例如http://127.0.0.1:1234对应.env中的LM_STUDIO_PORT。值为空或末尾带空格都会引起问题README 提醒不要留尾随空格。4. 启动服务./start_services.sh full # Linux/macOS start start_services.cmd full # Windowsfull会启动 searxng、redissearxng 依赖、frontend 和 backend 四个服务。首次运行要下载并加载所有 Docker 镜像文档提示最长可达 30 分钟backend 首次启动可能需 5 分钟。在日志出现backend: GET /health HTTP/1.1 200 OK之前不要发送任何消息。验证 LLM 已接上验证分三层全部来自 READMEDocker 本身在运行docker info能输出安装信息即正常。backend 容器内能访问到 Ollamadocker compose exec backend curl -sS http://host.docker.internal:11434/api/tags应返回一个 JSON 格式的模型列表——你ollama pull的模型如deepseek-r1:14b出现在其中说明 backend 与本地 LLM 之间是通的。 3. 打开http://localhost:3000/能看到 Web 界面向 Agent 发一条消息且收到回复即完成本次部署验证。遇到 Ollama connection failed 时怎么处理典型报错现象README 原文An error occurred: Provider ollama failed: Ollama connection failed at http://host.docker.internal:11434. Check if the server is running.同时前端显示Error: Unable to get a response.backend 对/query返回 HTTP 500。文档给出的根因是Docker 模式下只有provider_server_address的端口被使用host 部分被替换因此这类失败不是配置笔误而是宿主机的 Ollama 只绑定在127.0.0.1:11434拒绝了来自 Docker 网桥的连接。对应处理先确认 Ollama 以OLLAMA_HOST0.0.0.0:11434启动即上面第 2 步的写法。需要持久化时Linuxsystemd——会重启 Ollama 服务需要 sudosudo systemctl edit ollama在打开的编辑器中加入[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434然后sudo systemctl daemon-reload sudo systemctl restart ollamamacOSOllama.app——会修改用户会话环境变量并需要你重启应用launchctl setenv OLLAMA_HOST 0.0.0.0:11434然后退出并重新打开 Ollama 应用。Linux 特别注意host.docker.internal只有在 docker-compose 里映射了 host-gateway 时才能在容器内解析。确认docker-compose.yml的 backend 服务包含extra_hosts: - host.docker.internal:host-gatewayDocker DesktopmacOS / Windows开箱即用。如果宿主机启用了ufw/firewalld放行 Docker 网桥到 11434 端口——此命令会修改防火墙规则需要 sudosudo ufw allow from 172.16.0.0/12 to any port 11434处理完再跑一次docker compose exec backend curl -sS http://host.docker.internal:11434/api/tags确认。另外 LM-Studio 类 OpenAI 兼容本地服务报No connection adapters were found for 127.0.0.1:1234/...时原因是地址缺了http://前缀或端口不对按文档把provider_server_address改为http://127.0.0.1:1234或你的实际端口即可。可选分支本地显存不够时如果你的硬件跑不动选定的规模README 的表述是 If your hardware cant run LLMs locally文档给了两条替代路径都会改变config.ini的is_local取值用另一台更强的机器跑 LLM在那台机器上装 Ollama 并OLLAMA_HOST0.0.0.0 ollama serve、ollama pull目标模型查好它的局域网 IPLinux 用文档给出的ip a | grep inet | grep -v 127.0.0.1 | awk {print $2} | cut -d/ -f1Windows/macOS 用 ipconfig 或 ifconfig然后在你本机把config.ini改为[MAIN] is_local False provider_name ollama provider_model deepseek-r1:14b provider_server_address x.x.x.x:11434其中x.x.x.x替换为该服务器的 IP。文档特别强调这里is_local必须是False否则 AgenticSeek 会在本机找 Ollama 并忽略你填的地址。也可以用 llama.cpp 的llama-server -m your-model.gguf --host 0.0.0.0 --port 8080起一个 OpenAI 兼容服务本机改用provider_name lm-studio、provider_server_address http://x.x.x.x:8080。改用云端 APIis_local False配合provider_nameopenai、google、deepseek、huggingface、togetherAI 等和对应 API key。文档提示当前的 prompt 优化是针对 Deepseek 类模型做的不建议对复杂网页浏览和任务规划使用gpt-4o等 OpenAI 模型Gemini 在 coding/bash 任务上可能不严格遵循格式提示。显存档位的选择边界仍然由前面的对照表决定即便把 LLM 挪到远端机器7B 档planner agent 很可能失败、32B 档规划任务仍可能吃力的文档评价依然成立——模型规模决定的是 Agent 的任务能力与模型跑在哪台机器上无关。【免费下载链接】agenticSeekFully Local Manus AI. No APIs, No $200 monthly bills. Enjoy an autonomous agent that thinks, browses the web, and code for the sole cost of electricity.项目地址: https://gitcode.com/GitHub_Trending/ag/agenticSeek创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 AgenticSeek 本地运行 LLM 时显存和模型规模怎么选？
AgenticSeek 本地运行 LLM 时显存和模型规模怎么选【免费下载链接】agenticSeekFully Local Manus AI. No APIs, No $200 monthly bills. Enjoy an autonomous agent that thinks, browses the web, and code for the sole cost of electricity.项目地址: https://gitcode.com/GitHub_Trending/ag/agenticSeekAgenticSeek 是一个完全本地运行的 AI Agent能自主浏览网页、写代码、规划任务其中 LLM 由你自己硬件上的本地服务Ollama、LM-Studio 等提供不需要云 API。这篇文章解决一个具体问题你手上有一块显存固定的 GPU应该选多大的模型以及如何把选定的模型在 AgenticSeek 中部署起来并验证连通。前提是已按 README.md 装好 Git、Python 3.10.x官方强烈建议使用 3.10.x其他版本可能出现依赖错误以及 Docker Engine 和 Docker Compose V2。按显存对照表确定模型规模README 的硬件要求写得很直接本地跑 LLM 的最低要求是一块能运行 Magistral、Qwen 或 Deepseek 14B 的 GPU。README FAQ 给出了模型规模与显存的对照及官方评价模型规模GPU 显存文档中的评价7B8GB VRAM不推荐。性能差、频繁幻觉planner agent 很可能失败14B12 GB VRAM如 RTX 3060可用于简单任务网页浏览和规划类任务可能吃力32B24 GB VRAM如 RTX 4090大多数任务可成功任务规划仍可能吃力70B48 GB VRAM优秀推荐用于高级用例选型结论可以直接从这张表读出8GB 显存对应 7B 档文档明确标注 Not recommendedplanner agent 大概率失败——除非你只打算让它做最简单的事否则不要选 7B。12GB如 RTX 3060是文档意义上的可用下限跑 14B简单任务可用但网页浏览和规划任务可能不稳定。24GB 以上跑 32B 是文档中大多数任务成功的档位48GB 以上跑 70B 才是文档推荐用于高级用例的配置。模型类型上文档推荐选择推理模型reasoning model例如Magistral或Deepseek后文的部署示例沿用 README 中使用的deepseek-r1:14b作为模型名示例32B 档对应deepseek-r1:32bREADME 的 Config 示例中出现。主路径用 Ollama 部署选定的模型以下路径假设你按上表选定了模型示例为 14B 档且 AgenticSeek 以 Docker 方式运行Web 界面模式。1. 克隆仓库并初始化 .envgit clone https://gitcode.com/GitHub_Trending/ag/agenticSeek.git cd agenticSeek mv .env.example .env按你的实际环境修改.env文档要求用你自己的值替换SEARXNG_BASE_URLhttp://searxng:8080 # Web 界面模式backend 在 Docker 内固定用这个 SEARXNG_PORT8080 REDIS_BASE_URLredis://redis:6379/0 WORK_DIR/Users/mlg/Documents/workspace_for_ai OLLAMA_PORT11434说明SEARXNG_BASE_URL在 Web 界面模式下始终是http://searxng:8080即使你改过SEARXNG_PORT后者只改变宿主机映射端口WORK_DIR是 Agent 可读写文件的本地目录上面是文档中的示例路径必须换成你机器上真实存在的目录REDIS_BASE_URL保持不变。2. 启动 Ollama 并拉取模型Docker 模式的 backend 通过host.docker.internal访问宿主机的 Ollama所以 Ollama 必须绑定到0.0.0.0而不仅仅是本机回环地址export OLLAMA_HOST0.0.0.0:11434 ollama serve如果改用 CLI 模式backend 直接跑在宿主机上则不需要这一步见 README 说明Unless you wish to run AgenticSeek on host (CLI mode)。在另一个终端拉取与上节选型一致的模型ollama pull deepseek-r1:14b32B 档把模型名换成deepseek-r1:32b。3. 修改 config.ini把config.ini改成本地 Ollama 配置[MAIN] is_local True provider_name ollama provider_model deepseek-r1:14b provider_server_address 127.0.0.1:11434 agent_name Friday recover_last_session True save_session True speak False listen False [BROWSER] headless_browser True stealth_mode True要点均来自 READMEconfig.ini的文件格式不支持注释README 里带注释的配置示例不要直接整段粘贴否则报错上面已去掉注释请按你的实际值手动修改。provider_model必须是你的 provider 支持的、已拉取好的模型并且要choose a model that fit your hardware与第二节对照表保持一致。Docker 模式下provider_server_address只有端口会生效host 部分会被.env中的DOCKER_INTERNAL_URL替换不要改它README 的 Config 一节示例中该值写作http://127.0.0.1:11434两处写法都出现在文档中按所在章节原样使用即可。若用 LM-Studio 作为本地 providerprovider_name必须写lm-studio而不是openai且地址需要http://前缀例如http://127.0.0.1:1234对应.env中的LM_STUDIO_PORT。值为空或末尾带空格都会引起问题README 提醒不要留尾随空格。4. 启动服务./start_services.sh full # Linux/macOS start start_services.cmd full # Windowsfull会启动 searxng、redissearxng 依赖、frontend 和 backend 四个服务。首次运行要下载并加载所有 Docker 镜像文档提示最长可达 30 分钟backend 首次启动可能需 5 分钟。在日志出现backend: GET /health HTTP/1.1 200 OK之前不要发送任何消息。验证 LLM 已接上验证分三层全部来自 READMEDocker 本身在运行docker info能输出安装信息即正常。backend 容器内能访问到 Ollamadocker compose exec backend curl -sS http://host.docker.internal:11434/api/tags应返回一个 JSON 格式的模型列表——你ollama pull的模型如deepseek-r1:14b出现在其中说明 backend 与本地 LLM 之间是通的。 3. 打开http://localhost:3000/能看到 Web 界面向 Agent 发一条消息且收到回复即完成本次部署验证。遇到 Ollama connection failed 时怎么处理典型报错现象README 原文An error occurred: Provider ollama failed: Ollama connection failed at http://host.docker.internal:11434. Check if the server is running.同时前端显示Error: Unable to get a response.backend 对/query返回 HTTP 500。文档给出的根因是Docker 模式下只有provider_server_address的端口被使用host 部分被替换因此这类失败不是配置笔误而是宿主机的 Ollama 只绑定在127.0.0.1:11434拒绝了来自 Docker 网桥的连接。对应处理先确认 Ollama 以OLLAMA_HOST0.0.0.0:11434启动即上面第 2 步的写法。需要持久化时Linuxsystemd——会重启 Ollama 服务需要 sudosudo systemctl edit ollama在打开的编辑器中加入[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434然后sudo systemctl daemon-reload sudo systemctl restart ollamamacOSOllama.app——会修改用户会话环境变量并需要你重启应用launchctl setenv OLLAMA_HOST 0.0.0.0:11434然后退出并重新打开 Ollama 应用。Linux 特别注意host.docker.internal只有在 docker-compose 里映射了 host-gateway 时才能在容器内解析。确认docker-compose.yml的 backend 服务包含extra_hosts: - host.docker.internal:host-gatewayDocker DesktopmacOS / Windows开箱即用。如果宿主机启用了ufw/firewalld放行 Docker 网桥到 11434 端口——此命令会修改防火墙规则需要 sudosudo ufw allow from 172.16.0.0/12 to any port 11434处理完再跑一次docker compose exec backend curl -sS http://host.docker.internal:11434/api/tags确认。另外 LM-Studio 类 OpenAI 兼容本地服务报No connection adapters were found for 127.0.0.1:1234/...时原因是地址缺了http://前缀或端口不对按文档把provider_server_address改为http://127.0.0.1:1234或你的实际端口即可。可选分支本地显存不够时如果你的硬件跑不动选定的规模README 的表述是 If your hardware cant run LLMs locally文档给了两条替代路径都会改变config.ini的is_local取值用另一台更强的机器跑 LLM在那台机器上装 Ollama 并OLLAMA_HOST0.0.0.0 ollama serve、ollama pull目标模型查好它的局域网 IPLinux 用文档给出的ip a | grep inet | grep -v 127.0.0.1 | awk {print $2} | cut -d/ -f1Windows/macOS 用 ipconfig 或 ifconfig然后在你本机把config.ini改为[MAIN] is_local False provider_name ollama provider_model deepseek-r1:14b provider_server_address x.x.x.x:11434其中x.x.x.x替换为该服务器的 IP。文档特别强调这里is_local必须是False否则 AgenticSeek 会在本机找 Ollama 并忽略你填的地址。也可以用 llama.cpp 的llama-server -m your-model.gguf --host 0.0.0.0 --port 8080起一个 OpenAI 兼容服务本机改用provider_name lm-studio、provider_server_address http://x.x.x.x:8080。改用云端 APIis_local False配合provider_nameopenai、google、deepseek、huggingface、togetherAI 等和对应 API key。文档提示当前的 prompt 优化是针对 Deepseek 类模型做的不建议对复杂网页浏览和任务规划使用gpt-4o等 OpenAI 模型Gemini 在 coding/bash 任务上可能不严格遵循格式提示。显存档位的选择边界仍然由前面的对照表决定即便把 LLM 挪到远端机器7B 档planner agent 很可能失败、32B 档规划任务仍可能吃力的文档评价依然成立——模型规模决定的是 Agent 的任务能力与模型跑在哪台机器上无关。【免费下载链接】agenticSeekFully Local Manus AI. No APIs, No $200 monthly bills. Enjoy an autonomous agent that thinks, browses the web, and code for the sole cost of electricity.项目地址: https://gitcode.com/GitHub_Trending/ag/agenticSeek创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考