ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

MiroFish-Offline路线图与进阶调优:从v0.3稳定性修复到多模型路由,本地LLM选型与性能优化完整指南

MiroFish-Offline路线图与进阶调优:从v0.3稳定性修复到多模型路由,本地LLM选型与性能优化完整指南 MiroFish-Offline路线图与进阶调优从v0.3稳定性修复到多模型路由本地LLM选型与性能优化完整指南【免费下载链接】MiroFish-OfflineOffline multi-agent simulation prediction engine. English fork of MiroFish with Neo4j Ollama local stack.项目地址: https://gitcode.com/gh_mirrors/mi/MiroFish-OfflineMiroFish-Offline 是一款离线多智能体模拟与舆情预测引擎基于本地 Neo4j 图数据库 Ollama 本地 LLM 推理零云端依赖在你的硬件上模拟数百个 AI Agent 发帖、争论与观点演化。本文带你完整走读项目路线图v0.3 → v1.0并给出本地 LLM 选型与性能调优的实用清单。一、当前状态v0.2.0 已完成全本地化 MiroFish-Offline 是从 MiroFish 分叉的全本地化版本原版 MiroFishMiroFish-OfflineZep Cloud图记忆Neo4j Community EditionDashScope / OpenAI APIOllama 本地 LLM云端 Embeddingnomic-embed-text 本地向量必须云 API Key零云端依赖核心流水线已完整跑通上传文本 → 构建知识图谱 → 实体抽取 → 多智能体模拟 → 报告生成。整个迁移过程共 19 个任务、7 个阶段记录在 docs/progress.md 中是理解代码架构的绝佳入口。二、v0.3 稳定性修复最值得期待的 5 个改进 根据 ROADMAP.md 的规划v0.3.0 聚焦稳定性与 Python 兼容性Python 3.12 兼容—— 当前依赖camel-oasis/camel-ai见 backend/requirements.txt要求 Python 3.12新版将解除此限制Docker GPU 自动检测—— 无 GPU 时自动回退到 CPU 版 Ollama不再需要手动改配置Neo4j 连接自动重连—— 临时网络故障不再导致服务中断当前已有指数退避重试机制兜底见 backend/app/utils/retry.py/api/status健康端点—— 一处查看 Neo4j 连接状态、Ollama 模型可用性与磁盘占用JSON 结构化日志—— 方便接入外部监控 如果你是 Python 3.12/3.13 用户v0.3 是最值得等的一个版本。三、v0.4 → v0.7搜索调优与多模型路由路线图 ️3.1 v0.4 检索增强让知识图谱搜得准当前混合搜索固定为0.7 向量 0.3 BM25 关键词的加权融合实现见 backend/app/storage/search_service.py。v0.4 将带来混合搜索权重按图谱可配置图谱感知重排序与查询实体直接相连的结果会获得加分支持多 Embedding 模型如mxbai-embed-large、多语种的bge-m3边权重时间衰减让模拟中的历史相关性更符合时间线3.2 v0.5 多模型支持小模型干轻活大模型干重活 ⚡这是路线图中对性能影响最大的一版——模型路由器Model RouterNER 实体抽取 → 分配给快速小模型如 7b报告生成、深度推理 → 分配给大模型如 32b支持vLLM 和 llama.cpp作为 Ollama 之外的替代后端内置模型基准测试工具用同一段种子文本对比不同模型的 NER/RE 质量量化感知配置根据显存自动选择上下文窗口3.3 v0.6 与 v0.7模拟深度与图谱智能 v0.6WebSocket 实时模拟面板、跨轮次 Agent 记忆持久化、自定义 Agent 人格模板、多语言模拟v0.7Louvain/Leiden 社区发现自动识别实体聚类、时序图谱追踪关系演化、两次模拟运行的图谱对比Graph Diff四、本地 LLM 选型按硬件档位快速定档 ️官方在 ROADMAP.md 中给出了清晰的硬件档位建议表档位内存GPU 显存推荐模型预期表现入门8 GB纯 CPUqwen2.5:3b慢基础 NER 质量轻量16 GB6–8 GBqwen2.5:7b小图谱可用标准32 GB12–16 GBqwen2.5:14b覆盖多数场景高性能64 GB24 GBqwen2.5:32b全质量、速度快选型三原则显存是第一约束32b 模型吃 24GB 显存14b 约 10GB知识图谱构建NER质量对报告可信度影响最大宁可选大模型模拟轮次由OASIS_DEFAULT_MAX_ROUNDS控制默认 10 轮轮次越多小模型的质量短板越明显五、性能调优实用清单现在就能做的 5 件事 ⚙️以下配置集中在 backend/app/config.py通过项目根目录的.env文件修改1️⃣ 调大 Ollama 上下文窗口最重要的一个参数Ollama 默认上下文只有 2048长文档会截断。客户端已通过OLLAMA_NUM_CTX环境变量透传默认 8192见 backend/app/utils/llm_client.pyOLLAMA_NUM_CTX16384 # 长文本建图时建议 16K2️⃣ Neo4j 堆内存图谱节点多了之后查询变慢优先调高堆内存Docker 部署在 docker-compose.yml 中调整当前默认初始 512m / 最大 2gNEO4J_server_memory_heap_max__size4g3️⃣ 选择匹配显存的 LLM 模型LLM_MODEL_NAME默认qwen2.5:32b显存不足时按第四节的档位表改为qwen2.5:14b或qwen2.5:7b即可其余配置无需改动。4️⃣ 报告 Agent 参数调优报告生成是 LLM 调用最密集的环节三个参数直接控制质量与耗时见 backend/app/config.pyREPORT_AGENT_MAX_TOOL_CALLS工具调用上限默认 5调大 报告更有据可查但更慢REPORT_AGENT_MAX_REFLECTION_ROUNDS反思轮数默认 2REPORT_AGENT_TEMPERATURE默认 0.5调低更严谨调高更有观点5️⃣ Embedding 模型与 LLM 解耦部署嵌入模型默认nomic-embed-text768 维占用显存很小可与 LLM 同机部署v0.4 之后可换成bge-m3获得更好的中文/多语检索效果。六、如何跟踪路线图与参与贡献 完整路线图含 Beyond v1.0 的联邦实例、语音交互 Agent、移动端监控 App 等愿景ROADMAP.md项目采用AGPL-3.0协议官方尤其欢迎以下方向的贡献Python 3.12 兼容、多 Embedding 模型支持、模拟质量改进、英文文档本地部署参考 README.md 的 Docker 一键启动流程5 分钟即可在localhost:3000跑起完整的离线模拟环境总结MiroFish-Offline 的路线图画布很清晰——v0.3 补齐稳定性短板v0.4 打磨检索质量v0.5 的多模型路由是性能分水岭v1.0 走向生产可用。而你现在就可以通过本文第五节的 5 个调优项把本地 LLM 的推理质量榨到当前硬件的极限。【免费下载链接】MiroFish-OfflineOffline multi-agent simulation prediction engine. English fork of MiroFish with Neo4j Ollama local stack.项目地址: https://gitcode.com/gh_mirrors/mi/MiroFish-Offline创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表