ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

一套配置接入100+大模型:ChatPilot LiteLLM多模型接入完全指南

一套配置接入100+大模型:ChatPilot LiteLLM多模型接入完全指南 一套配置接入100大模型ChatPilot LiteLLM多模型接入完全指南【免费下载链接】ChatPilotChatPilot: Chat Agent Web UI实现Chat对话前端支持Google搜索、文件网址对话RAG、代码解释器功能复现了Kimi Chat(文件拖进来网址发出来)。项目地址: https://gitcode.com/gh_mirrors/ch/ChatPilotChatPilot 是一款开源的 Chat Agent Web UI通过内置的LiteLLM 多模型接入机制仅用一个 YAML 配置文件就能接入 OpenAI、DeepSeek、MoonshotKimi、Gemini、Claude 等 100 多个大模型服务商——它们会统一出现在同一个对话界面的模型选择器中随时切换、即插即用。本文面向新手带你从零完成配置并讲清背后的工作原理。️ 先看效果多模型统一入口所有通过 LiteLLM 接入的模型都会自动出现在 ChatPilot 顶部的模型选择器中如图中 Gpt-35-Turbo 旁的下拉菜单与 Ollama 本地模型、OpenAI 模型并列无需任何前端改动。为什么选择 LiteLLM 多模型接入传统方式下每接一个大模型服务商都要为它单独写一套 API 调用代码。而 ChatPilot 借鉴了 Open WebUI 的思路把 LiteLLM 作为统一的模型网关内置进服务✅一次配置多模型共存一个配置文件里写多少个模型界面就有多少个可选模型✅格式统一所有服务商的请求都被 LiteLLM 归一化为 OpenAI 风格Agent 工具调用联网搜索、RAG 问答、代码解释器对所有模型通用✅热管理支持通过 Web 界面随时新增、删除模型不必改代码✅限流保护可为每个模型单独设置每分钟请求数RPM避免触发服务商限频后端实现非常简洁chatpilot/apps/litellm_app.py在启动时加载配置文件并初始化 LiteLLM Proxy随后挂载到/litellm/api路由见chatpilot/server.py前端再从中拉取模型列表渲染界面。 快速开始三步接入第一个模型第 1 步安装 litellm 包ChatPilot 依赖 LiteLLM 的 Python 包安装或升级一下即可pip install litellm -U第 2 步编辑 LiteLLM 配置文件ChatPilot 首次启动时会自动生成一个空的配置文件路径为data/litellm/config.yamlDocker 部署时位于~/.cache/chatpilot/data/litellm/config.yaml。编辑它在model_list下添加你的模型model_list: - model_name: deepseek-coder # 在界面中显示的名称 litellm_params: model: openai/deepseek-coder # 实际发给 LiteLLM 的模型名 api_base: https://api.deepseek.com/v1 api_key: sk-xx rpm: 500 # 每分钟请求数限制可选 litellm_settings: drop_params: True set_verbose: False第 3 步重启服务并验证保存配置后重启 ChatPilot打开设置 → 模型在 Manage LiteLLM Models 区域即可看到刚添加的模型回到对话页顶部模型选择器里也能选到它了。 小技巧drop_params: True表示自动丢弃目标模型不支持的参数能有效减少因参数不兼容导致的报错建议保留。 一套配置接入多个大模型想接多个模型在model_list下继续追加条目即可下面是同时接入 DeepSeek、Kimi 和 o1-mini 的示例model_list: - model_name: deepseek-coder litellm_params: model: openai/deepseek-coder api_base: https://api.deepseek.com/v1 api_key: sk-xx rpm: 500 - model_name: moonshot-v1-auto litellm_params: model: openai/moonshot-v1-auto api_base: https://api.moonshot.cn/v1 api_key: sk-xx rpm: 500 - model_name: o1-mini litellm_params: model: o1-mini api_base: https://你的中转地址/v1 api_key: sk-xxx rpm: 500litellm_params.model的命名规则是厂商前缀/模型名如openai/、anthropic/、gemini/等LiteLLM 会据此自动适配对应厂商的 API 格式。️ 常用配置参数速查表参数位置作用modellitellm_params实际调用的模型名带厂商前缀model_name顶层界面上展示的模型名可自由取api_baselitellm_params服务商 API 地址api_keylitellm_params服务商密钥rpmlitellm_params每分钟请求数限流max_tokenslitellm_params单次回答的最大 token 数drop_paramslitellm_settings全局忽略不支持的参数️ 不想改文件用 Web 界面管理模型ChatPilot 提供了可视化管理入口全程无需触碰配置文件点击右上角头像 →设置→模型标签页展开Manage LiteLLM Models→Add a model点击Show Additional Params展开高级参数填写 Model、Model Name、API Base URL、API Key、API RPM、Max Tokens点击 ➕ 按钮提交模型列表即时刷新删除则在下方下拉框选中模型后点击 ️对应的界面逻辑位于web/src/lib/components/chat/Settings/Models.svelte前端 API 封装在web/src/lib/apis/litellm/index.ts均通过/litellm/api/model/new、/litellm/api/model/delete等接口与后端交互。❓ 常见问题FAQQ1添加模型后界面看不到检查配置文件 YAML 缩进是否正确对空格敏感确认服务已重启Web 界面添加时留意是否有红色报错提示多为 API Key 或模型名拼写错误。Q2model字段该填什么格式遵循 LiteLLM 的厂商/模型名约定例如openai/gpt-4o、anthropic/claude-3.5-sonnet、gemini/gemini-1.5-flash。Q3LiteLLM 模型能使用联网搜索、文件问答吗可以。模型选择与 Agent 能力是解耦的任何接入的模型都能调用 Google 搜索、RAG 文档问答和 Python 代码解释器等工具。Q4如何只让部分模型对普通用户可见可通过环境变量MODEL_FILTER_ENABLED与MODEL_FILTER_LIST开启模型过滤限制用户可选范围。 相关资料项目说明文档README.mdLiteLLM 后端入口chatpilot/apps/litellm_app.py配置路径定义chatpilot/config.py依赖清单requirements.txt总结ChatPilot 借助内置 LiteLLM把多模型接入从写代码变成了填配置一个data/litellm/config.yaml即可让 100 大模型服务商在你的对话界面中共存再配合 Web 界面的可视化管理新手也能在 5 分钟内完成第一个模型的接入。试试把 DeepSeek 和 GPT 放进同一个界面感受一套配置多模型自由切换的便利吧 【免费下载链接】ChatPilotChatPilot: Chat Agent Web UI实现Chat对话前端支持Google搜索、文件网址对话RAG、代码解释器功能复现了Kimi Chat(文件拖进来网址发出来)。项目地址: https://gitcode.com/gh_mirrors/ch/ChatPilot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表