尧图网站建设 
Weave Router 自定义OpenAI兼容端点vLLM、Together、Fireworks 完整配置指南【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/routerWeave Router 是一个为 Agent 系统打造的模型路由器每个请求在 50ms 内自动挑选最合适的模型只需改一个端点即可降低成本 40–70%。本指南带你用三个步骤把 Weave Router 指向你自己的OpenAI 兼容端点——无论是本地 vLLM 推理服务器、Together AI 还是 Fireworks全部兼容。为什么需要自定义 OpenAI 兼容端点大多数团队并不满足于只用官方大模型 API。常见诉求包括本地自托管用 vLLM 部署 Qwen、Llama、Mistral 等开源模型数据不出内网☁️低成本托管Together、Fireworks 等推理平台价格往往低于官方 API企业网关公司自有 OpenAI 协议网关需要 Bearer Token 鉴权。Weave Router 通过通用的 OpenAI Chat Completions 适配器源码位于 internal/providers/openaicompat/统一处理这类上游官方文档 docs/CONFIGURATION.md 明确将 vLLM、Together、Fireworks、自托管服务列为受支持的 OpenAI 兼容端点。三种接入方式总览方式适用场景关键变量 / 入口① Base URL 覆盖单端点替换默认上游最省事OPENROUTER_BASE_URL② OpenAI 兼容网关企业网关、Bearer 鉴权、无默认端点OPENAI_GATEWAY_BASE_URLOPENAI_GATEWAY_TOKEN③ BYOK 每安装端点多租户各安装独立端点与模型别名仪表盘 Settings → Provider API keys方式一一行配置指向 vLLM / Together / Fireworks最快的方式是用OPENROUTER_BASE_URL覆盖默认上游。默认值是 OpenRouter改成任意 OpenAI 兼容地址即可详见 docs/CONFIGURATION.md# 本地 vLLM echo OPENROUTER_BASE_URLhttp://localhost:8000/v1 .env.local # Together AI echo OPENROUTER_BASE_URLhttps://api.together.xyz/v1 .env.local # Fireworks echo OPENROUTER_BASE_URLhttps://api.fireworks.ai/inference/v1 .env.local 别忘了同时提供对应的OPENROUTER_API_KEY本地 vLLM 随便填一个占位值即可。路由器按“密钥存在即注册”的原则启用上游见 README.md 的 BYOK 说明。一个实用的进阶技巧把OPENROUTER_BASE_URL指向本地服务器并配合ROUTER_SUBAGENT_PROVIDER/ROUTER_SUBAGENT_MODEL可以把 Claude Code 的子任务Task 工具路由到本地模型主循环仍走商用模型——小任务免费大任务保质量。方式二OPENAI_GATEWAY 接入企业 OpenAI 兼容网关如果你的端点是公司自建网关、需要 Bearer Token、且没有默认端点应使用专门的openai_gateway配置OPENAI_GATEWAY_BASE_URL网关基础 URL路由器自动在其后追加/chat/completionsOPENAI_GATEWAY_TOKEN随请求以Authorization: Bearer发送的令牌仅在同时设置了 Base URL 时生效。两个注意点来自 docs/CONFIGURATION.md只填 Base URL不要带 API 路径尾部斜杠会被自动去除网关未配置时不会回退到api.openai.com避免误连。方式三BYOK 为每个安装单独指定端点多团队共用一个 Router 时推荐用 BYOKBring Your Own Key每个安装可在仪表盘Settings → Provider API keys → Endpoint URL填入自己的端点仅对该安装的流量生效见 docs/CONFIGURATION.md。# 通过管理 API 为某安装注册带自定义端点的密钥 curl -sS -b jar -X POST https://router/admin/v1/provider-keys \ -H content-type: application/json \ -d {provider:openai_gateway,key:token, base_url:https://gateway.example.com/api, model_aliases:{gpt-5:openai-gpt-5}}model_aliases解决了端点用内部名称发布模型的常见问题键是目录中的模型 ID值是实际发送的线上名称——路由、计费、分析仍按目录 ID 统计只有出站模型名被替换。一键接入 Claude Code / Codex端点配好后把客户端指向 Router 即可。最快的方式是 npm 安装器需 Node ≥ 18详见 install/npm/README.mdnpx weave-os/router --claude --local # Claude Code 指向本地 Router npx weave-os/router --codex --local # Codex CLI或者完全自托管整套栈Postgres Router启动于:8080echo OPENROUTER_API_KEYsk-... .env.local echo OPENROUTER_BASE_URLhttp://your-vllm:8000/v1 .env.local echo ROUTER_ADMIN_PASSWORDreplace-with-a-strong-password .env.local make full-setup之后所有/v1/chat/completions与/v1/messages请求都由 Router 自动路由到你的兼容端点。验证端点是否配置成功Router 提供三个健康检查端点README.md Endpoints 一节端点用途GET /health存活探针GET /readyz依赖就绪检查GET /validateAPI 密钥有效性校验再发一条真实请求确认路由决策curl -sS http://localhost:8080/v1/route -H Authorization: Bearer rk_... \ -d {model:auto,messages:[{role:user,content:hi}]}/v1/route只返回路由决策、不实际调用上游是排查端点配置的利器。非流式响应还会附带x-router-cost-usd等成本头方便核对计费。常见问题速查400 错误BYOK 的base_url必须是绝对http(s)URL模型别名若用了目录外的 ID 也会被拒绝端点 401确认令牌变量与 Base URL成对设置单设OPENAI_GATEWAY_TOKEN不生效想混合多个兼容端点每个安装可携带独立端点的密钥跨绑定故障转移机制见 internal/proxy/AGENTS.md会在主端点 5xx/429 时自动切到备用绑定。延伸阅读完整环境变量与 BYOK 加密参考docs/CONFIGURATION.md供应商适配层架构说明internal/providers/AGENTS.md自托管安装与开关切换install/README.md路由语义session / turn / actiondocs/SEMANTICS.md【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/router创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Weave Router 自定义OpenAI兼容端点：vLLM、Together、Fireworks 完整配置指南
Weave Router 自定义OpenAI兼容端点vLLM、Together、Fireworks 完整配置指南【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/routerWeave Router 是一个为 Agent 系统打造的模型路由器每个请求在 50ms 内自动挑选最合适的模型只需改一个端点即可降低成本 40–70%。本指南带你用三个步骤把 Weave Router 指向你自己的OpenAI 兼容端点——无论是本地 vLLM 推理服务器、Together AI 还是 Fireworks全部兼容。为什么需要自定义 OpenAI 兼容端点大多数团队并不满足于只用官方大模型 API。常见诉求包括本地自托管用 vLLM 部署 Qwen、Llama、Mistral 等开源模型数据不出内网☁️低成本托管Together、Fireworks 等推理平台价格往往低于官方 API企业网关公司自有 OpenAI 协议网关需要 Bearer Token 鉴权。Weave Router 通过通用的 OpenAI Chat Completions 适配器源码位于 internal/providers/openaicompat/统一处理这类上游官方文档 docs/CONFIGURATION.md 明确将 vLLM、Together、Fireworks、自托管服务列为受支持的 OpenAI 兼容端点。三种接入方式总览方式适用场景关键变量 / 入口① Base URL 覆盖单端点替换默认上游最省事OPENROUTER_BASE_URL② OpenAI 兼容网关企业网关、Bearer 鉴权、无默认端点OPENAI_GATEWAY_BASE_URLOPENAI_GATEWAY_TOKEN③ BYOK 每安装端点多租户各安装独立端点与模型别名仪表盘 Settings → Provider API keys方式一一行配置指向 vLLM / Together / Fireworks最快的方式是用OPENROUTER_BASE_URL覆盖默认上游。默认值是 OpenRouter改成任意 OpenAI 兼容地址即可详见 docs/CONFIGURATION.md# 本地 vLLM echo OPENROUTER_BASE_URLhttp://localhost:8000/v1 .env.local # Together AI echo OPENROUTER_BASE_URLhttps://api.together.xyz/v1 .env.local # Fireworks echo OPENROUTER_BASE_URLhttps://api.fireworks.ai/inference/v1 .env.local 别忘了同时提供对应的OPENROUTER_API_KEY本地 vLLM 随便填一个占位值即可。路由器按“密钥存在即注册”的原则启用上游见 README.md 的 BYOK 说明。一个实用的进阶技巧把OPENROUTER_BASE_URL指向本地服务器并配合ROUTER_SUBAGENT_PROVIDER/ROUTER_SUBAGENT_MODEL可以把 Claude Code 的子任务Task 工具路由到本地模型主循环仍走商用模型——小任务免费大任务保质量。方式二OPENAI_GATEWAY 接入企业 OpenAI 兼容网关如果你的端点是公司自建网关、需要 Bearer Token、且没有默认端点应使用专门的openai_gateway配置OPENAI_GATEWAY_BASE_URL网关基础 URL路由器自动在其后追加/chat/completionsOPENAI_GATEWAY_TOKEN随请求以Authorization: Bearer发送的令牌仅在同时设置了 Base URL 时生效。两个注意点来自 docs/CONFIGURATION.md只填 Base URL不要带 API 路径尾部斜杠会被自动去除网关未配置时不会回退到api.openai.com避免误连。方式三BYOK 为每个安装单独指定端点多团队共用一个 Router 时推荐用 BYOKBring Your Own Key每个安装可在仪表盘Settings → Provider API keys → Endpoint URL填入自己的端点仅对该安装的流量生效见 docs/CONFIGURATION.md。# 通过管理 API 为某安装注册带自定义端点的密钥 curl -sS -b jar -X POST https://router/admin/v1/provider-keys \ -H content-type: application/json \ -d {provider:openai_gateway,key:token, base_url:https://gateway.example.com/api, model_aliases:{gpt-5:openai-gpt-5}}model_aliases解决了端点用内部名称发布模型的常见问题键是目录中的模型 ID值是实际发送的线上名称——路由、计费、分析仍按目录 ID 统计只有出站模型名被替换。一键接入 Claude Code / Codex端点配好后把客户端指向 Router 即可。最快的方式是 npm 安装器需 Node ≥ 18详见 install/npm/README.mdnpx weave-os/router --claude --local # Claude Code 指向本地 Router npx weave-os/router --codex --local # Codex CLI或者完全自托管整套栈Postgres Router启动于:8080echo OPENROUTER_API_KEYsk-... .env.local echo OPENROUTER_BASE_URLhttp://your-vllm:8000/v1 .env.local echo ROUTER_ADMIN_PASSWORDreplace-with-a-strong-password .env.local make full-setup之后所有/v1/chat/completions与/v1/messages请求都由 Router 自动路由到你的兼容端点。验证端点是否配置成功Router 提供三个健康检查端点README.md Endpoints 一节端点用途GET /health存活探针GET /readyz依赖就绪检查GET /validateAPI 密钥有效性校验再发一条真实请求确认路由决策curl -sS http://localhost:8080/v1/route -H Authorization: Bearer rk_... \ -d {model:auto,messages:[{role:user,content:hi}]}/v1/route只返回路由决策、不实际调用上游是排查端点配置的利器。非流式响应还会附带x-router-cost-usd等成本头方便核对计费。常见问题速查400 错误BYOK 的base_url必须是绝对http(s)URL模型别名若用了目录外的 ID 也会被拒绝端点 401确认令牌变量与 Base URL成对设置单设OPENAI_GATEWAY_TOKEN不生效想混合多个兼容端点每个安装可携带独立端点的密钥跨绑定故障转移机制见 internal/proxy/AGENTS.md会在主端点 5xx/429 时自动切到备用绑定。延伸阅读完整环境变量与 BYOK 加密参考docs/CONFIGURATION.md供应商适配层架构说明internal/providers/AGENTS.md自托管安装与开关切换install/README.md路由语义session / turn / actiondocs/SEMANTICS.md【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/router创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考