ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

TrueForge模型接入指南:OpenAI、Claude、Gemini到自托管vLLM,9种Provider一次配齐

TrueForge模型接入指南:OpenAI、Claude、Gemini到自托管vLLM,9种Provider一次配齐 TrueForge模型接入指南OpenAI、Claude、Gemini到自托管vLLM9种Provider一次配齐【免费下载链接】trueforgeThe open-source agent harness - the runtime layer that turns an LLM into a working agent.项目地址: https://gitcode.com/gh_mirrors/tr/trueforgeTrueForge 是一款开源 Agent 运行时框架它的模型接入能力支持 9 种 LLM ProviderOpenAI、AnthropicClaude、Google Gemini、Fireworks、Together、MoonshotKimi、Z.aiGLM、AlibabaQwen以及任意 OpenAI 兼容的自托管端点如 vLLM、Ollama。只需在Settings → Models中填入一次 API Key所有模型立即对所有 Agent 可用——Agent 定义里永远不存放密钥。 9 种模型 Provider 支持清单TrueForge 内置的 Provider 适配器在 VercelAILLM.ts 中实现覆盖官方 API 与 OpenAI 兼容协议两大类Provider 类型说明默认端点openaiOpenAIhttps://api.openai.com/v1anthropicAnthropic Claudehttps://api.anthropic.com/v1google-geminiGoogle Geminihttps://generativelanguage.googleapis.com/v1betafireworksFireworks AIhttps://api.fireworks.ai/inference/v1togetherTogether AIhttps://api.together.xyz/v1moonshotMoonshot AIKimihttps://api.moonshot.ai/v1zaiZ.aiGLMhttps://api.z.ai/api/paas/v4alibabaAlibabaQwenhttps://dashscope-intl.aliyuncs.com/compatible-mode/v1custom任意 OpenAI 兼容端点由你填写前 8 种是知名 Provider只需粘贴 API Keycustom类型则需要提供自己的 Base URL非常适合 vLLM、Ollama 或企业网关。所有类型的数据结构定义见 modelProvider.ts。 三步配置标准 ProviderOpenAI / Claude / Gemini无论接入哪家具名厂商操作路径完全一致打开 Settings → Models页面从随附的模型目录catalog加载可选 Provider 列表。点击目标 Provider 的 Configure在弹出的对话框中粘贴 API Key。点击 Create该 Provider 的所有模型立刻出现在 Agent 模型选择器中。⚠️小贴士如果 Provider 的默认端点不满足需求比如走了公司代理可以在 Advanced 区域覆盖base_url——每个知名 Provider 的端点都是可覆盖的。 添加自托管端点vLLM 与 Ollama 接入步骤要接入自托管模型使用custom类型 Provider 即可这是 TrueForge 模型接入最灵活的部分在Settings → Models中选择Add custom provider。填写四样东西nameProvider 名称唯一标识base_url你的 OpenAI 兼容 API 地址如http://localhost:8000/v1vLLM或http://localhost:11434/v1OllamaAPI key可选——本地推理服务通常无需鉴权模型列表每个模型填写model_id发给上游的原始标识、显示名称以及可选的上下文长度和最大输出 Token 数保存后自托管模型与商业模型在 Agent 中选择体验完全一致。 自托管集群通常没有严格的鉴权API Key 可留空而企业网关场景下建议填上避免请求被拒绝。 模型目录CatalogProvider 列表从何而来UI 中的 Provider 预设列表来自随服务器分发的 model-catalog.yaml它只是发现清单——记录每个 Provider 推荐哪些模型、上下文窗口多大、支持哪些推理强度reasoning effortOpenAI 系列gpt-5.5、gpt-5.6-luna/sol/terra105 万上下文Claude 系列claude-opus-5、claude-sonnet-5100 万上下文Geminigemini-3.6-flash、gemini-3.1-pro-preview国内模型glm-5.3、kimi-k3、qwen3.8-max自托管 TrueForge 的用户可通过环境变量MODEL_CATALOG_PATH指向自己的 YAML 文件替换默认预设清单例如只保留内部模型。详细说明见 initial-setup.mdx。 Agent 如何引用模型配置完成后创建 Agent 时直接从模型选择器里挑选例如openai/gpt-5-5这样的全限定名provider/模型名切换模型一键完成Agent 定义中不存 API Key换模型只是改一个名称引用。参数透传通过 API 还可指定temperature、max_tokens、reasoning_effort等参数原样转发给 Provider。密钥安全API Key 仅在响应中脱敏展示更新时提交脱敏值则保留原密钥——完整逻辑见 ModelSettings.tsx 与 ConfigureModelProviderForm.tsx。✅ 总结场景推荐 Provider快速开始openai或anthropic粘贴 Key 即用多模型对比同时配置google-geminimoonshotzai自托管 / 私有化custom指向 vLLM 或 Ollama企业网关custom 自定义 base_url 与 API Key更多细节可阅读官方文档 models.mdx 和 quickstart.mdx。模型接入只是第一步——配上 MCP 工具连接器与沙箱你的 Agent 就能真正干活了。【免费下载链接】trueforgeThe open-source agent harness - the runtime layer that turns an LLM into a working agent.项目地址: https://gitcode.com/gh_mirrors/tr/trueforge创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表