1. 为什么我要把 FastGPT 和 TaoToken 放在一起跑FastGPT 是一个开源的 RAG 智能问答系统搭建平台核心能力是把你的文档、问答对、网页内容变成可检索的知识库再通过大模型生成有依据的回答。它自带可视化工作流编排、混合检索加重排、多库复用、chunk 级修改记录对外 API 还对齐了 OpenAI 接口格式能直接塞进企业微信、公众号、飞书这类渠道。适合谁适合想快速跑通 RAG 智能问答系统、又不想从零写检索链路的后端、运维和 AI 应用开发者。但真正动手部署时很多人会卡在同一个地方模型从哪来。FastGPT 本身不产模型它需要一个 OpenAI 兼容的接口来提供对话模型、向量模型和重排模型。传统做法是本地起 OneAPI 再挂各种渠道配置繁琐Key 散落各处换模型要改一堆环境变量。我这次的做法是FastGPT 本地 Docker 部署模型调用统一走 TaoToken 的 API 通道。TaoToken 提供 OpenAI 兼容的 Base URL 和统一 Key对话、Embedding、ReRank 都能从同一个入口调省掉了在 OneAPI 里逐个配渠道的环节。下面从环境准备到服务启动、再到验证问答效果全流程拆开讲配置可以直接复制。2. 部署前的前置准备与 TaoToken 统一接入配置先说清楚整体架构。FastGPT 容器负责知识库管理和问答编排它通过环境变量里的OPENAI_BASE_URL和CHAT_API_KEY去请求模型接口。我们把这两个值指向 TaoToken就完成了统一接入。向量模型和重排模型则在config.json里单独声明同样走 TaoToken 的地址。2.1 硬件与系统要求PgVector 版本是体验测试首选配置门槛低。单节点最低 2c2g 能跑测试100w 组向量建议 4c8g 加 50GB 存储500w 组向量上到 8c32g 加 200GB。Milvus 版本在千万级向量以上性能更好但配置要求更高。个人跑通 RAG 智能问答系统PgVector 足够。系统层面Linux 最省心。MongoDB 5.x 需要 CPU 支持 AVX 指令集部分老 CPU 不支持得手动把镜像换成 4.4.x。这一点后面排障章节会细说。2.2 安装 Docker 与 docker-compose# 安装 Docker curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun systemctl enable --now docker # 安装 docker-compose curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-uname -s-uname -m -o /usr/local/bin/docker-compose chmod x /usr/local/bin/docker-compose # 验证 docker -v docker-compose -vdocker-compose 版本最好在 2.17 以上否则自动化初始化命令可能执行不了。2.3 获取 TaoToken 的 Base URL 与 Key打开 TaoToken 控制台在 API Keys 页面创建一个 Key。这个 Key 就是后面填进CHAT_API_KEY的值。Base URL 统一用https://taotoken.net/api注意 FastGPT 的环境变量里需要带/v1后缀所以实际填https://taotoken.net/api/v1。模型 ID 方面对话模型可以选你账户里可用的任意模型比如gpt-3.5-turbo、moonshot-v1-128k这类向量模型选text-embedding-ada-002或bge-m3重排模型按需选。关键是config.json里的model字段必须和 TaoToken 侧实际可调的模型名一致否则会报「渠道找不到」。提示TaoToken 的 Key 建议单独建一个给 FastGPT 用方便后续按项目排查调用量和额度。2.4 下载部署文件mkdir fastgpt cd fastgpt # 下载配置文件 curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json # pgvector 版本测试推荐 curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml如果 raw 地址拉不下来就去 GitHub 仓库把FastGPT-main/files/docker目录整个下载把docker-compose-pgvector.yml和config.json放到同一目录再把config.json移到 docker 目录下。3. 可复制的 docker-compose 与 config.json 配置这一节是核心配置写对了后面基本一路顺。3.1 修改 docker-compose.yml 的环境变量找到fastgpt容器的environment段改这三个值environment: - OPENAI_BASE_URLhttps://taotoken.net/api/v1 - CHAT_API_KEYsk-你的TaoToken密钥 - DEFAULT_ROOT_PSW1234OPENAI_BASE_URL一定要带/v1这是 FastGPT 请求 OpenAI 兼容接口的约定。DEFAULT_ROOT_PSW是首次登录的 root 密码登录后可以改。3.2 配置 config.json 的模型声明config.json里llmModels、vectorModels、reRankModels三段是关键。下面给一份可直接用的片段模型名按你 TaoToken 账户实际可用的改{ llmModels: [ { model: gpt-3.5-turbo, name: gpt-3.5-turbo, avatar: /imgs/model/openai.svg, maxContext: 16000, maxResponse: 4000, quoteMaxToken: 13000, maxTemperature: 1.2, charsPointsPrice: 0, censor: false, vision: false, datasetProcess: true, usedInClassify: true, usedInExtractFields: true, usedInToolCall: true, usedInQueryExtension: true, toolChoice: true, functionCall: false, customCQPrompt: , customExtractPrompt: , defaultSystemChatPrompt: , defaultConfig: {} } ], vectorModels: [ { model: text-embedding-ada-002, name: Embedding-2, avatar: /imgs/model/openai.svg, charsPointsPrice: 0, defaultToken: 700, maxToken: 3000, weight: 100, defaultConfig: {}, dbConfig: {}, queryConfig: {} } ], reRankModels: [ { model: bge-reranker-v2-m3, name: bge-reranker-v2-m3, charsPointsPrice: 0, requestUrl: https://taotoken.net/api/v1/rerank, requestAuth: Bearer sk-你的TaoToken密钥 } ] }几个容易踩的点datasetProcess至少有一个对话模型设为true否则知识库处理会报错usedInClassify、usedInExtractFields、usedInToolCall、usedInQueryExtension也建议至少一个为truetoolChoice和functionCall如果模型不支持工具调用都设false会走提示词模式。3.3 启动容器docker-compose up -d首次启动会自动初始化 Mongo 副本集和 PG 表结构。日志里可能出现一次MongoServerError: Unable to read from a snapshot due to pending collection catalog changes这是正常的忽略即可。启动完成后检查容器状态docker ps -a确认 fastgpt、mongo、pg、oneapi如果保留都是 running。4. 验证请求与问答效果测试服务起来不等于能用得实际发一次请求确认模型通道通了。4.1 验证模型接口先用 curl 直接打 TaoToken 的接口确认 Key 和模型名没问题curl --location --request POST https://taotoken.net/api/v1/chat/completions \ --header Authorization: Bearer sk-你的TaoToken密钥 \ --header Content-Type: application/json \ --data-raw { model: gpt-3.5-turbo, messages: [{role: user, content: 你好请回复一句话}], stream: true }注意加stream: trueFastGPT 页面走的是流式模式非流式测试通过不代表页面能用。国产模型非 Stream 兼容性有时较差。4.2 登录 FastGPT 并建知识库浏览器打开http://你的服务器IP:3000用户名root密码是DEFAULT_ROOT_PSW设的值。登录后新建一个知识库导入一份测试文档比如一份产品 FAQ 的 txt 或 pdf。导入时选择「直接分段」FastGPT 会自动做文本预处理、向量化和 QA 分割。索引过程中可以在日志里看进度docker logs -f fastgpt如果索引没进度先看是不是没配向量模型或者向量模型接口调不通。4.3 测试问答效果知识库索引完成后新建一个应用绑定这个知识库然后提问一个文档里有答案的问题。比如文档里写了「退货政策是 7 天无理由」你就问「退货政策是几天」。正常情况回答会引用文档片段并给出「7 天」。如果回答为空或报core.chat.Chat API is error or undefined先检查 TaoToken 的 Key 是否有效、模型名是否和config.json一致。用 curl 再打一次接口确认。5. 本篇常见报错排查部署 RAG 智能问答系统时报错集中在几个地方对照着查。401 或 Incorrect API key providedCHAT_API_KEY填错或者 Key 已失效。改完docker-compose.yml后必须docker-compose down再docker-compose up -d直接 restart 不会重新加载环境变量。进容器用env确认docker exec -it fastgpt sh env | grep CHAT_API_KEYlocal proxy failed 或 Connection errorFastGPT 请求不到模型接口。检查OPENAI_BASE_URL是否带/v1服务器能否正常访问taotoken.net。如果是容器网络问题确认 fastgpt 容器和外部网络连通。reading choices 相关报错模型返回结构不符合预期通常是模型名对不上或接口返回了错误信息。用 curl 打一次接口看原始返回确认model字段和 TaoToken 侧一致。OAuth 或登录后 Network Error90% 是config.json格式错误导致 JSON 解析失败。日志里会提示invalid json。用docker exec -it fastgpt sh进容器cat data/config.json看挂载是否成功再用 JSON 校验工具检查格式。relation modeldata does not existPG 数据库没连上或初始化失败。检查 pg 容器是否正常启动非 Docker 部署的需手动装 pgvector 插件。Illegal instructionCPU 不支持 AVXMongoDB 5.x 跑不起来。把 mongo 镜像换成mongo:4.4.29重新docker-compose up -d。渠道找不到config.json里的model在 TaoToken 侧没有对应模型或者模型名拼写不一致。两边对齐即可。如果换过向量模型旧知识库需要删除重建向量模型是创建时绑定的。insufficient_user_quotaTaoToken 账户额度不足去控制台充值或调整额度。排查通用套路docker ps -a看容器状态docker logs 容器名看日志带requestId的基本是模型接口报错先 curl 验证接口。6. 跑通之后怎么继续用FastGPT 的 API 对齐了 OpenAI 格式知识库跑通后可以直接接到企业微信或飞书。模型侧继续走 TaoToken 的统一通道换模型只改config.json里的model字段不用动环境变量。如果你要长期跑编码类或 Agent 类任务可以看看 Coding Plan单纯验证模型效果模型对话页面更直接接入和排障过程中需要查文档接入文档和 API Keys 页面常备。部署篇到这里服务能起、问答能答、报错能查RAG 智能问答系统的骨架就立住了。下一步是调检索参数和重排权重那是效果优化的活。