ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

把闲置N1变成AI接口中枢:用TaoToken统一管理Ollama与云端大模型

把闲置N1变成AI接口中枢:用TaoToken统一管理Ollama与云端大模型 1. 闲置 N1 的新岗位把 Ollama 和云端模型收进一个入口手里有台 N1 盒子刷了 ARM 版飞牛 NAS 之后一直当轻量文件服务器用性能吃不满。真正让我想折腾它的原因不是算力而是模型接口太散Windows 主机上跑着 Ollama云端又开了好几家厂商的 API每个聊天客户端、知识库、自动化脚本都要单独填一遍地址和密钥。改一次密钥就得把所有应用翻出来重配调用额度也没法统一看。New-API 解决的正是这个痛点。它向下能接本地 Ollama 和各家云端大模型向上暴露一个标准的 OpenAI 兼容接口所有下游应用只认一个地址、一个令牌。N1 在这套方案里不跑推理只做接口管理和请求转发真正的计算还是交给跑 Ollama 的电脑或云端平台。适合谁手里有闲置 ARM 盒子、想统一管理多个模型来源、又希望外网也能调用的个人开发者。这篇会给出 docker-compose.yml、New-API 渠道配置、cpolar 隧道配置的可复制骨架并用 curl 验证本地与云端模型切换是否生效。全程在局域网内完成不涉及任何网络访问方式的改动。2. 前置准备TaoToken 与 N1 环境确认在动手之前先把云端模型的统一入口准备好。TaoToken 提供 OpenAI 兼容的 API 通道注册后可以在控制台创建令牌后续在 New-API 里作为一个渠道接入这样本地 Ollama 和云端模型就能在同一个面板里管理。需要提前拿到的东西TaoToken 的 API Key在控制台的 API Keys 页面创建地址是 https://taotoken.net/api-keysN1 盒子的局域网 IP假设为 192.168.50.228跑 Ollama 的 Windows 主机局域网 IP假设为 192.168.50.100N1 上 Docker 服务已开启SSH 可登录TaoToken 的接入文档在 https://taotoken.net/doc 里面写明了 base_url 和鉴权方式配置 New-API 渠道时直接照填即可。如果你更想先验证模型对话效果可以到 https://taotoken.net/model-chat 试一下确认 Key 能用再往下走。N1 这边确认 Docker 状态ssh n1192.168.50.228 sudo -i docker --version docker compose version两条命令都有版本输出说明环境就绪。如果docker compose报错用docker-compose --version试一下老版本飞牛可能只带了独立二进制。3. 可复制配置docker-compose 部署 New-API飞牛 NAS 自带 Docker 面板但用 compose 文件部署更可控升级和迁移都方便。在 N1 上建一个目录存放配置mkdir -p /vol1/1000/docker/new-api cd /vol1/1000/docker/new-api新建docker-compose.ymlversion: 3.8 services: new-api: image: calciumion/new-api:latest container_name: new-api restart: always ports: - 3000:3000 environment: - TZAsia/Shanghai - SQL_DSN - SESSION_SECRETchange_this_to_a_random_string - CRYPTO_SECRETchange_this_too volumes: - ./data:/data - ./logs:/app/logs几个参数说明一下。SQL_DSN留空表示用内置 SQLite个人自用足够如果以后要多实例共享数据再换成 MySQL 的 DSN。SESSION_SECRET和CRYPTO_SECRET一定要改成随机字符串否则登录态和密钥加密都不安全。端口映射 3000 是 New-API 默认的 Web 端口后面 cpolar 穿透也是指这个。启动docker compose up -d docker compose logs -f --tail50日志里出现监听 3000 端口的提示就说明起来了。浏览器访问http://192.168.50.228:3000第一次会进入初始化向导数据库检查直接下一步创建管理员账号密码使用模式选自用模式点初始化系统。完成后用刚创建的账号登录后台。4. 渠道配置把 Ollama 和 TaoToken 接进来登录后台后左侧菜单进入渠道管理点添加渠道。先配本地 Ollama。类型选 Ollama名称随便写比如local-ollama密钥字段随机填一串字符Ollama 默认不校验密钥但 New-API 要求非空API 地址填跑 Ollama 那台 Windows 主机的局域网地址加端口http://192.168.50.100:11434模型部分点获取模型列表如果网络通会弹出该主机上已下载的模型勾选你要用的比如qwen3.5:0.8b确定后提交。提交完点测试出现测试成功就说明本地渠道通了。再配云端渠道。点添加渠道类型选 OpenAI名称写taotoken-cloud密钥填你在 TaoToken 控制台创建的 API KeyAPI 地址填https://taotoken.net/api模型列表同样点获取或者手动填你要用的模型名。提交后测试成功即接入完成。这样模型广场里就能同时看到本地和云端的模型下游应用只认 New-API 的地址不用关心背后是 Ollama 还是云端。如果你打算长期跑编码类任务或 Agent 工作流可以考虑 Coding Plan地址是 https://taotoken.net/coding-plan 额度和模型范围更适合高频调用场景。5. 验证请求curl 测试本地与云端切换渠道配好后去令牌管理创建一个令牌设置好额度、有效期和可用模型范围复制出来。然后在任意一台能访问 N1 的机器上测试。先测本地 Ollama 模型curl http://192.168.50.228:3000/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer sk-你的令牌 \ -d { model: qwen3.5:0.8b, messages: [{role: user, content: 你好}], stream: false }返回 JSON 里choices[0].message.content有内容说明本地链路通。再测云端模型把 model 换成 TaoToken 支持的模型名curl http://192.168.50.228:3000/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer sk-你的令牌 \ -d { model: gpt-4o-mini, messages: [{role: user, content: 用一句话解释什么是API网关}], stream: false }两次请求都返回正常说明 New-API 的渠道路由和令牌鉴权都生效了。切换模型只需要改model字段下游应用完全无感。这一步验证通过后再去做内网穿透才有意义。6. 内网穿透cpolar 暴露 OpenAI 兼容接口局域网调通后如果想让外网设备也能用需要把 3000 端口映射出去。cpolar 支持 ARM Linux在 N1 上安装curl -L https://www.cpolar.com/static/downloads/install-release-cpolar.sh | sudo bash sudo systemctl enable cpolar sudo systemctl start cpolar sudo systemctl status cpolar状态显示 active 即正常。浏览器访问http://192.168.50.228:9200进入 cpolar 的 Web 管理界面用注册的账号登录。左侧隧道管理里创建隧道名称写new-api协议选 http本地地址填 3000端口填 3000保存。创建完成后到在线隧道列表会看到一条公网地址形如https://xxxx.cpolar.cn。用这个地址替换前面的http://192.168.50.228:3000再跑一次 curl如果返回正常说明外网也能调用了。免费版地址每 24 小时会变如果要做长期服务建议在 cpolar 后台预留一个二级子域名然后在隧道编辑里把域名类型改成二级子域名并填入地址就固定了。7. 本篇常见错排查渠道测试失败提示连接超时。先确认 Ollama 那台主机的防火墙允许 11434 端口入站Windows 上默认可能只监听 127.0.0.1。在 Ollama 主机上设置环境变量OLLAMA_HOST0.0.0.0后重启服务再用netstat -ano | findstr 11434确认监听地址是 0.0.0.0。New-API 日志报数据库锁。SQLite 在并发高时容易锁个人自用问题不大如果频繁出现把SQL_DSN换成 MySQL 的连接串重启容器即可。cpolar 隧道显示在线但访问 502。检查本地地址填的是不是 3000以及 New-API 容器是否真的在跑。docker ps看容器状态curl http://127.0.0.1:3000在 N1 本机测一下本机都不通就是容器问题。令牌调用返回 401。检查 Authorization 头格式是不是Bearer sk-xxx中间有空格令牌有没有复制完整。另外确认令牌的模型范围包含你请求的模型名。云端渠道返回 403 或额度错误。到 TaoToken 控制台确认 Key 状态和余额接入文档 https://taotoken.net/doc 里有各模型的调用示例对照检查 base_url 有没有多写或少写路径。8. 后续怎么用统一入口的长期价值这套方案跑通后N1 的角色就固定下来了它不推理只做接口调度。本地应用连http://192.168.50.228:3000外网设备连 cpolar 给的公网地址两边用的是同一套令牌和渠道配置。以后新增模型只在 New-API 里加渠道下游应用一行代码都不用改。几个实际使用中的注意点。令牌不要公开公网接口能直接消耗你的云端额度或本地算力建议给每个应用单独建令牌并限制模型范围。管理员账号设强密码定期看调用日志不用的令牌及时删。跑 Ollama 的主机要保持开机和联网否则 New-API 虽然在线本地模型请求会超时。如果后面要接更多云端模型做对比测试可以到 https://taotoken.net/model-chat 先验证模型可用性再决定要不要加进渠道。整套配置的骨架就是这些剩下的就是按自己的模型清单往里填。
返回列表