1. 为什么要在本地折腾一套离线翻译环境如果你经常处理论文、技术文档或者外文资料大概率遇到过这种尴尬整篇丢给在线翻译术语翻得乱七八糟逐句复制到对话框里让模型翻翻到第三段就发现上下文快爆了而且一旦断网或者服务抽风手头的工作直接停摆。我试过把一篇二十页的 PDF 拆成几百个段落一段一段喂给在线接口结果光是等待和重试就耗掉一下午更别提有些内容根本不适合往外发。所以「本地、好用、较精确」这三个条件摆在一起最现实的路线就是 Ollama 拉起 Qwen 系列模型做本地推理再配一套统一的 Key 和 API 通道把翻译工具链串起来。Ollama 负责把模型跑在你的机器上Qwen 负责中文理解和生成质量而 TaoToken 在这里的角色是统一入口——你不需要为每个工具单独配一套鉴权和地址一个 Key 就能让翻译脚本、编辑器插件、命令行工具都走同一条通道。这套组合适合谁适合需要批量处理外文材料、对数据不出本机有要求、又不想被单一工具绑死的开发者。这篇要解决的问题很具体Ollama 装好之后模型怎么拉、config.toml 怎么写、TaoToken 的 Key 怎么接进去、怎么验证整条链路是通的。目标是一套可离线运行、可切换模型的翻译环境断网时 Ollama 本地跑需要更强模型时通过统一通道切换。2. TaoToken 前置准备统一 Key 与通道地址在动手写配置之前先把 TaoToken 这边的准备工作做完。它的作用是给你一个统一的 API 入口这样你的翻译脚本、IDE 插件、命令行工具都可以指向同一个地址换模型或者换工具时不用到处改鉴权信息。第一步是拿到 API Key。打开控制台地址https://taotoken.net/console登录后进入 API Keys 页面创建一个新的 Key。建议按用途命名比如local-translate方便后面排查是哪个工具在调用。创建完立刻复制保存页面刷新后就看不到完整 Key 了。第二步是确认接入地址。TaoToken 的 API 根地址是https://taotoken.net/api注意这个地址不带任何查询参数直接作为 base_url 使用。如果你用的是 OpenAI 兼容的客户端通常填这个根地址就行客户端会自动拼接/v1/chat/completions这类路径。第三步是了解模型对话和文档入口。想先手动试试模型效果可以去模型对话页面https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite直接发一段外文看翻译质量。接入过程中遇到报错接入文档在https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite里面有针对不同客户端的配置示例。如果你后面要做长期编码或者 Agent 类任务可以关注 Coding Plan 页面https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite那里有更适合持续调用的方案。注意Key 只创建一次就够不要在每个工具里重复生成。统一 Key 的意义就在于一处管理、多处使用。3. Ollama 安装与 Qwen 模型拉取Windows 环境下最省事的安装方式是用 winget。打开 PowerShell执行下面这条命令它会自动下载安装包并完成静默安装winget install --id Ollama.Ollama -e --accept-package-agreements --accept-source-agreements安装完成后Ollama 的可执行文件通常在%LOCALAPPDATA%\Programs\Ollama\ollama.exe。如果你在终端里直接敲ollama提示找不到命令要么把安装目录加进 PATH要么用完整路径调用。下面这条命令用完整路径跑一次确认安装没问题 $env:LOCALAPPDATA\Programs\Ollama\ollama.exe --version接下来拉取 Qwen 模型。翻译场景下qwen2.5:7b是一个比较平衡的选择中文理解好7B 参数量对显存和内存的要求也不算离谱。执行 $env:LOCALAPPDATA\Programs\Ollama\ollama.exe pull qwen2.5:7b拉取完成后用一条测试指令确认模型能正常推理 $env:LOCALAPPDATA\Programs\Ollama\ollama.exe run qwen2.5:7b Translate to Chinese: The quick brown fox jumps over the lazy dog.如果看到模型返回了中文翻译说明 Ollama 和 Qwen 这一层已经通了。这里有个细节ollama run每次都会启动一个交互会话适合手动测试但不适合脚本批量调用。批量翻译要走 HTTP API也就是 Ollama 默认监听的http://localhost:11434。4. config.toml 配置骨架把 Ollama 和 TaoToken 串起来现在到了核心部分。很多翻译工具链比如一些编辑器插件、命令行翻译器、Agent 框架都支持用 TOML 文件做配置。下面这份骨架把本地 Ollama 和 TaoToken 统一通道都写进去你可以根据自己用的工具调整字段名但结构可以直接抄。# config.toml - 本地离线翻译环境配置骨架 [default] # 默认走本地 Ollama断网也能用 provider ollama model qwen2.5:7b target_language zh-CN source_language auto [providers.ollama] # Ollama 本地服务地址默认端口 11434 base_url http://localhost:11434 # Ollama 的 API 路径chat 接口 chat_path /api/chat # 本地推理不需要 Key留空即可 api_key # 超时设置长段落翻译适当调大 timeout_seconds 120 [providers.taotoken] # TaoToken 统一通道用于需要更强模型时切换 base_url https://taotoken.net/api # 从控制台创建的 Key建议用环境变量注入 api_key ${TAOTOKEN_API_KEY} # OpenAI 兼容的 chat 路径 chat_path /v1/chat/completions # 通过 TaoToken 可选的模型 model qwen-plus timeout_seconds 60 [translation] # 逐句翻译时的分段策略 chunk_size 800 # 每段之间的间隔避免本地机器过载 chunk_delay_ms 200 # 是否保留原文对照 keep_original true # 术语表文件路径可选 glossary_file ./glossary.csv [logging] level info file ./translate.log这份配置的关键设计在于default.provider决定当前走哪条路。平时离线用ollama需要更强模型或者本地机器忙不过来时把provider改成taotoken模型名换成providers.taotoken.model里配置的值其他脚本逻辑不用动。api_key用${TAOTOKEN_API_KEY}这种环境变量占位避免把 Key 硬编码进文件。设置环境变量的方式$env:TAOTOKEN_API_KEY 你的Key如果你用的是 Linux 或 macOS把 Ollama 的base_url保持http://localhost:11434不变安装方式换成对应的包管理器即可配置结构完全一致。5. 连通性验证两条链路都要跑通配置写完之后别急着上批量任务先用最小请求验证两条链路都能通。先验证 Ollama 本地链路。用 curl 发一个 chat 请求curl http://localhost:11434/api/chat -d { model: qwen2.5:7b, messages: [ {role: user, content: Translate to Chinese: Local inference is reliable.} ], stream: false }如果返回的 JSON 里message.content是「本地推理很可靠」之类的中文说明 Ollama 这条链路没问题。注意stream设为false方便脚本一次性拿到完整结果。再验证 TaoToken 通道。用同样的方式发一个 OpenAI 兼容格式的请求curl https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: qwen-plus, messages: [ {role: user, content: Translate to Chinese: Unified access simplifies tooling.} ] }返回的choices[0].message.content应该是中文翻译。两条都通了说明你的 config.toml 骨架里配置的地址和鉴权信息是对的。这时候可以写一个简单的 Python 脚本读取 config.toml根据default.provider决定调用哪个接口把翻译逻辑跑一遍import tomllib import os import requests with open(config.toml, rb) as f: cfg tomllib.load(f) provider_name cfg[default][provider] provider cfg[providers][provider_name] api_key os.path.expandvars(provider[api_key]) if provider_name ollama: url provider[base_url] provider[chat_path] payload { model: cfg[default][model], messages: [{role: user, content: Translate to Chinese: Test sentence.}], stream: False } headers {} else: url provider[base_url] provider[chat_path] payload { model: provider[model], messages: [{role: user, content: Translate to Chinese: Test sentence.}] } headers {Authorization: fBearer {api_key}} resp requests.post(url, jsonpayload, headersheaders, timeoutprovider[timeout_seconds]) print(resp.json())跑通这个脚本你的翻译环境就算搭起来了。后面要批量处理文档只需要把messages里的内容换成实际段落加上分段和重试逻辑即可。6. 本篇常见错排查Ollama 命令找不到最常见的原因是安装后没有重开终端PATH 没刷新。关掉 PowerShell 重新打开或者直接用完整路径 $env:LOCALAPPDATA\Programs\Ollama\ollama.exe。如果还是不行检查安装目录是否存在winget 安装有时会因为权限问题半途而废。模型拉取卡住或超时qwen2.5:7b体积在 4GB 以上网络不稳时容易断。可以先用ollama pull qwen2.5:1.5b拉一个小模型验证流程成功后再拉 7B。另外确认磁盘剩余空间足够Ollama 默认把模型存在用户目录下。curl 请求 Ollama 返回 connection refused说明 Ollama 服务没在跑。Ollama 安装后通常会自动注册为后台服务但某些情况下需要手动启动。在终端执行ollama serve可以前台启动看到监听 11434 端口的日志就对了。TaoToken 请求返回 401Key 没设置或者环境变量没生效。先确认$env:TAOTOKEN_API_KEY在当前终端里能打印出值如果为空重新设置一次。注意环境变量只在当前会话有效新开终端要重新设或者写进系统环境变量。config.toml 解析报错TOML 对格式比较敏感字符串必须用双引号布尔值是小写true/false。${TAOTOKEN_API_KEY}这种占位符在 TOML 里是普通字符串需要你的脚本自己做展开别指望 TOML 解析器自动替换。翻译结果断句混乱chunk_size设得太大模型可能在中途丢失上下文。论文类文本建议降到 500 左右并且按段落而不是按字符数切分。如果术语翻译不一致维护一个glossary.csv在 prompt 里把术语表带上。本地推理速度慢7B 模型在纯 CPU 上跑确实不快一段话等十几秒很正常。如果机器有独立显卡确认 Ollama 是否识别到了 GPU可以用ollama ps查看模型加载情况。实在慢的话把default.provider切到taotoken用统一通道调云端模型本地只保留离线兜底能力。接入文档里还有针对不同客户端的详细配置示例遇到本文没覆盖的报错可以去https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite对照排查。Key 的管理和重新生成在https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite如果怀疑 Key 泄露或者想按项目拆分权限在那里操作。