尧图网站建设 
1. 为什么个人开发者要自己微调 DeepSeek-r1你可能已经用过 DeepSeek-r1 的在线版本问它通用问题确实很强但一旦涉及你所在行业的专有术语、内部规范、特定格式输出它就开始打太极。这不是模型不行而是它没在你的数据上补过课。微调Fine-tuning就是给这个博学家补上你所在领域的专业课让它从通才变成懂你业务的专才。对个人开发者来说过去微调最大的门槛有两个一是显存8B 模型全量微调动辄要 80G 以上显存普通显卡根本跑不动二是工程复杂度配置、数据格式、训练循环、合并权重每一步都能卡住人。unsloth 这个框架把这两个问题都压下来了——它通过手写 Triton 内核优化让 LoRA 微调的显存占用降低约 60%训练速度提升约 2 倍一张 24G 显存的 4090 就能跑通 DeepSeek-R1-Distill-Llama-8B 的 LoRA 微调。这篇内容面向的是有 Python 基础、手里有一张消费级 N 卡、想把 DeepSeek-r1 调成自己领域助手的个人开发者。我会先给出一套可复制的训练配置骨架用 config.toml 和 settings.json 两种风格对照再讲清楚微调完成后怎么用 TaoToken 的统一 Key 和 API 通道来管理推理调用最后给出验证请求和常见报错排查。整套流程跑通后你手里就有一个属于自己的定制模型并且有一个稳定的调用入口。2. 前置准备环境、模型与 TaoToken 统一 Key2.1 环境搭建与依赖安装我习惯用 conda 隔离环境避免和系统里的 torch 版本打架。Python 版本选 3.12unsloth 对 3.10 到 3.12 支持都比较稳。conda create -n unsloth_gpu python3.12 -y conda activate unsloth_gpu pip install unsloth pip install --force-reinstall --no-cache-dir --no-deps githttps://github.com/unslothai/unsloth.git pip install datasets modelscope装完之后一定要验证 GPU 版 torch 是否生效这一步很多人跳过结果训练时才发现跑在 CPU 上慢到怀疑人生。import torch print(torch.__version__) print(torch.version.cuda) print(torch.cuda.is_available()) # 必须是 True from unsloth import FastLanguageModel print(unsloth ok)如果torch.cuda.is_available()返回 False说明装的是 CPU 版需要重装 GPU 版pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1242.2 模型下载用 modelscope 下载 DeepSeek-R1-Distill-Llama-8B国内网络下比直接从 HuggingFace 拉快很多。modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-8B --local_dir ./DeepSeek-R1-Distill-Llama-8B下载完成后目录里应该有config.json、tokenizer.json、model-00001-of-00004.safetensors这类文件。8B 模型 fp16 权重约 16G确认磁盘空间够。2.3 TaoToken 统一 Key 的定位微调只是第一步训练完的模型你总得有个地方调用。本地推理适合调试但一旦你要做批量评测、接进自己的应用、或者让多个项目共用同一个模型入口就需要一个统一的 API 通道。TaoToken 在这里扮演的角色就是统一 Key 统一 API 通道——你不需要为每个模型单独维护一套鉴权和地址用一个 Key 就能在多个模型之间切换。注册和拿 Key 的入口在控制台登录后进 API Keys 页面创建即可。地址是https://taotoken.net/api注意 API 调用时不要带 UTM 参数那是给官网链接用的。提示把 Key 写进环境变量不要硬编码在代码里。export TAOTOKEN_API_KEYsk-xxxx后面所有脚本都从环境变量读。3. 可复制的训练配置骨架3.1 config.toml 风格把超参数外置把训练参数写死在 Python 里改一次要翻半天代码。我习惯用config.toml把关键参数抽出来训练脚本只负责读配置。下面这份骨架可以直接复制按你的显卡改batch_size和max_steps。# config.toml [model] name ./DeepSeek-R1-Distill-Llama-8B max_seq_length 2048 dtype bfloat16 # 4090/3090 用 bfloat16老卡用 float16 load_in_4bit false # 显存紧张时改 true [lora] r 16 lora_alpha 16 lora_dropout 0.0 target_modules [q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj] use_gradient_checkpointing unsloth random_state 3407 [training] per_device_train_batch_size 2 gradient_accumulation_steps 4 warmup_steps 5 max_steps 60 # 快速演示用 60 步正式训练改 num_train_epochs learning_rate 2.0e-4 logging_steps 10 optim adamw_8bit weight_decay 0.01 lr_scheduler_type linear seed 3407 output_dir outputs [data] path ./medical_o1_sft.json split train[0:500] # 演示用 500 条正式训练去掉 split text_field text对应的 Python 读取逻辑import tomllib with open(config.toml, rb) as f: cfg tomllib.load(f) max_seq_length cfg[model][max_seq_length]3.2 settings.json 风格适合接进已有工程如果你的项目已经有配置管理用 JSON 更顺手。字段和 TOML 一一对应只是嵌套结构不同。{ model: { name: ./DeepSeek-R1-Distill-Llama-8B, max_seq_length: 2048, load_in_4bit: false }, lora: { r: 16, lora_alpha: 16, target_modules: [q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], use_gradient_checkpointing: unsloth }, training: { per_device_train_batch_size: 2, gradient_accumulation_steps: 4, max_steps: 60, learning_rate: 0.0002, optim: adamw_8bit, output_dir: outputs } }3.3 加载模型并挂载 LoRA配置读进来之后加载模型和挂 LoRA 适配器。注意target_modules这七个层是 Llama 架构的标准注意力FFN 投影层DeepSeek-R1-Distill-Llama-8B 沿用同一套结构不用改。from unsloth import FastLanguageModel model, tokenizer FastLanguageModel.from_pretrained( model_namecfg[model][name], max_seq_lengthmax_seq_length, dtypeNone, load_in_4bitcfg[model][load_in_4bit], ) model FastLanguageModel.get_peft_model( model, rcfg[lora][r], target_modulescfg[lora][target_modules], lora_alphacfg[lora][lora_alpha], lora_dropoutcfg[lora][lora_dropout], biasnone, use_gradient_checkpointingcfg[lora][use_gradient_checkpointing], random_statecfg[lora][random_state], )3.4 数据模板化COT 数据集的关键DeepSeek-r1 是推理模型训练数据最好带思维链COT。medical-o1-reasoning-SFT 这个数据集每条包含Question、Complex_CoT、Response三个字段正好对应推理模型的输入、思考、输出。from datasets import load_dataset dataset load_dataset( pathjson, data_filescfg[data][path], splitcfg[data][split], ) train_prompt_style Below is an instruction that describes a task. ### Instruction: You are a medical expert. Please answer the following question. ### Question: {} ### Response: think {} /think {} EOS_TOKEN tokenizer.eos_token def formatting_prompts_func(examples): inputs examples[Question] cots examples[Complex_CoT] outputs examples[Response] texts [] for q, cot, out in zip(inputs, cots, outputs): texts.append(train_prompt_style.format(q, cot, out) EOS_TOKEN) return {text: texts} dataset dataset.map(formatting_prompts_func, batchedTrue)3.5 启动训练from trl import SFTTrainer from transformers import TrainingArguments trainer SFTTrainer( modelmodel, tokenizertokenizer, train_datasetdataset, dataset_text_fieldtext, max_seq_lengthmax_seq_length, dataset_num_proc2, argsTrainingArguments( per_device_train_batch_sizecfg[training][per_device_train_batch_size], gradient_accumulation_stepscfg[training][gradient_accumulation_steps], warmup_stepscfg[training][warmup_steps], max_stepscfg[training][max_steps], learning_ratecfg[training][learning_rate], fp16not torch.cuda.is_bf16_supported(), bf16torch.cuda.is_bf16_supported(), logging_stepscfg[training][logging_steps], optimcfg[training][optim], weight_decaycfg[training][weight_decay], lr_scheduler_typecfg[training][lr_scheduler_type], seedcfg[training][seed], output_dircfg[training][output_dir], ), ) trainer_stats trainer.train()60 步在 4090 上大约 3 到 5 分钟跑完你会看到 loss 从 2.x 降到 1.x 左右。正式训练把max_steps换成num_train_epochs3用全量数据4090 上大约 15 小时。3.6 合并权重并导出训练完outputs目录里只有 LoRA 适配器要单独部署得把原始权重和 LoRA 合并。new_model DeepSeek-R1-Medical-COT-Tiny model.save_pretrained(new_model) tokenizer.save_pretrained(new_model) model.save_pretrained_merged(new_model, tokenizer, save_methodmerged_16bit)合并后目录里是完整的 16bit 模型可以直接用 transformers 加载也可以推到推理服务上。4. 用 TaoToken 统一 Key 管理推理调用4.1 为什么微调后还要接统一 Key你微调完的模型可能部署在本地、可能推到云上、也可能同时有好几个版本在跑。如果每个版本都单独维护一套 API 地址和鉴权项目一多就乱。TaoToken 的统一 Key 让你用同一个base_url和同一个 Key 去调用不同模型切换模型只改model字段。4.2 配置环境变量export TAOTOKEN_API_KEYsk-你的key export TAOTOKEN_BASE_URLhttps://taotoken.net/api4.3 用 OpenAI SDK 调用TaoToken 的 API 兼容 OpenAI 协议直接用 openai 库即可。import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], ) resp client.chat.completions.create( modeldeepseek-r1, messages[ {role: system, content: 你是一名医学助手。}, {role: user, content: 压力性尿失禁患者的膀胱测压最可能显示什么}, ], temperature0.6, max_tokens1024, ) print(resp.choices[0].message.content)4.4 用 requests 裸调不想装 SDK 的话直接发 HTTP 请求也行。import os, requests, json url os.environ[TAOTOKEN_BASE_URL] /v1/chat/completions headers { Authorization: fBearer {os.environ[TAOTOKEN_API_KEY]}, Content-Type: application/json, } payload { model: deepseek-r1, messages: [{role: user, content: 用一句话解释 LoRA。}], stream: False, } r requests.post(url, headersheaders, datajson.dumps(payload), timeout60) print(r.status_code) print(r.json()[choices][0][message][content])4.5 本地微调模型与统一 Key 的分工一个实用的分工是本地微调模型用于验证效果、跑评测集、做 A/B 对比TaoToken 统一 Key 用于生产调用、批量任务、多项目共用。两者不冲突本地模型验证通过后把推理服务暴露成 OpenAI 兼容接口同样可以接进统一 Key 的管理体系。5. 验证请求与成功结果5.1 验证本地微调模型训练完先本地验证确认 LoRA 参数确实生效了。FastLanguageModel.for_inference(model) question A 61-year-old woman with stress urinary incontinence undergoes cystometry. What would it most likely reveal? inputs tokenizer([train_prompt_style.format(question, , )], return_tensorspt).to(cuda) outputs model.generate(input_idsinputs.input_ids, max_new_tokens800, use_cacheTrue) print(tokenizer.batch_decode(outputs)[0].split(### Response:)[1])微调前模型对这类问题的回答往往抓不住残余尿量正常、逼尿肌无异常收缩这两个关键点微调后应该能明确提到。如果还是答偏说明训练步数不够或数据量太小。5.2 验证 TaoToken 通道curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d {model:deepseek-r1,messages:[{role:user,content:ping}],max_tokens:16}成功返回的 JSON 里choices[0].message.content有内容usage字段有 token 计数。如果返回 401检查 Key 是否复制完整返回 404检查base_url是否漏了/v1。5.3 成功结果的判断标准本地模型loss 曲线下降、评测问题回答质量提升、save_pretrained_merged导出的目录能被 transformers 正常加载。TaoToken 通道curl 返回 200、内容非空、连续多次调用稳定。两个都通过整套流程就算跑通了。6. 本篇常见错排查6.1 CUDA out of memory最常见。先降per_device_train_batch_size到 1再把gradient_accumulation_steps提到 8 保持等效批量。还不行就开load_in_4bittrue显存能再降一半代价是精度略损。max_seq_length从 2048 降到 1024 也能省不少。6.2 torch.cuda.is_available() 返回 False装成了 CPU 版 torch。用pip list | grep torch看版本号如果没带cu124后缀就是 CPU 版。重装命令见 2.1 节。另外确认驱动版本够新nvidia-smi能正常输出。6.3 unsloth 导入报 Triton 相关错误Triton 版本和 torch 不匹配。先pip uninstall triton -y再pip install triton3.0.0对应 torch 2.4。如果还报错检查 Python 版本是不是 3.12unsloth 对 3.13 支持还不完整。6.4 训练 loss 不下降检查数据模板里的{}占位符数量是否和format参数个数一致。少一个占位符会静默出错数据全被塞进第一个位置。另外确认EOS_TOKEN加在了每条样本末尾没有结束符模型学不会停。6.5 TaoToken 返回 401 或 403Key 没读到。echo $TAOTOKEN_API_KEY确认环境变量在当前 shell 生效。如果是新开的终端重新export一次。Key 前后不要有空格复制时容易带上换行。6.6 合并权重后模型加载失败save_pretrained_merged的save_method参数选merged_16bit不要选merged_4bit除非你确定推理端支持 4bit。合并后目录里应该有config.json和完整的 safetensors 分片缺文件说明合并中断了重跑一次。6.7 推理时输出乱码或重复max_new_tokens设太大加上use_cacheTrue有时会触发重复。把temperature提到 0.7、repetition_penalty设 1.1 能缓解。如果还是乱码检查 tokenizer 是否和模型匹配别混用了不同版本的 tokenizer。7. 下一步把定制模型接进你的工作流跑通这套流程后你手里有一个合并好的 16bit 模型和一个稳定的 TaoToken 调用通道。接下来可以做的事把本地模型用 vLLM 或 Ollama 起一个 OpenAI 兼容服务然后用同一个 TaoToken Key 的管理方式接进你的应用或者直接用 TaoToken 的模型对话页面快速对比微调前后的效果差异。如果你打算长期做编码类任务或者搭 Agent可以考虑 Coding Plan 那条线把模型调用和代码工作流绑在一起。接入文档里有完整的参数说明和错误码对照排障时对着查比瞎试快。API Keys 页面可以创建多个 Key 做权限隔离比如评测用一个、生产用一个互不影响。整套流程里最容易卡住的地方其实是数据模板和显存前者靠打印一条格式化后的样本肉眼检查后者靠逐步降 batch size。把这两个搞定剩下的都是体力活。 大模型私人定制：用 unsloth 微调 DeepSeek-r1，从配置文件到 TaoToken 统一 Key 的完整落地
1. 为什么个人开发者要自己微调 DeepSeek-r1你可能已经用过 DeepSeek-r1 的在线版本问它通用问题确实很强但一旦涉及你所在行业的专有术语、内部规范、特定格式输出它就开始打太极。这不是模型不行而是它没在你的数据上补过课。微调Fine-tuning就是给这个博学家补上你所在领域的专业课让它从通才变成懂你业务的专才。对个人开发者来说过去微调最大的门槛有两个一是显存8B 模型全量微调动辄要 80G 以上显存普通显卡根本跑不动二是工程复杂度配置、数据格式、训练循环、合并权重每一步都能卡住人。unsloth 这个框架把这两个问题都压下来了——它通过手写 Triton 内核优化让 LoRA 微调的显存占用降低约 60%训练速度提升约 2 倍一张 24G 显存的 4090 就能跑通 DeepSeek-R1-Distill-Llama-8B 的 LoRA 微调。这篇内容面向的是有 Python 基础、手里有一张消费级 N 卡、想把 DeepSeek-r1 调成自己领域助手的个人开发者。我会先给出一套可复制的训练配置骨架用 config.toml 和 settings.json 两种风格对照再讲清楚微调完成后怎么用 TaoToken 的统一 Key 和 API 通道来管理推理调用最后给出验证请求和常见报错排查。整套流程跑通后你手里就有一个属于自己的定制模型并且有一个稳定的调用入口。2. 前置准备环境、模型与 TaoToken 统一 Key2.1 环境搭建与依赖安装我习惯用 conda 隔离环境避免和系统里的 torch 版本打架。Python 版本选 3.12unsloth 对 3.10 到 3.12 支持都比较稳。conda create -n unsloth_gpu python3.12 -y conda activate unsloth_gpu pip install unsloth pip install --force-reinstall --no-cache-dir --no-deps githttps://github.com/unslothai/unsloth.git pip install datasets modelscope装完之后一定要验证 GPU 版 torch 是否生效这一步很多人跳过结果训练时才发现跑在 CPU 上慢到怀疑人生。import torch print(torch.__version__) print(torch.version.cuda) print(torch.cuda.is_available()) # 必须是 True from unsloth import FastLanguageModel print(unsloth ok)如果torch.cuda.is_available()返回 False说明装的是 CPU 版需要重装 GPU 版pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1242.2 模型下载用 modelscope 下载 DeepSeek-R1-Distill-Llama-8B国内网络下比直接从 HuggingFace 拉快很多。modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-8B --local_dir ./DeepSeek-R1-Distill-Llama-8B下载完成后目录里应该有config.json、tokenizer.json、model-00001-of-00004.safetensors这类文件。8B 模型 fp16 权重约 16G确认磁盘空间够。2.3 TaoToken 统一 Key 的定位微调只是第一步训练完的模型你总得有个地方调用。本地推理适合调试但一旦你要做批量评测、接进自己的应用、或者让多个项目共用同一个模型入口就需要一个统一的 API 通道。TaoToken 在这里扮演的角色就是统一 Key 统一 API 通道——你不需要为每个模型单独维护一套鉴权和地址用一个 Key 就能在多个模型之间切换。注册和拿 Key 的入口在控制台登录后进 API Keys 页面创建即可。地址是https://taotoken.net/api注意 API 调用时不要带 UTM 参数那是给官网链接用的。提示把 Key 写进环境变量不要硬编码在代码里。export TAOTOKEN_API_KEYsk-xxxx后面所有脚本都从环境变量读。3. 可复制的训练配置骨架3.1 config.toml 风格把超参数外置把训练参数写死在 Python 里改一次要翻半天代码。我习惯用config.toml把关键参数抽出来训练脚本只负责读配置。下面这份骨架可以直接复制按你的显卡改batch_size和max_steps。# config.toml [model] name ./DeepSeek-R1-Distill-Llama-8B max_seq_length 2048 dtype bfloat16 # 4090/3090 用 bfloat16老卡用 float16 load_in_4bit false # 显存紧张时改 true [lora] r 16 lora_alpha 16 lora_dropout 0.0 target_modules [q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj] use_gradient_checkpointing unsloth random_state 3407 [training] per_device_train_batch_size 2 gradient_accumulation_steps 4 warmup_steps 5 max_steps 60 # 快速演示用 60 步正式训练改 num_train_epochs learning_rate 2.0e-4 logging_steps 10 optim adamw_8bit weight_decay 0.01 lr_scheduler_type linear seed 3407 output_dir outputs [data] path ./medical_o1_sft.json split train[0:500] # 演示用 500 条正式训练去掉 split text_field text对应的 Python 读取逻辑import tomllib with open(config.toml, rb) as f: cfg tomllib.load(f) max_seq_length cfg[model][max_seq_length]3.2 settings.json 风格适合接进已有工程如果你的项目已经有配置管理用 JSON 更顺手。字段和 TOML 一一对应只是嵌套结构不同。{ model: { name: ./DeepSeek-R1-Distill-Llama-8B, max_seq_length: 2048, load_in_4bit: false }, lora: { r: 16, lora_alpha: 16, target_modules: [q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], use_gradient_checkpointing: unsloth }, training: { per_device_train_batch_size: 2, gradient_accumulation_steps: 4, max_steps: 60, learning_rate: 0.0002, optim: adamw_8bit, output_dir: outputs } }3.3 加载模型并挂载 LoRA配置读进来之后加载模型和挂 LoRA 适配器。注意target_modules这七个层是 Llama 架构的标准注意力FFN 投影层DeepSeek-R1-Distill-Llama-8B 沿用同一套结构不用改。from unsloth import FastLanguageModel model, tokenizer FastLanguageModel.from_pretrained( model_namecfg[model][name], max_seq_lengthmax_seq_length, dtypeNone, load_in_4bitcfg[model][load_in_4bit], ) model FastLanguageModel.get_peft_model( model, rcfg[lora][r], target_modulescfg[lora][target_modules], lora_alphacfg[lora][lora_alpha], lora_dropoutcfg[lora][lora_dropout], biasnone, use_gradient_checkpointingcfg[lora][use_gradient_checkpointing], random_statecfg[lora][random_state], )3.4 数据模板化COT 数据集的关键DeepSeek-r1 是推理模型训练数据最好带思维链COT。medical-o1-reasoning-SFT 这个数据集每条包含Question、Complex_CoT、Response三个字段正好对应推理模型的输入、思考、输出。from datasets import load_dataset dataset load_dataset( pathjson, data_filescfg[data][path], splitcfg[data][split], ) train_prompt_style Below is an instruction that describes a task. ### Instruction: You are a medical expert. Please answer the following question. ### Question: {} ### Response: think {} /think {} EOS_TOKEN tokenizer.eos_token def formatting_prompts_func(examples): inputs examples[Question] cots examples[Complex_CoT] outputs examples[Response] texts [] for q, cot, out in zip(inputs, cots, outputs): texts.append(train_prompt_style.format(q, cot, out) EOS_TOKEN) return {text: texts} dataset dataset.map(formatting_prompts_func, batchedTrue)3.5 启动训练from trl import SFTTrainer from transformers import TrainingArguments trainer SFTTrainer( modelmodel, tokenizertokenizer, train_datasetdataset, dataset_text_fieldtext, max_seq_lengthmax_seq_length, dataset_num_proc2, argsTrainingArguments( per_device_train_batch_sizecfg[training][per_device_train_batch_size], gradient_accumulation_stepscfg[training][gradient_accumulation_steps], warmup_stepscfg[training][warmup_steps], max_stepscfg[training][max_steps], learning_ratecfg[training][learning_rate], fp16not torch.cuda.is_bf16_supported(), bf16torch.cuda.is_bf16_supported(), logging_stepscfg[training][logging_steps], optimcfg[training][optim], weight_decaycfg[training][weight_decay], lr_scheduler_typecfg[training][lr_scheduler_type], seedcfg[training][seed], output_dircfg[training][output_dir], ), ) trainer_stats trainer.train()60 步在 4090 上大约 3 到 5 分钟跑完你会看到 loss 从 2.x 降到 1.x 左右。正式训练把max_steps换成num_train_epochs3用全量数据4090 上大约 15 小时。3.6 合并权重并导出训练完outputs目录里只有 LoRA 适配器要单独部署得把原始权重和 LoRA 合并。new_model DeepSeek-R1-Medical-COT-Tiny model.save_pretrained(new_model) tokenizer.save_pretrained(new_model) model.save_pretrained_merged(new_model, tokenizer, save_methodmerged_16bit)合并后目录里是完整的 16bit 模型可以直接用 transformers 加载也可以推到推理服务上。4. 用 TaoToken 统一 Key 管理推理调用4.1 为什么微调后还要接统一 Key你微调完的模型可能部署在本地、可能推到云上、也可能同时有好几个版本在跑。如果每个版本都单独维护一套 API 地址和鉴权项目一多就乱。TaoToken 的统一 Key 让你用同一个base_url和同一个 Key 去调用不同模型切换模型只改model字段。4.2 配置环境变量export TAOTOKEN_API_KEYsk-你的key export TAOTOKEN_BASE_URLhttps://taotoken.net/api4.3 用 OpenAI SDK 调用TaoToken 的 API 兼容 OpenAI 协议直接用 openai 库即可。import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], ) resp client.chat.completions.create( modeldeepseek-r1, messages[ {role: system, content: 你是一名医学助手。}, {role: user, content: 压力性尿失禁患者的膀胱测压最可能显示什么}, ], temperature0.6, max_tokens1024, ) print(resp.choices[0].message.content)4.4 用 requests 裸调不想装 SDK 的话直接发 HTTP 请求也行。import os, requests, json url os.environ[TAOTOKEN_BASE_URL] /v1/chat/completions headers { Authorization: fBearer {os.environ[TAOTOKEN_API_KEY]}, Content-Type: application/json, } payload { model: deepseek-r1, messages: [{role: user, content: 用一句话解释 LoRA。}], stream: False, } r requests.post(url, headersheaders, datajson.dumps(payload), timeout60) print(r.status_code) print(r.json()[choices][0][message][content])4.5 本地微调模型与统一 Key 的分工一个实用的分工是本地微调模型用于验证效果、跑评测集、做 A/B 对比TaoToken 统一 Key 用于生产调用、批量任务、多项目共用。两者不冲突本地模型验证通过后把推理服务暴露成 OpenAI 兼容接口同样可以接进统一 Key 的管理体系。5. 验证请求与成功结果5.1 验证本地微调模型训练完先本地验证确认 LoRA 参数确实生效了。FastLanguageModel.for_inference(model) question A 61-year-old woman with stress urinary incontinence undergoes cystometry. What would it most likely reveal? inputs tokenizer([train_prompt_style.format(question, , )], return_tensorspt).to(cuda) outputs model.generate(input_idsinputs.input_ids, max_new_tokens800, use_cacheTrue) print(tokenizer.batch_decode(outputs)[0].split(### Response:)[1])微调前模型对这类问题的回答往往抓不住残余尿量正常、逼尿肌无异常收缩这两个关键点微调后应该能明确提到。如果还是答偏说明训练步数不够或数据量太小。5.2 验证 TaoToken 通道curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d {model:deepseek-r1,messages:[{role:user,content:ping}],max_tokens:16}成功返回的 JSON 里choices[0].message.content有内容usage字段有 token 计数。如果返回 401检查 Key 是否复制完整返回 404检查base_url是否漏了/v1。5.3 成功结果的判断标准本地模型loss 曲线下降、评测问题回答质量提升、save_pretrained_merged导出的目录能被 transformers 正常加载。TaoToken 通道curl 返回 200、内容非空、连续多次调用稳定。两个都通过整套流程就算跑通了。6. 本篇常见错排查6.1 CUDA out of memory最常见。先降per_device_train_batch_size到 1再把gradient_accumulation_steps提到 8 保持等效批量。还不行就开load_in_4bittrue显存能再降一半代价是精度略损。max_seq_length从 2048 降到 1024 也能省不少。6.2 torch.cuda.is_available() 返回 False装成了 CPU 版 torch。用pip list | grep torch看版本号如果没带cu124后缀就是 CPU 版。重装命令见 2.1 节。另外确认驱动版本够新nvidia-smi能正常输出。6.3 unsloth 导入报 Triton 相关错误Triton 版本和 torch 不匹配。先pip uninstall triton -y再pip install triton3.0.0对应 torch 2.4。如果还报错检查 Python 版本是不是 3.12unsloth 对 3.13 支持还不完整。6.4 训练 loss 不下降检查数据模板里的{}占位符数量是否和format参数个数一致。少一个占位符会静默出错数据全被塞进第一个位置。另外确认EOS_TOKEN加在了每条样本末尾没有结束符模型学不会停。6.5 TaoToken 返回 401 或 403Key 没读到。echo $TAOTOKEN_API_KEY确认环境变量在当前 shell 生效。如果是新开的终端重新export一次。Key 前后不要有空格复制时容易带上换行。6.6 合并权重后模型加载失败save_pretrained_merged的save_method参数选merged_16bit不要选merged_4bit除非你确定推理端支持 4bit。合并后目录里应该有config.json和完整的 safetensors 分片缺文件说明合并中断了重跑一次。6.7 推理时输出乱码或重复max_new_tokens设太大加上use_cacheTrue有时会触发重复。把temperature提到 0.7、repetition_penalty设 1.1 能缓解。如果还是乱码检查 tokenizer 是否和模型匹配别混用了不同版本的 tokenizer。7. 下一步把定制模型接进你的工作流跑通这套流程后你手里有一个合并好的 16bit 模型和一个稳定的 TaoToken 调用通道。接下来可以做的事把本地模型用 vLLM 或 Ollama 起一个 OpenAI 兼容服务然后用同一个 TaoToken Key 的管理方式接进你的应用或者直接用 TaoToken 的模型对话页面快速对比微调前后的效果差异。如果你打算长期做编码类任务或者搭 Agent可以考虑 Coding Plan 那条线把模型调用和代码工作流绑在一起。接入文档里有完整的参数说明和错误码对照排障时对着查比瞎试快。API Keys 页面可以创建多个 Key 做权限隔离比如评测用一个、生产用一个互不影响。整套流程里最容易卡住的地方其实是数据模板和显存前者靠打印一条格式化后的样本肉眼检查后者靠逐步降 batch size。把这两个搞定剩下的都是体力活。