文章目录tokentokenizer 训练过程如何使用 tiktoken 计算 tokencontext window 上下文窗口单位是token每次调用 API都是一次新的模型请求有一个新的 context windowtemperature和top_p总结agent skill什么是agent skill渐进式披露skill与mcpHarness Engineeringtoken大模型就是一个巨大的数学函数输入是数字输出也是数字根本就不理解人类文字。所以在人类和大模型之间站着一个翻译官这个翻译官的名字叫做tokenizer,负责编码和解码2个环节编码就是把文字转换为数字解码就是把数字转换成文字编码包含2个步骤第一步切分把问题切成一个一个最小的单位切出来的碎片就叫做token, 第2步映射因为模型只认识数字所以tokenizer会把每一个token映射为对应的数字这个数字就叫做tokenid,token id与token是一一对应的关系。token是文字而token id是数字2者所表达的内容是一样的只不过表现形式不一样解码只有1个步骤就是映射把tokenid转换为token把数字转换成文字。解码不需要切分因为模型只会输出一个token id编码之后将token id给模型模型输出一个tokenidtokenizer 训练过程openai的tokenizerclaude的tokenizer如何使用 tiktoken 计算 token如何使用 tiktoken 计算 tokencontext window 上下文窗口单位是tokencontext window 输入token输出token输出token 隐藏推理token可见回答token(显示出来的思考token最终结论token)只要是模型“吐”出来的 Token无论最终有没有展示在你的屏幕上全都是输出 TokenOutput/Completion Tokens每次调用 API都是一次新的模型请求有一个新的 context windowtemperature和top_ptemperature 和 top_p 都是控制大模型“生成随机性”的参数。它们影响模型在下一个 token 上怎么选词。可以先记住一句话temperature 决定模型“有多随机”top_p 决定模型“从多大的候选范围里随机”。模型在生成下一个 token 前先会给每个候选 token 一个分数叫 logit。然后通过 softmax 把这些分数变成概率调低T值差距拉大调高t值差距减小总结agent skill什么是agent skillagent skill是大模型可以随时翻阅的说明文档referencescript(轻量脚本)按需中的按需加载reference是读会占用模型上下文。script是跑只会被执行也不是绝对的如果没说清楚怎么执行或执行不下去还是会读取代码的script里的代码只执行没有读取。也不是绝对的如果没说清楚怎么执行或执行不下去还是会读取代码的渐进式披露skill与mcpHarness EngineeringHarness 马具缰绳虽然马非常强大但是我们必须借助马具的力量来限制马的活动。这样才能够让马为我们人类所用。左边脱掉马具的马对应的就是ai领域的大模型大模型特别强能干的事情很多但是大模型就像马一样如果我们不对它加以干预任由大模型自己去运行和发挥那就像脱缰的野马一样harnes agent -model自己决定先做哪个在做哪个不需要别人在指指点点