ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

如何验证新 Claude 模型在 jcode 中的能力边界:max_tokens 上限与 thinking 模式的线上探针方法

如何验证新 Claude 模型在 jcode 中的能力边界:max_tokens 上限与 thinking 模式的线上探针方法 如何验证新 Claude 模型在 jcode 中的能力边界max_tokens 上限与 thinking 模式的线上探针方法【免费下载链接】jcodeThe most RAM efficient harness项目地址: https://gitcode.com/GitHub_Trending/jcod/jcode当一个新 Claude 模型上线时jcode 需要立刻知道两件事该模型的max_tokens输出上限是多少以及它的 thinking 模式是 adaptive 还是 manual。jcode 的 Claude 能力表是手工维护的而线上模型目录的max_input_tokens已知会过度宣传对实际 200K 上限的模型广告 1M所以不能直接照抄目录值。项目文档 Claude Opus 5 capability audit 记录了完整的线上探针方法用 Anthropic API key 直接打https://api.anthropic.com/v1/messages每一行结论都是观察到的 API 响应而不是文档声明。本文按这份审计文档把探针步骤整理成可复现的操作路径。适用前提一个可用的 Anthropic API key在当前 shell 中作为$ANTHROPIC_API_KEY可用。审计文档使用的加载方式是set -a; source ~/.config/jcode/anthropic.env; set acurl和jq第二个探针用jq -r提取错误消息。所有请求都带anthropic-version: 2023-06-01头。每次探针都是真实的 Messages API 调用会按模型计价产生费用审计中 Opus 5 的价格记录为 in$5 / MTok、out$25 / MTok。探针一max_tokens 输出上限输出上限的探测思路是打一对相邻值候选上限值本身应该返回200上限加一应该返回400并给出明确的上限错误。审计文档中对 Opus 5 使用的探针如下候选值为 128000 / 128001# Output ceiling. for mt in 128000 128001; do curl -s -o /dev/null -w max_tokens$mt http%{http_code}\n \ https://api.anthropic.com/v1/messages \ -H x-api-key: $ANTHROPIC_API_KEY -H anthropic-version: 2023-06-01 \ -H content-type: application/json \ -d {\model\:\claude-opus-5\,\max_tokens\:$mt,\messages\:[{\role\:\user\,\content\:\hi\}]} done针对其他模型时替换model字段并把循环中的两个候选值换成你猜测的上限值与上限值加一。文档示例结果Opus 5实际观察到的响应max_tokens: 128000→200max_tokens: 128001→400错误消息为128001 128000, which is the maximum allowed number of output tokens for claude-opus-5判断方式上限值返回200、上限加一返回带 maximum allowed number of output tokens 字样的400说明候选上限就是该模型的真实输出上限。如果候选值本身就被拒绝说明该模型上限更低需要换更低的候选值再探。探针二thinking 模式adaptive 与 manualjcode 区分两类 thinking 能力接受thinking: {type: adaptive}的 adaptive 模式和需要thinking: {type: enabled, budget_tokens}手动预算的 manual 模式。审计对 Opus 5 的观察是adaptive 返回200manual 返回400即该模型只走 adaptive 路径。复现 manual thinking 不支持的探针对支持 manual 的模型此请求应成功curl -s https://api.anthropic.com/v1/messages \ -H x-api-key: $ANTHROPIC_API_KEY -H anthropic-version: 2023-06-01 \ -H content-type: application/json \ -d {model:claude-opus-5,max_tokens:4096,thinking:{type:enabled,budget_tokens:2048},messages:[{role:user,content:22?}]} \ | jq -r .error.message文档示例结果Opus 5输出错误消息thinking.type.enabled is not supported for this model。出现这个 400 即表示该模型不支持 manual thinking应编码为非 manual-thinking若返回正常响应则该模型接受budget_tokens手动预算。审计表格中还有一项可选探针output_config.effort取low/medium/high/xhigh/max五档全部返回200说明该模型支持完整的现代 effort 阶梯Opus 5 的观察结果对应 jcode 中的 full modern ladder 编码。把探针结果写进 jcode 的能力表探针拿到结果后需要落到 jcode 中两处手工维护的表里两者都在 jcode-provider-core输出预算anthropic_max_output_tokens(model)按模型 id 前缀返回预算。当前编码是Opus 5、Opus 4.6–4.8、Sonnet 5、Sonnet 4.6、Fable/Mythos 5 共享 128K 上限LARGE_OUTPUT_PREFIXES前缀列表Haiku 4.5 为 64K未知和更旧的 id 保守取 32768。请求构建侧在 jcode-provider-anthropic-runtime 中通过该函数取预算。推理能力AnthropicReasoningCaps结构体按模型族和版本固定能力组合output_effort/adaptive_thinking/manual_thinking/xhigh_effort/max_effort由anthropic_reasoning_caps(model)返回。运行时侧的model_supports_adaptive_thinking、model_supports_manual_thinking等函数都查这张表。对未知的新代模型5.x 及以上jcode 采取乐观默认假定完整现代阶梯如果模型实际拒绝了推理字段Anthropic 运行时会剥掉这些字段并重试即乐观默认可以优雅降级而悲观默认会静默禁用 effort 直到有人去探针并更新表。为什么输出上限的探针不可省略审计记录了一次真实事故jcode 曾对所有 Claude 模型发送统一的max_tokens 32768。Opus 5 允许 128K 且始终开启 adaptive thinkingthinking 加上可见的 tool call 经常超过 32K导致回合在 tool call 中途被截断、agent 运行提前结束——第一个 Opus 5 benchmark 单元格只用了 20 小时预算的 4.2% 就干净退出了。该问题在提交b9b1470ad中通过按模型派生预算修复。另有一个相邻边界需要注意模型目录的max_input_tokens会过度宣传anthropic_context_mode_is_verified(model)用来区分经过线上长上下文请求验证的世代与乐观默认值——已验证的分类优先于目录数据未验证的分类应让位给目录/配置数据。上下文窗口的判定与输出上限探针是两件事不要把目录里的 1M 当作实际可用值。限制探针只覆盖 Messages API 的同步调用路径结论应记录为该路径下的观察值。探针依赖账户权限审计中service_tier: auto的响应为standard说明该账户不具优先级 tier 资格tier 相关结论与账户绑定不能推广到其他账户。更新能力表后能力表对应的测试 中已固定了claude-haiku-4-5等模型的预期值新增模型行时应同步核对这些断言。【免费下载链接】jcodeThe most RAM efficient harness项目地址: https://gitcode.com/GitHub_Trending/jcod/jcode创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表