尧图网站建设 
API网关LLM 网关后端【免费下载链接】ccxClaude / Codex / Gemini API Proxy - CCX项目地址https://gitcode.com/gh_mirrors/cc/ccx点击查看免费下载本文是 CCXClaude / Codex / Gemini API Proxy竞速模式Racing的深度技术解析。竞速模式在首字明显慢的渠道如中转站排队触发跨渠道影子请求hedging主渠道慢时并行派出影子请求谁先交付有效响应客户端就用谁的。读完本文你将掌握竞速模式的两个配置开关、CostPreference 策略表、自适应阈值推导、影子候选五元组选取、claim-once 提交闸门与分支写出隔离的裁决原理以及延迟负反馈学习的完整闭环。一、机制概述从排队等待到谁快用谁在真实的多渠道网关场景中渠道质量波动是常态某个模型家族的首字延迟可能因为上游中转站排队而急剧恶化而客户端无法感知、只能干等。CCX 竞速模式的解决思路来自对冲思想——参照兄弟项目 kiro.rs 的对冲竞速hedging主请求等待超过自适应阈值时向候选渠道并行派发影子请求谁先交付有效响应客户端就透传谁的。竞速模式复用 CCX preflight 缓冲的未提交可弃窗口作为裁决点在响应真正写入客户端之前各分支的响应都处于可丢弃状态只有胜者完成提交。从源码结构看其核心实现分布在模块职责backend-go/internal/racing/阈值注册表、Gate 提交闸门、全局并发信号量、策略表、ErrRacingSupersededbackend-go/internal/config/racing_config.go全局/渠道级开关 ResolveRacingPolicySetRacingEnabledbackend-go/internal/handlers/common/racing.go编排器RunRacingAttempt武装检查/定时器/影子派发/裁决归并/样本记录backend-go/internal/handlers/common/racing_writer.go分支 writerpre-commit 私有缓冲、赢家 Commit 桥接真实 writer、败者 Discardbackend-go/internal/autopilot/racing_candidates.go五元组影子候选选取backend-go/main.goRacingHub 注入 /api/racing/config二、用户可见面极简设计只有两个开关竞速模式的核心理念是极简配置面用户只控制开关其余行为参数影子数、触发下限、候选成本过滤全部由策略自动推导不暴露为配置项。这一点在 backend-go/internal/config/racing_config.go 的源码注释中明确写明。2.1 全局开关racing.enabled开关位置语义racing.enabled全局智能路由面板「竞速模式」开关随PUT /smart-routing/config整卡保存字段名racingEnabled另有独立端点PUT /api/racing/config供脚本直调竞速总开关默认关全局开关的底层实现由GlobalRacingConfig.Enabled承载nil 视为默认开启管理接口通过SetRacingEnabled更新并持久化同时fireConfigChangeCallbacks通知运行时刷新backend-go/internal/config/racing_config.go。2.2 渠道级开关racing.enabled开关位置语义racing.enabled渠道级渠道编辑 → 自定义参数渠道参与开关关闭 既不做主触发其候选也不进影子池渠道级配置由ChannelRacingConfig.Enabled承载nil 时继承全局。最终生效策略由ResolveRacingPolicy按渠道级字段 全局字段 默认开启的优先级解析backend-go/internal/config/racing_config.go。该解析在武装检查shouldArmRacing与影子候选构建buildSelectionFromCandidate、调度器回退路径三处被调用保证关闭渠道既不会触发竞速、其候选也不会被选中。2.3 武装条件何时才会进入竞速流程从 backend-go/internal/handlers/common/racing.go 的shouldArmRacing可以确认竞速只武装四类对话协议messages/chat/responses/gemini并有三类请求明确不竞速显式渠道 pin请求头X-Channel非空时渠道选择是用户意图不做竞速含图请求影子需要整包重传图片v1 不竞速竞速未武装时编排器RunRacingAttempt退化为直接调用渠道尝试闭包路径零开销。三、策略表CostPreference 决定影子数与触发时机竞速行为参数由请求生效的CostPreference推导其解析优先级为请求头X-Cost-Preference 场景预设X-Routing-Scenario 全局配置 Mode未知值回退balancedbackend-go/internal/handlers/common/racing.go。策略表为代码内常量定义于 backend-go/internal/racing/registry.go 的BehaviorForCostPreferenceCostPreference影子数流式触发 floor影子候选过滤quality_first34s无限制balanced默认18s无限制cost_first18s仅综合倍率 ≤ 主候选一半渠道 CostMultiplier × key GroupMultiplier无合适候选不派从源码注释可以看到 floor 档位的演进脉络早期 2s/3s/5s 会对慢而真的渠道如 ark kimi-k3 真实首字 2-4s系统性误判慢且家族分位数窗口混入快而差的中转假模型首字后 p90 被拉低、2s 档形同虚设成为抢闸交付伪工具标记文本的根因之一floor 上调后 clamp 兜底两类污染。行为推导的正确性由 backend-go/internal/racing/registry_test.go 的TestBehaviorForCostPreference固化如quality_first → 3 影子/4s floor、cost_first → 1 影子/8s floor/cheap-only、空值与未知值按balanced。其余内部常量同样定义在 backend-go/internal/racing/registry.go常量值语义分位数目标p90percentileTarget 90样本门槛20低于该数回退 floorsampleFloor观测窗口15 分钟windowRetention滚动淘汰过期样本窗口容量512maxSamplesPerWindow超限淘汰最旧全局并发影子信号量12maxConcurrentShadows防主渠道系统性事故时影子堆积放大非流式 floor10sNonStreamFloorMs全策略统一3.1 隐藏推理阶段的保护下限带隐藏推理阶段的流式请求请求画像ReasoningNeedtrue使用更高的首内容保护下限避免在模型正常思考期间过早误判慢渠道未声明 effort24slow/minimal16smedium24shigh/xhigh/max/ultra30snone/off保持普通请求 floor。该逻辑实现于 backend-go/internal/racing/registry.go 的StreamFloorForReasoning并且该下限仍受渠道StreamFirstContentTimeoutMsceiling 裁剪if floorMs ceilingMs { floorMs ceilingMs }见编排器避免把正常推理等待误判为慢渠道。测试 backend-go/internal/racing/registry_test.go 验证了各 effort 档位的下限值以及已有更高 floor 时不应降低的语义StreamFloorForReasoning(35_000, low) 35_000。四、触发阈值p90 自适应 floor/ceiling 双裁剪竞速触发的核心公式threshold p90(近 15 分钟同家族×阶段成功样本, n≥20) 否则 floor, 再 clamp[floor, ceiling]维度模型家族claude/gpt/gemini/other× 阶段流式首字 / 非流式完成时长家族全局共用一个窗口。家族归类实现于FamilyForModelbackend-go/internal/racing/registry.goclaude/sonnet/opus/haiku/fable归 Claude 家族gpt/o1/o3/o4/codex归 GPT 家族gemini前缀归 Gemini 家族其余含 deepseek、kimi归 other。同家族首字延迟特征接近按家族分窗可加速样本积累这也意味着慢性慢渠道持续超 p90 会被持续竞速。ceiling流式 渠道StreamFirstContentTimeoutMs解析值非流式 渠道ResponseHeaderTimeout同源超时等过它请求已失败。实现上流式 ceiling 由racingStreamCeilingMs取渠道与全局熔断配置中的首字超时backend-go/internal/handlers/common/racing.go非流式 ceiling 由racingNonStreamCeilingMs取渠道有效响应头超时。样本消赢家偏差流式分支出过首字即记含被取消的败者非流式仅记赢家完成耗时。对应实现recordRacingStreamSample与recordRacingNonStreamSamplebackend-go/internal/handlers/common/racing.go。计时起点 外壳attemptStartedAt含渠道内 key 轮转等待符合用户体感与 kiro 的 attempt 级重置刻意不同。阈值注册表实现于 backend-go/internal/racing/registry.go 的Registry每个family, stage键维护一个 15 分钟滚动环形样本窗口sampleRing按时间升序、超容量淘汰最旧、过期样本 prune 淘汰ThresholdMs在样本不足时回退 floor否则取排序后 p90再 clamp 到[floorMs, ceilingMs]。测试 backend-go/internal/racing/registry_test.go 完整验证了四类边界样本不足回退 floor、p90 低于 floor 向上 clamp、p90 超过 ceiling 向下 clamp、窗口过期后重新回退 floor以及家族×阶段窗口隔离与容量封顶。五、影子候选五元组粒度选取影子候选以五元组channelUID keyIdentity actualModel为粒度选取分两条路径主源SmartRouter 排名缓存autopilot.RacingShadowCandidates从可行集Selectedtrue中选取并排除与主尝试相同的五元组——同渠道不同 key / 不同执行模型可作影子。选取纪律在 backend-go/internal/autopilot/racing_candidates.go 中实现主 key 一律不作影子同一明文 key 跨渠道重复配置时与主分支并发同账号请求是放大器限速/空流异渠道候选优先同渠道行一律不作影子同 provider 同队列的重复消耗key 级对冲已由 attempt 内部轮转覆盖多影子按 keyIdentity 去重同 key 只取一行保持排名原序。回退缓存为空或无可选时SelectChannelWithOptions按FailedRoutes已用路由重选纯跨渠道。该回退同样应用渠道去重、竞速开关、限流热渠道过滤与成本过滤backend-go/internal/handlers/common/racing.go。执行候选反查渠道构造SelectionResult pinWithExecutionPin经WithSelectionTrace透传reason 记racing_shadowbackend-go/internal/handlers/common/racing.go。影子构建出口还有两道关键约束工具调用白名单路由排他带工具定义的请求影子不从非白名单路由派伪工具标记方言的根治约束该协议无白名单时 fail-open但连续伪标记 miss 达阈值的已知劣化组合仍不派toolWhitelistAllows。限流热渠道不派影子渠道级冷却中或全部 key scope 被限速延迟时该候选被跳过——排名缓存路径绕过调度器冷却过滤候选构造处兜底防止 429 风暴中 shadow 放大真实上游消耗IsChannelRateLimitHot检查。此外影子使用自己的完整 ceiling 超时窗口从影子发出起算不共享主链剩余 deadline。六、裁决与分支治理claim-once 闸门 单写者分支隔离6.1 提交闸门racing.Gateclaim-once裁决点是竞速正确性的核心。claim 点在 preflight 首字确认后 / 非流式完整响应校验后、写客户端之前胜者 claim 即取消其余分支ctx 级败者 claim 失败以ErrRacingSuperseded收尾。Gate实现于 backend-go/internal/racing/gate.goclaimed/winner用 atomic 存储保证并发安全查询ClaimBy(ownerID)通过 CAS 实现首次调用返回 true 并取消其余分支的 claim-once 语义CancelExcept(ownerID)则主动取消除赢家外的全部分支。测试 backend-go/internal/racing/registry_test.go 验证了串行 claim-once 与 32 个并发分支下唯一赢家的不变量。ErrRacingSuperseded在失败分类链中必须先于isClientSideError拦截不计渠道失败、不触发熔断/Key 拉黑/自学习仅完成渠道日志终态。主分支返回后的编排器止血只取消非赢家分支CancelExcept(ClaimedBy())影子已 claim 时必须保留赢家透传固定CancelExcept(0)会把赢家一并取消、客户端流被切断 context canceled——这是 248deb01 的回归修复无 claim主真实失败时保留在飞影子由结算路径兜底接管。6.2 分支写出隔离racingBranchWriter主/影子分支各挂独立分支 writerbackend-go/internal/handlers/common/racing_writer.gopre-commit 阶段头/状态码/体写私有缓冲Write返回len(p), nil不干扰上游流读取claim 赢家Commit一次性回放私有响应头与已缓冲状态/体到真实客户端 writer之后全部操作转为透传败者Discard丢弃缓冲后续写出操作静默无操作。其不变量由构造保证真实 writer 只被 claim 赢家触碰分支间不共享响应头 map——取代早期影子回填主 Writer meta 锁串行化 echo 头的约定式模型后者是 2026-09-08 双 panic 事故的临时修复形态。主分支同样经分支 writer 写出编排器中c.Writer newRacingBranchWriter(origWriter)保证真实客户端 writer 全程只被赢家触碰。6.3 败者治理静默失败不污染健康度败者不计失败指标、不熔断、不拉黑、不标 URL 失败、不参与自学习工具调用/严重度/上下文棘轮。唯一例外是质量闸门让出——伪标记已在败者分支自身首包缓冲实测命中已完成观察非部分流推断让出时单独计一次白名单负反馈notePseudoToolCallYield见 docs/specs/tool-call-capability.md。影子真实上游错误超时/500/拉黑仍照常记账。渠道日志终态败者racing_lostracingStatuslost赢家racingStatuswon。主/影子尝试共享请求 correlation ID渠道日志按用户请求折叠为一行「N 次尝试」徽章见 docs/specs/web-ui-dialogs.md。6.4 防误判赢家被取消的影子可能以空流 EOF → 内部轮转 →context.Canceled Handledtrue收尾pickWinner判据为Handled LastError nilbackend-go/internal/handlers/common/racing.gocancel 连带的空流响应直接按败出终止racingSupersededOrCanceledEmptyStream判定。6.5 防放大机制汇总每请求最多maxShadows条策略表全局并发信号量 12TryAcquire不阻塞主流程超容量直接放弃派影子backend-go/internal/racing/gate.go影子分支内禁递归竞速影子分支执行trySelectedChannel不再套RunRacingAttemptX-Channel pin / 含图请求 / 非四对话协议不竞速限流热渠道不派影子。6.6 影子赢时的状态归并影子赢时分支 gin keys 回拷主 contextcopyBranchKeysBack跳过ccx.racing.*内部 key保证responseText/lastUserMessage等后处理读到赢家数据primary selection 补记 trace 终态notifyPrimarySuperseded防悬空。七、后端结构总览位置职责backend-go/internal/racing/阈值注册表、Gate、信号量、策略表、ErrRacingSupersededbackend-go/internal/config/racing_config.go全局/渠道级开关 ResolveRacingPolicySetRacingEnabledbackend-go/internal/handlers/common/racing.go编排器RunRacingAttempt武装检查/定时器/影子派发/裁决归并/样本记录backend-go/internal/handlers/common/multi_channel_failover.go外壳接线TrySelectedChannelFunc增加 gin context 参数AlsoFailedRoutes并入 failedRoutesbackend-go/internal/handlers/common/upstream_failover.goecho 头块写出分支 writer 隔离、败者分类豁免先于 isClientSideError、成功路径 won 标记、日志角色backend-go/internal/handlers/common/racing_writer.go分支 writerpre-commit 私有缓冲、赢家 Commit 桥接真实 writer、败者 Discardbackend-go/internal/handlers/common/stream_processor.go 4 协议 handler流式/非流式 claim 点backend-go/internal/autopilot/racing_candidates.go五元组候选选取backend-go/main.goRacingHub 注入 /api/racing/config八、延迟负反馈学习竞速姊妹机制竞速样本不只驱动阈值还回流为组合级学习构成竞速触发 → 慢组合标记 → 影子排除 软降权 → 快样本恢复的完整闭环。8.1 键粒度与存储学习键为渠道 × keyHash × 实际出站模型 × 任务类TaskClass 7 值未分类落unknown全量桶。存储在 ChannelCompatCache 第四分区latencyPenalties.config/channel_compat.jsonTTL 24hGET/DELETE /api/compat-cache可查/可清?sectionlatency-penalty。8.2 三个慢信号竞速 primary 被影子击败upstream_failover 败者豁免点非 shadow 分支才记竞速触发本身派影子时主组合记一次——recordPrimaryRacingTriggerEvidence见编排器startShadow普通流式成功请求首字超同家族 p90 阈值MaybeLearnLatencyDegradation。竞速败出/被取消分支不学习。8.3 判定与恢复连续慢证据streak ≥ 3判劣化单次是抖动任一快样本首字 阈值一半乐观翻转清零。观测日志为[Latency-Learn]首次达阈值/[Latency-Recover]翻转各一行。8.4 消费软降权非硬排除延迟差不是能力缺失因此采用软降权而非硬排除ScoringCandidate.LatencyDegraded→calcPenalty叠加 −15介于 degraded −5 与 limited −20 之间竞速影子候选排除学习过的慢组合racingShadowExcludesLookup→learnedLatencyDegradedLookup见 backend-go/internal/autopilot/racing_candidates.go由 backend-go/internal/autopilot/latency_memory.go 的查询入口接入。taskClass精确桶优先unknown桶对任意任务类生效全量记录。排除逻辑的测试见 backend-go/internal/autopilot/racing_candidates_test.go。九、与 kiro.rs 的刻意偏离竞速机制参照 kiro.rs但结合 CCX 的架构做了四处刻意偏离只做首字/完成阶段竞速无响应头阶段——CCX preflight 闸门已覆盖主要收益影子用独立完整超时窗口——CCX preflight 超时是 per-attempt 口径共享剩余窗口会让 5s 短超时渠道竞速失效候选是五元组绑定跨渠道 同渠道换绑定非 kiro 的同模型换凭据无 SQLite 分钟桶预热重启后 20 样本内走 floor样本记流式败者消赢家偏差。十、快速上手如何开启与验证竞速模式开启后无需额外运维动作行为参数自动推导可通过以下途径验证其工作状态开启竞速在智能路由面板打开「竞速模式」或脚本直调PUT /api/racing/config全局与渠道编辑页自定义参数渠道级观察阈值窗口样本积累与触发行为由Registry维护阈值随 p90 自适应浮动可通过源码中SampleCount/ThresholdMs的测试用例理解边界行为backend-go/internal/racing/registry_test.go观察日志终态竞速发生时渠道日志按请求折叠为一行带「N 次尝试」徽章终态标记racingStatuswon/racingStatuslost影子派发时有[Racing] 首字等待超阈值(...ms)向候选 ... 派出影子分支 #N日志清理延迟负反馈需要时通过DELETE /api/compat-cache?sectionlatency-penalty清除 24h TTL 的学习结论。十一、适用前提与限制竞速以冗余流量换延迟默认关闭按需开启cost_first通过仅派更便宜候选综合倍率 ≤ 主候选一半控制成本竞速只对四类对话协议messages/chat/responses/gemini生效显式渠道 pin、含图请求不竞速重启后样本窗口为空前 20 个样本内走静态 floor需等待窗口积累后阈值才能自适应延迟负反馈是软降权−15不参与硬排除任务类精确桶优先于unknown全量桶。赞分享API网关LLM 网关后端【免费下载链接】ccxClaude / Codex / Gemini API Proxy - CCX项目地址https://gitcode.com/gh_mirrors/cc/ccx点击查看免费下载相关推荐CCX 渠道 Vision Fallback 限制剖析为什么 visionFallbackModel 对 Gemini 渠道不生效CCX 渠道 Vision Fallback 限制剖析为什么 visionFallbackModel 对 Gemini 渠道不生效 本文以 CCXClaudAPI网关LLM 网关后端Grafana Tempo 中的 Hedged HTTP用 hedgedhttp 对冲请求消除对象存储长尾延迟Grafana Tempo 中的 Hedged HTTP用 hedgedhttp 对冲请求消除对象存储长尾延迟 Grafana Tempo 是一个高吞吐、低依后端可观测性链路追踪IP2Region.xdb使用指南基于gh_mirrors/ipd/IP_database项目IP2Region.xdb使用指南基于gh_mirrors/ipd/IP_database项目 IP2Region.xdb是一款高效精准的IP地址定位数据库上一篇MateCloud配置中心动态配置更新与热加载机制详解下一篇构建完整数据血缘追踪系统OpenLineage终极指南与最佳实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CCX 竞速模式（Racing）技术指南：跨渠道影子请求的延迟对冲机制全解
API网关LLM 网关后端【免费下载链接】ccxClaude / Codex / Gemini API Proxy - CCX项目地址https://gitcode.com/gh_mirrors/cc/ccx点击查看免费下载本文是 CCXClaude / Codex / Gemini API Proxy竞速模式Racing的深度技术解析。竞速模式在首字明显慢的渠道如中转站排队触发跨渠道影子请求hedging主渠道慢时并行派出影子请求谁先交付有效响应客户端就用谁的。读完本文你将掌握竞速模式的两个配置开关、CostPreference 策略表、自适应阈值推导、影子候选五元组选取、claim-once 提交闸门与分支写出隔离的裁决原理以及延迟负反馈学习的完整闭环。一、机制概述从排队等待到谁快用谁在真实的多渠道网关场景中渠道质量波动是常态某个模型家族的首字延迟可能因为上游中转站排队而急剧恶化而客户端无法感知、只能干等。CCX 竞速模式的解决思路来自对冲思想——参照兄弟项目 kiro.rs 的对冲竞速hedging主请求等待超过自适应阈值时向候选渠道并行派发影子请求谁先交付有效响应客户端就透传谁的。竞速模式复用 CCX preflight 缓冲的未提交可弃窗口作为裁决点在响应真正写入客户端之前各分支的响应都处于可丢弃状态只有胜者完成提交。从源码结构看其核心实现分布在模块职责backend-go/internal/racing/阈值注册表、Gate 提交闸门、全局并发信号量、策略表、ErrRacingSupersededbackend-go/internal/config/racing_config.go全局/渠道级开关 ResolveRacingPolicySetRacingEnabledbackend-go/internal/handlers/common/racing.go编排器RunRacingAttempt武装检查/定时器/影子派发/裁决归并/样本记录backend-go/internal/handlers/common/racing_writer.go分支 writerpre-commit 私有缓冲、赢家 Commit 桥接真实 writer、败者 Discardbackend-go/internal/autopilot/racing_candidates.go五元组影子候选选取backend-go/main.goRacingHub 注入 /api/racing/config二、用户可见面极简设计只有两个开关竞速模式的核心理念是极简配置面用户只控制开关其余行为参数影子数、触发下限、候选成本过滤全部由策略自动推导不暴露为配置项。这一点在 backend-go/internal/config/racing_config.go 的源码注释中明确写明。2.1 全局开关racing.enabled开关位置语义racing.enabled全局智能路由面板「竞速模式」开关随PUT /smart-routing/config整卡保存字段名racingEnabled另有独立端点PUT /api/racing/config供脚本直调竞速总开关默认关全局开关的底层实现由GlobalRacingConfig.Enabled承载nil 视为默认开启管理接口通过SetRacingEnabled更新并持久化同时fireConfigChangeCallbacks通知运行时刷新backend-go/internal/config/racing_config.go。2.2 渠道级开关racing.enabled开关位置语义racing.enabled渠道级渠道编辑 → 自定义参数渠道参与开关关闭 既不做主触发其候选也不进影子池渠道级配置由ChannelRacingConfig.Enabled承载nil 时继承全局。最终生效策略由ResolveRacingPolicy按渠道级字段 全局字段 默认开启的优先级解析backend-go/internal/config/racing_config.go。该解析在武装检查shouldArmRacing与影子候选构建buildSelectionFromCandidate、调度器回退路径三处被调用保证关闭渠道既不会触发竞速、其候选也不会被选中。2.3 武装条件何时才会进入竞速流程从 backend-go/internal/handlers/common/racing.go 的shouldArmRacing可以确认竞速只武装四类对话协议messages/chat/responses/gemini并有三类请求明确不竞速显式渠道 pin请求头X-Channel非空时渠道选择是用户意图不做竞速含图请求影子需要整包重传图片v1 不竞速竞速未武装时编排器RunRacingAttempt退化为直接调用渠道尝试闭包路径零开销。三、策略表CostPreference 决定影子数与触发时机竞速行为参数由请求生效的CostPreference推导其解析优先级为请求头X-Cost-Preference 场景预设X-Routing-Scenario 全局配置 Mode未知值回退balancedbackend-go/internal/handlers/common/racing.go。策略表为代码内常量定义于 backend-go/internal/racing/registry.go 的BehaviorForCostPreferenceCostPreference影子数流式触发 floor影子候选过滤quality_first34s无限制balanced默认18s无限制cost_first18s仅综合倍率 ≤ 主候选一半渠道 CostMultiplier × key GroupMultiplier无合适候选不派从源码注释可以看到 floor 档位的演进脉络早期 2s/3s/5s 会对慢而真的渠道如 ark kimi-k3 真实首字 2-4s系统性误判慢且家族分位数窗口混入快而差的中转假模型首字后 p90 被拉低、2s 档形同虚设成为抢闸交付伪工具标记文本的根因之一floor 上调后 clamp 兜底两类污染。行为推导的正确性由 backend-go/internal/racing/registry_test.go 的TestBehaviorForCostPreference固化如quality_first → 3 影子/4s floor、cost_first → 1 影子/8s floor/cheap-only、空值与未知值按balanced。其余内部常量同样定义在 backend-go/internal/racing/registry.go常量值语义分位数目标p90percentileTarget 90样本门槛20低于该数回退 floorsampleFloor观测窗口15 分钟windowRetention滚动淘汰过期样本窗口容量512maxSamplesPerWindow超限淘汰最旧全局并发影子信号量12maxConcurrentShadows防主渠道系统性事故时影子堆积放大非流式 floor10sNonStreamFloorMs全策略统一3.1 隐藏推理阶段的保护下限带隐藏推理阶段的流式请求请求画像ReasoningNeedtrue使用更高的首内容保护下限避免在模型正常思考期间过早误判慢渠道未声明 effort24slow/minimal16smedium24shigh/xhigh/max/ultra30snone/off保持普通请求 floor。该逻辑实现于 backend-go/internal/racing/registry.go 的StreamFloorForReasoning并且该下限仍受渠道StreamFirstContentTimeoutMsceiling 裁剪if floorMs ceilingMs { floorMs ceilingMs }见编排器避免把正常推理等待误判为慢渠道。测试 backend-go/internal/racing/registry_test.go 验证了各 effort 档位的下限值以及已有更高 floor 时不应降低的语义StreamFloorForReasoning(35_000, low) 35_000。四、触发阈值p90 自适应 floor/ceiling 双裁剪竞速触发的核心公式threshold p90(近 15 分钟同家族×阶段成功样本, n≥20) 否则 floor, 再 clamp[floor, ceiling]维度模型家族claude/gpt/gemini/other× 阶段流式首字 / 非流式完成时长家族全局共用一个窗口。家族归类实现于FamilyForModelbackend-go/internal/racing/registry.goclaude/sonnet/opus/haiku/fable归 Claude 家族gpt/o1/o3/o4/codex归 GPT 家族gemini前缀归 Gemini 家族其余含 deepseek、kimi归 other。同家族首字延迟特征接近按家族分窗可加速样本积累这也意味着慢性慢渠道持续超 p90 会被持续竞速。ceiling流式 渠道StreamFirstContentTimeoutMs解析值非流式 渠道ResponseHeaderTimeout同源超时等过它请求已失败。实现上流式 ceiling 由racingStreamCeilingMs取渠道与全局熔断配置中的首字超时backend-go/internal/handlers/common/racing.go非流式 ceiling 由racingNonStreamCeilingMs取渠道有效响应头超时。样本消赢家偏差流式分支出过首字即记含被取消的败者非流式仅记赢家完成耗时。对应实现recordRacingStreamSample与recordRacingNonStreamSamplebackend-go/internal/handlers/common/racing.go。计时起点 外壳attemptStartedAt含渠道内 key 轮转等待符合用户体感与 kiro 的 attempt 级重置刻意不同。阈值注册表实现于 backend-go/internal/racing/registry.go 的Registry每个family, stage键维护一个 15 分钟滚动环形样本窗口sampleRing按时间升序、超容量淘汰最旧、过期样本 prune 淘汰ThresholdMs在样本不足时回退 floor否则取排序后 p90再 clamp 到[floorMs, ceilingMs]。测试 backend-go/internal/racing/registry_test.go 完整验证了四类边界样本不足回退 floor、p90 低于 floor 向上 clamp、p90 超过 ceiling 向下 clamp、窗口过期后重新回退 floor以及家族×阶段窗口隔离与容量封顶。五、影子候选五元组粒度选取影子候选以五元组channelUID keyIdentity actualModel为粒度选取分两条路径主源SmartRouter 排名缓存autopilot.RacingShadowCandidates从可行集Selectedtrue中选取并排除与主尝试相同的五元组——同渠道不同 key / 不同执行模型可作影子。选取纪律在 backend-go/internal/autopilot/racing_candidates.go 中实现主 key 一律不作影子同一明文 key 跨渠道重复配置时与主分支并发同账号请求是放大器限速/空流异渠道候选优先同渠道行一律不作影子同 provider 同队列的重复消耗key 级对冲已由 attempt 内部轮转覆盖多影子按 keyIdentity 去重同 key 只取一行保持排名原序。回退缓存为空或无可选时SelectChannelWithOptions按FailedRoutes已用路由重选纯跨渠道。该回退同样应用渠道去重、竞速开关、限流热渠道过滤与成本过滤backend-go/internal/handlers/common/racing.go。执行候选反查渠道构造SelectionResult pinWithExecutionPin经WithSelectionTrace透传reason 记racing_shadowbackend-go/internal/handlers/common/racing.go。影子构建出口还有两道关键约束工具调用白名单路由排他带工具定义的请求影子不从非白名单路由派伪工具标记方言的根治约束该协议无白名单时 fail-open但连续伪标记 miss 达阈值的已知劣化组合仍不派toolWhitelistAllows。限流热渠道不派影子渠道级冷却中或全部 key scope 被限速延迟时该候选被跳过——排名缓存路径绕过调度器冷却过滤候选构造处兜底防止 429 风暴中 shadow 放大真实上游消耗IsChannelRateLimitHot检查。此外影子使用自己的完整 ceiling 超时窗口从影子发出起算不共享主链剩余 deadline。六、裁决与分支治理claim-once 闸门 单写者分支隔离6.1 提交闸门racing.Gateclaim-once裁决点是竞速正确性的核心。claim 点在 preflight 首字确认后 / 非流式完整响应校验后、写客户端之前胜者 claim 即取消其余分支ctx 级败者 claim 失败以ErrRacingSuperseded收尾。Gate实现于 backend-go/internal/racing/gate.goclaimed/winner用 atomic 存储保证并发安全查询ClaimBy(ownerID)通过 CAS 实现首次调用返回 true 并取消其余分支的 claim-once 语义CancelExcept(ownerID)则主动取消除赢家外的全部分支。测试 backend-go/internal/racing/registry_test.go 验证了串行 claim-once 与 32 个并发分支下唯一赢家的不变量。ErrRacingSuperseded在失败分类链中必须先于isClientSideError拦截不计渠道失败、不触发熔断/Key 拉黑/自学习仅完成渠道日志终态。主分支返回后的编排器止血只取消非赢家分支CancelExcept(ClaimedBy())影子已 claim 时必须保留赢家透传固定CancelExcept(0)会把赢家一并取消、客户端流被切断 context canceled——这是 248deb01 的回归修复无 claim主真实失败时保留在飞影子由结算路径兜底接管。6.2 分支写出隔离racingBranchWriter主/影子分支各挂独立分支 writerbackend-go/internal/handlers/common/racing_writer.gopre-commit 阶段头/状态码/体写私有缓冲Write返回len(p), nil不干扰上游流读取claim 赢家Commit一次性回放私有响应头与已缓冲状态/体到真实客户端 writer之后全部操作转为透传败者Discard丢弃缓冲后续写出操作静默无操作。其不变量由构造保证真实 writer 只被 claim 赢家触碰分支间不共享响应头 map——取代早期影子回填主 Writer meta 锁串行化 echo 头的约定式模型后者是 2026-09-08 双 panic 事故的临时修复形态。主分支同样经分支 writer 写出编排器中c.Writer newRacingBranchWriter(origWriter)保证真实客户端 writer 全程只被赢家触碰。6.3 败者治理静默失败不污染健康度败者不计失败指标、不熔断、不拉黑、不标 URL 失败、不参与自学习工具调用/严重度/上下文棘轮。唯一例外是质量闸门让出——伪标记已在败者分支自身首包缓冲实测命中已完成观察非部分流推断让出时单独计一次白名单负反馈notePseudoToolCallYield见 docs/specs/tool-call-capability.md。影子真实上游错误超时/500/拉黑仍照常记账。渠道日志终态败者racing_lostracingStatuslost赢家racingStatuswon。主/影子尝试共享请求 correlation ID渠道日志按用户请求折叠为一行「N 次尝试」徽章见 docs/specs/web-ui-dialogs.md。6.4 防误判赢家被取消的影子可能以空流 EOF → 内部轮转 →context.Canceled Handledtrue收尾pickWinner判据为Handled LastError nilbackend-go/internal/handlers/common/racing.gocancel 连带的空流响应直接按败出终止racingSupersededOrCanceledEmptyStream判定。6.5 防放大机制汇总每请求最多maxShadows条策略表全局并发信号量 12TryAcquire不阻塞主流程超容量直接放弃派影子backend-go/internal/racing/gate.go影子分支内禁递归竞速影子分支执行trySelectedChannel不再套RunRacingAttemptX-Channel pin / 含图请求 / 非四对话协议不竞速限流热渠道不派影子。6.6 影子赢时的状态归并影子赢时分支 gin keys 回拷主 contextcopyBranchKeysBack跳过ccx.racing.*内部 key保证responseText/lastUserMessage等后处理读到赢家数据primary selection 补记 trace 终态notifyPrimarySuperseded防悬空。七、后端结构总览位置职责backend-go/internal/racing/阈值注册表、Gate、信号量、策略表、ErrRacingSupersededbackend-go/internal/config/racing_config.go全局/渠道级开关 ResolveRacingPolicySetRacingEnabledbackend-go/internal/handlers/common/racing.go编排器RunRacingAttempt武装检查/定时器/影子派发/裁决归并/样本记录backend-go/internal/handlers/common/multi_channel_failover.go外壳接线TrySelectedChannelFunc增加 gin context 参数AlsoFailedRoutes并入 failedRoutesbackend-go/internal/handlers/common/upstream_failover.goecho 头块写出分支 writer 隔离、败者分类豁免先于 isClientSideError、成功路径 won 标记、日志角色backend-go/internal/handlers/common/racing_writer.go分支 writerpre-commit 私有缓冲、赢家 Commit 桥接真实 writer、败者 Discardbackend-go/internal/handlers/common/stream_processor.go 4 协议 handler流式/非流式 claim 点backend-go/internal/autopilot/racing_candidates.go五元组候选选取backend-go/main.goRacingHub 注入 /api/racing/config八、延迟负反馈学习竞速姊妹机制竞速样本不只驱动阈值还回流为组合级学习构成竞速触发 → 慢组合标记 → 影子排除 软降权 → 快样本恢复的完整闭环。8.1 键粒度与存储学习键为渠道 × keyHash × 实际出站模型 × 任务类TaskClass 7 值未分类落unknown全量桶。存储在 ChannelCompatCache 第四分区latencyPenalties.config/channel_compat.jsonTTL 24hGET/DELETE /api/compat-cache可查/可清?sectionlatency-penalty。8.2 三个慢信号竞速 primary 被影子击败upstream_failover 败者豁免点非 shadow 分支才记竞速触发本身派影子时主组合记一次——recordPrimaryRacingTriggerEvidence见编排器startShadow普通流式成功请求首字超同家族 p90 阈值MaybeLearnLatencyDegradation。竞速败出/被取消分支不学习。8.3 判定与恢复连续慢证据streak ≥ 3判劣化单次是抖动任一快样本首字 阈值一半乐观翻转清零。观测日志为[Latency-Learn]首次达阈值/[Latency-Recover]翻转各一行。8.4 消费软降权非硬排除延迟差不是能力缺失因此采用软降权而非硬排除ScoringCandidate.LatencyDegraded→calcPenalty叠加 −15介于 degraded −5 与 limited −20 之间竞速影子候选排除学习过的慢组合racingShadowExcludesLookup→learnedLatencyDegradedLookup见 backend-go/internal/autopilot/racing_candidates.go由 backend-go/internal/autopilot/latency_memory.go 的查询入口接入。taskClass精确桶优先unknown桶对任意任务类生效全量记录。排除逻辑的测试见 backend-go/internal/autopilot/racing_candidates_test.go。九、与 kiro.rs 的刻意偏离竞速机制参照 kiro.rs但结合 CCX 的架构做了四处刻意偏离只做首字/完成阶段竞速无响应头阶段——CCX preflight 闸门已覆盖主要收益影子用独立完整超时窗口——CCX preflight 超时是 per-attempt 口径共享剩余窗口会让 5s 短超时渠道竞速失效候选是五元组绑定跨渠道 同渠道换绑定非 kiro 的同模型换凭据无 SQLite 分钟桶预热重启后 20 样本内走 floor样本记流式败者消赢家偏差。十、快速上手如何开启与验证竞速模式开启后无需额外运维动作行为参数自动推导可通过以下途径验证其工作状态开启竞速在智能路由面板打开「竞速模式」或脚本直调PUT /api/racing/config全局与渠道编辑页自定义参数渠道级观察阈值窗口样本积累与触发行为由Registry维护阈值随 p90 自适应浮动可通过源码中SampleCount/ThresholdMs的测试用例理解边界行为backend-go/internal/racing/registry_test.go观察日志终态竞速发生时渠道日志按请求折叠为一行带「N 次尝试」徽章终态标记racingStatuswon/racingStatuslost影子派发时有[Racing] 首字等待超阈值(...ms)向候选 ... 派出影子分支 #N日志清理延迟负反馈需要时通过DELETE /api/compat-cache?sectionlatency-penalty清除 24h TTL 的学习结论。十一、适用前提与限制竞速以冗余流量换延迟默认关闭按需开启cost_first通过仅派更便宜候选综合倍率 ≤ 主候选一半控制成本竞速只对四类对话协议messages/chat/responses/gemini生效显式渠道 pin、含图请求不竞速重启后样本窗口为空前 20 个样本内走静态 floor需等待窗口积累后阈值才能自适应延迟负反馈是软降权−15不参与硬排除任务类精确桶优先于unknown全量桶。赞分享API网关LLM 网关后端【免费下载链接】ccxClaude / Codex / Gemini API Proxy - CCX项目地址https://gitcode.com/gh_mirrors/cc/ccx点击查看免费下载相关推荐CCX 渠道 Vision Fallback 限制剖析为什么 visionFallbackModel 对 Gemini 渠道不生效CCX 渠道 Vision Fallback 限制剖析为什么 visionFallbackModel 对 Gemini 渠道不生效 本文以 CCXClaudAPI网关LLM 网关后端Grafana Tempo 中的 Hedged HTTP用 hedgedhttp 对冲请求消除对象存储长尾延迟Grafana Tempo 中的 Hedged HTTP用 hedgedhttp 对冲请求消除对象存储长尾延迟 Grafana Tempo 是一个高吞吐、低依后端可观测性链路追踪IP2Region.xdb使用指南基于gh_mirrors/ipd/IP_database项目IP2Region.xdb使用指南基于gh_mirrors/ipd/IP_database项目 IP2Region.xdb是一款高效精准的IP地址定位数据库上一篇MateCloud配置中心动态配置更新与热加载机制详解下一篇构建完整数据血缘追踪系统OpenLineage终极指南与最佳实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考