开源模型调研)
背景TypeSafe AI 于 2026-09-15 发布首个 System One Model「Jev」。核心命题unstructured state in, typed probabilistic decisions out——不生成文本单次前向传播直接返回带校准概率的类型化决策Choice / Score / Noul 三种基元70–500ms、$0.042/Mtok 输入输出免费。本报告回答这个技术方向上有哪些开源模型/实现全部经 GitHub API 逐一验证star/许可证/最近推送。一、Jev 技术要点判断同源的标尺维度Jev 的做法输出三种类型化基元Choice枚举选择概率分布置信度、Score量表打分概率置信度、Noul真/假 0–1 概率生成零 token单次前向末位 logits 掩码投影到候选槽位局部 Softmax并行一次请求多个问题共享 KV Cache 前缀并行评估加问题几乎不增加延迟训练RLCD面向校准决策的强化学习优化 ECE 期望校准误差不可微调全账号同一权重接口POST /v1/systemonemodel字段选版本jev-1.13.0 / jev-latest / jev-preview基座逆向/社区分析指向 Qwen 系小模型官方未完全公开架构生态官方闭源 API已接入 Vercel AI Gateway、OpenRouter、Cloudflare AI Gateway官方开源件只有typesafe-ai/system-one-adapter-python277★, MIT判断一个开源项目是否属于Jev 技术看四条① 类型化问题接口choice/score/noul 或等价物② 非自回归/单次前向 ③ 输出校准概率置信度 ④ 代码可直接消费的结构。二、开源直接替代模型权重级核心答案2.1 全量开源模型权重 代码多为 RLCD/非自回归原生架构项目Stars许可证规模/架构延迟特点LayaNandhaKishorM/laya19,349Apache-2.03 个检查点ModernBERT-large 421MEN512 上下文/ mmBERT-base 322M100 语言1024/ typed-decisions 421M内置 Router 按请求选检查点33ms/问T4批量 7.2ms/问生态最成熟PyPIpip install laya HF 模型 ColabRLCD 训练对严格恰当评分规则做 RLJev 兼容 HTTP 服务器laya[serve]说POST /v1/systemoneTypeSafe 客户端改 baseUrl 即可MCP server、LangChain/LangGraph、TypeScript 包、ONNX/TileLang 加速、Intel XPU。作者自称比 Jev 早一年做出来dev.to 文章0.3.8 版、每日推送vonwfzyx/von547Apache-2.0395M 非自回归15ms定位本地 Jev 替代校准概率openJev-verdict-2.0Heman10x-NGU/openJev-verdict-2.0274NOASSERTION需自读151M 非自回归决策引擎—宣称在 LocalLLaMA/typed-decisions 基准上同时超过 Jev 与 Laya77.10% acc、Brier 0.0636、ECE 0.0144带自测套件。声明需自行验证NanoJevTianyuCodings/NanoJev2,088MIT0.6B 并行决策模型—完整交付训练流水线权重数据集输出完整概率分布、无输出 token 解码——想自己复训首选参考TinyJevankit-aglawe/tinyjev3MIT596M 指针头模型pointer-head单次前向MLX 优先Apple SiliconSystem One 端点权重在 HF/ModelScope不确定时显式升级人工conformal 思想JevForgezwliJay/jev-forge24NOASSERTIONQwen3.5-0.8B—端到端研究栈可审计数据构建 训练 固定 Mind2Web/OOD 评测 本地服务 RLCD 基线实现2.2 接口级开源实现开放权重兼容服务器多数免训练思路不造新模型用现成开源模型 logits 投影 / NLI 交叉编码 / 前缀共享实现 Jev 接口。项目Stars许可证基座/方法备注SemIf前 OpenJevTheoLeeCJ/SemIf-OpenJev4,027MIT冻结 4B 模型Qwen3.5-4B 等末位 logits 直读选项概率多后端MLXApple Silicon 前缀复用/共享态并行、CUDA、PyTorch/MPS、llama.cpp GGUFCPU、WebGPU 浏览器 Demo按工作负载温度校准“3090 在家跑无 waitlist”openjevrazorback16/openjev345Apache-2.0DiffusionGemmaJev 兼容决策服务器扩散 LM 天然支持并行解码openjev-sglangekzhang/openjev-sglang291—开放模型prefill-onlyJev 兼容 API 端点只做前缀计算最贴近 Jev 单次前向形态Diffusion JevHangzhi/diffusion-jev-sglang2MITDiffusionGemma/SGLang视觉分类从图像像素做类型化 Choice涂鸦/花卉识别概率未校准OpenDecisiondeepanwadhwa/OpenDecision55Apache-2.0本地语义决策引擎“Jev 的开源等价物”从结构化状态文档回答三基元FastJevchengyongru/fastjev18MIT钉住的开放模型 × Torch/vLLM/MLX/llama.cpp/WebGPU自托管 Python SDK运行期定义 Choice/Boolean/Score附逐行基准校验和LitJevzhengxuyu/litjev42Apache-2.0任意 Qwen 模型免训练把任意 Qwen 变成决策模型同/v1/systemoneschema不生成答案文本rulingbradAGI/ruling6MIT任意 MLX 检查点 / OpenAI 兼容端点免训练从 logits 读三基元答案官方 SDK 直插256 条公开判定回放231 vs Jev 238McNemar p0.21统计上无法区分jev-localus/jev-local3—开放权重温度拟合校准set3 n1316 总体 0.83poorjevrupeshpoojary9/poorjev7MIT商品级零样本 NLI 模型温度缩放 conformal 弃权不确定时弃权而非猜校准评测 ECE 0.170→0.071离线可跑、无 API keylaya-mlxmizorewww/laya-mlx——Laya 检查点的 MLX 移植Apple Silicon 原生13.4ms多语言检查点 7.4ms/短决策零输出 tokenopen-alternative-jev / mini-jev / zhihz/openjev小—本地 LLM 承载 Jev 接口各种小规模复现2.3 RLCD / 约束解码研究脉络项目说明vicksiyi/qwen-2.5-1b-rlcd、shamazharikh/qwen-rlcdJev 发布后两小时内出现的 Qwen2.5-1B RLCD 复现logits 掩码投影路线drinkmoonshine/parallel-constrained-decodingHF SpaceRLCD 训练的 Qwen2.5-1B 演示开源并行约束解码作为 Jev 的替代路径JevForge 的 RLCD 基线目前能看到的最完整的 RLCD 开源参考实现2.4 官方开源件项目说明typesafe-ai/system-one-adapter-python277★, MITTypeSafe 官方开源的 drop-in 适配器在任意 OpenAI/Anthropic 兼容 LLM API 上运行 System One 评测——官方承认非 Jev 权重也能跑这个接口等于给整个开源生态发了一张兼容证书三、同技术脉络的前身/邻接开源模型Jev 之前的System 1 们Jev 不是凭空出现它的技术要素在开源世界各有一支前身。按功能分3.1 LLM 路由 / 意图选择“Choice” 基元的直接前身项目Stars许可证说明lm-sys/RouteLLM5,537Apache-2.0LMSYS 出品强/弱模型路由BT matrix、LLM-based 等策略2024-08 后维护放缓yuchenlin/LLM-Blender995Apache-2.0Fuser选择 RankerBART 125M–1.3B 小模型做候选排序——小模型结构化选择的早期形态stanford-futuredata/FrugalGPT287Apache-2.0级联调用策略便宜模型先答置信不足升级社区新路由——Jev 发布后涌现prismhq/jev-routerLiteLLM 基、Switchboard“powered by Jev today,Laya, Kev, Cua-S1coming soon”——后两者是待上线的同类模型3.2 安全/内容分类小模型“Noul” 基元前身小、快、出概率Llama 4 Prompt Guard 2MetaHF22M / 415M 提示注入分类器输出分数——Jev 安全分类用例Vercel fx 用它替代 GPT快 5–18×的直接对照物OpenAI Moderation已开源8 类内容审核分类baaivision/JudgeLM443★, Apache-2.07B 评审模型输出多维分数3.3 奖励/评审/重排模型“Score” 基元前身输出校准分数Qwen/Qwen2.5-*-RM、Skywork/Skywork-Reward-V2-*HF开源奖励模型promptslab/Prometheus2结构化评审打分BGE-reranker-v2-m3、jina-reranker-m0交叉编码重排器premise-hypothesis 打分 Laya 路线的同款数学3.4 投机解码草稿模型最字面意义的System 1快草稿服务慢校验项目Stars说明SafeAILab/EAGLEEAGLE-32,540特征层投机解码草稿模型活跃2026-02 推送vllm-project/speculators850vLLM 官方投机解码工具链2026-09-22 仍在推送Medusa 系列—多头并行草稿免独立草稿模型3.5 运维/时序决策工业界的System 1老传统NetManAIOps/OmniAnomaly951★, MIT多变量时序异常检测二值判定同类DeepLog/MOML日志异常、Meta SageRL 调度、Alibaba ARW弹性伸缩预测四、选型建议按场景场景推荐理由生产环境替换 Jev API要稳定、多语言、运维省心Laya19.3k★、Apache-2.0、PyPI/HF/文档/基准齐全laya-serve直接兼容/v1/systemone客户端零改造Router 自动选检查点CJK 走多语言检查点Apple Silicon 本地Layalaya-mlx13ms/ TinyJev / SemIfMLX 后端三者都 MLX 优先资源极小/边缘openJev-verdict-2.0151M/ von395M, 15ms/ poorjev零样本 NLIconformal 弃权注意许可证与声明自证想自己训一个NanoJev流水线权重数据全包/ JevForgeRLCD 基线固定评测NanoJev 0.6B 门槛最低JevForge 更偏研究可审计不想训、用现成大模型快速验证SemIf4B 直读 logits多后端含浏览器 Demo/ LitJev任意 Qwen/ ruling连 OpenAI 端点 logits 都行20 行级复现路径适合 PoC多模态决策图像Diffusion JevDiffusionGemma/SGLang目前唯一开源的 Jev 式视觉分类学术对标/校准研究parallel-constrained-decoding Space JevForge 基线 poorjev 的 conformal 弃权校准指标ECE/Brier是该领域真正的竞争维度组合拳推荐的自建架构Laya或小检查点做热路径高频决策 → 低置信度如 0.6按置信度路由升级到 LLMSystem 2→ 用 SemIf/LitJev 做第二意见交叉校验。这正是 Jev 官方文档的 “Confidence-gated routing” 模式的开源等价物。五、评测基准与指标LocalLLaMA/typed-decisions社区公共基准verdict-2.0、Laya 都以它为擂台51 个应用工作流、51 种语言口径校准指标ECE期望校准误差、Brier score——比裸准确率更能区分 System One 模型Jev 的核心卖点就是校准回放法ruling 的 256 条公开判定回放 McNemar 检验是目前对闭源 Jev 做可复现对比的干净方法延迟口径注意Jev 官方 70–500ms 是端到端含网络开源项目多为本地前向15–33ms对比时要标注是否含 prefill/网络六、风险提示发布潮水分awesome-jev1,427★明确警告同一天批量提交的仓库要特别小心——Jev 发布 48 小时内涌现几十个复现仓库star 总量不小但多数 100★部分 star 可能是刷的采用前跑仓库自带评测 自己数据验证。声明需自证如 verdict-2.0 “超过 Jev 与 Laya”、Laya “比 Jev 早一年”都只有自述无第三方复现。许可证参差verdict-2.0、JevForge 是 NOASSERTION自定义条款商用前读 LICENSE。校准≠能力开源小检查点上下文短512–1024 token长状态Jev 支持 32k state场景差距会拉开Laya 的 Router/截断策略是补丁不是同构能力。闭源事实Jev 权重与 RLCD 细节未公开Qwen 基座来自社区逆向官方未确认其 64k 上下文并行前缀共享的工程实现加问题近乎零边际延迟开源侧目前只有 prefill-only 架构openjev-sglang部分逼近。七、资料索引Jev 官方docs.typesafe.aiIntroduction / Models / Patterns: speculative fan-out, confidence-gated routing, composite scoring, intent routing生态目录yibie/awesome-jev1,427★14 个应用类别 340 条目、Anil-matcha/awesome-jev-by-typesafe815★、v-modal/awesome-jev-tools677★深度解析jev.kuhung.me架构逆向logits 投影、KV 前缀共享、RLCD、kelen.cc发布日全记录核心仓库本文件第二节所列均经 GitHub API 验证2026-09-16