276B 总参 / 12B 激活，8 卡 B200 跑 648 tok/s：Inkling‑Small 技术解读**2

975B 的模型跑不动现在有个 276B 总参、12B 激活的 MoE8 张 B200 就能跑出 648 tok/s还在多项基准上反超了自家大哥 —— 这不是标题党是 Thinking Machines 刚开源的 Inkling‑Small。一句话背景由前 OpenAI 核心成员组建的 Thinking Machines Lab在发布旗舰模型 Inkling975B不到两周后迅速推出第二款作品 ——Inkling‑Small。体量大幅收缩多项能力却反超大版本。规格速览架构MoE 混合专家解码器总参数276B激活参数12B模态原生多模态支持文本、图像、音频输入上下文窗口256K / 1M tokens对比初代 Inkling975B 总参 / 41B 激活Inkling‑Small 总参仅为前者的 1/4激活参数压缩至 1/3。基准实测推理、编程全面反超来自第三方评测机构 Artificial Analysis 的独立测试结果Artificial Analysis 智能指数上二者几乎持平Inkling‑Small 拿到 40原版 Inkling 为 41。在 Humanity’s Last Exam、GPQA Diamond、SciCode、SWE‑Bench Verified、Terminal Bench 2.1 多项评测中Inkling‑Small 全部实现反超。尤其在智能体工具调用、代码修复、硬核推理这类任务上小版本表现全面超越体量更大的原版模型。短板事实知识依然是硬门槛知识能力上二者差距明显AA‑Omniscience 知识指数 Inkling‑Small 为 -9原版 Inkling 达到 2事实类任务准确率 31% 对比 40%。核心结论推理能力可以依靠蒸馏 RL “练出来”但海量背景知识仍然需要足够参数量来承载。效率优势更少 Token更低成本Artificial Analysis 智能指数评测统计了各模型完成单任务的平均输出 tokenInkling‑Small 约 24K原版 Inkling 约 25KDeepSeek V4 Flash 约 45KGPT‑5.4 mini (xhigh) 达到 78KInkling‑Small 输出更加精简落到生产环境直接带来更低延迟与推理成本。技术解密三步炼成 “小钢炮”优化预训练配方利用晚于大版本启动的时间差调整预训练数据配比和训练超参打下底座能力。On‑policy 在线策略蒸馏以 Inkling 作为教师模型执行在线策略蒸馏产出预览版检查点完成能力复刻。两周智能体强化学习基于蒸馏后的预览检查点专门针对智能体编码任务持续跑满两周 RL。蒸馏只是打底RL 才是实现能力反超的关键。部署门槛8 卡 B200 即可运行硬件推荐 8×B200采用 NVFP4 量化推理框架选用 SGLang。开启 DSpark 解码速度可达 648 tok/s关闭 DSpark 为 288 tok/s。LMSYS 给出评价276B 总参 / 12B 激活是 MoE 做强化学习的 “甜点位”LoRA 微调与全参数微调都具备现实可行性。谁该关注这款模型做 AI Agent 的开发者SWE‑Bench 分数达到 80.2%工具调用能力接近 GPT‑5.4 mini输出 token 更少。做垂直领域微调的团队12B 激活参数LoRA 微调可跑在单卡 A100/H100不需要庞大集群。跑高频推理业务的业务方每 FLOP 产出优于原版 Inkling长期可以降低 API 调用成本。⚠️不适合场景强依赖海量静态事实知识、要求高事实准确率的知识库问答场景。如果你对 Inkling‑Small 的私有化部署或者 LoRA 微调感兴趣可以关注 openstarry我们会持续输出 MoE 模型落地的最佳实践。下一步你可以做什么如果团队有 8 卡 B200 或者等效算力可以直接拉官方镜像做推理测试计划做 LoRA 微调官方文档已经提供示例脚本欢迎在评论区分享你的实测结果一起验证这一款 “小钢炮”关注 openstarry后续持续输出 MoE 系列模型的微调实战与部署踩坑记录官方页面https://thinkingmachines.ai/news/inkling-small/