大模型多模态推理模型【免费下载链接】Agnes-3.0-Flash项目地址https://ai.gitcode.com/hf_mirrors/Agnes-AI/Agnes-3.0-Flash点击查看免费下载本文围绕开源模型仓库 Agnes-AI/Agnes-3.0-Flash本仓库即该模型的开放权重发布目录展开系统梳理 Agnes-3.0-Flash Preview 的混合注意力架构、评测口径、Transformers/SGLang 两套加载与部署路径、推理强度与工具调用机制以及硬件与推理参数建议。读完本文你将掌握如何在本仓库权重基础上完成单卡与张量并行推理、多模态输入处理和 OpenAI 兼容接口对接的全套实战方案。说明本文所述规格、评测成绩与配置均针对本仓库发布的Agnes-3.0-Flash Preview 开放权重 checkpoint与 production/API 版 Agnes 3.0 Flash1M 上下文不是同一份权重评测成绩不能互相套用。一、模型版本澄清Preview 与 production/API 的区别本仓库发布的是 Agnes 3.0 Flash 的早期开放权重 Preview checkpoint它在三个关键维度上与 Artificial Analysis 页面所列的新版 production/API checkpoint 不同维度Preview本仓库production/API参数规模约33Bdense 稠密架构不同 checkpoint 与配置上下文窗口262,144 token1M token评测成绩见本文第三节不应归属于本仓库权重两点需要特别留意本仓库最初以Agnes-3.0-Flash名称发布遗漏了Preview后缀现在模型卡已明确标识为Agnes-3.0-Flash Preview本文所有规格与评测均指该 Preview checkpoint。本 Preview 是33B 参数的 dense稠密模型并非 MoE 架构不存在3B active parameters之类的口径。评测表中出现的 active parameter 数字仅用于标注部分对比模型如 Qwen3.6-35B-A3B、DeepSeek V4 Flash 0731、MiniMax M3 等。二、架构混合注意力解码器Agnes-3.0-Flash Preview 采用混合注意力hybrid-attention解码器设计每四层中前三层为门控 delta rule循环式注意力第四层为标准全局注意力。由于 delta-rule 层的单层状态大小与序列长度无关72 层中只有 18 层持有随上下文长度增长的 KV cache——这是其支撑 262,144 token 长上下文而显存代价可控的核心原因。完整规格如下与 config.json 中的text_config/vision_config逐项对应项目规格上下文长度262,144 token解码层72 层 54 层 delta-rule 递归 18 层全局注意力按 3 : 1 交替隐藏维度5120全局注意力24 query heads / 4 KV headsGQA 6 : 1head dim 256q、k 各带 RMS-norm输出经 sigmoid 门控Delta-rule 层16 key heads / 48 value headshead dim 128前置因果卷积kernel 4gated RMS-norm循环状态为 fp32前馈SwiGLU中间维 17408每层另并联一路 SwiGLU 2048 分支位置编码三轴 rotarytext / height / widthmrope 分段 11 : 11 : 10 交错base 1e7作用于 head dim 前 25%64 维词表248,320视觉塔27 层hidden 1152patch 162 × 2 空间合并投影至 51202.1 源码层的架构印证在 config.json 的text_config中layer_types数组以agnes_delta_attention/agnes_global_attention交替出现共 72 项与3 : 1 交替完全一致global_attention_interval: 4、num_attention_heads: 24、num_key_value_heads: 4、head_dim: 256、linear_num_key_heads: 16、linear_num_value_heads: 48、linear_conv_kernel_dim: 4、partial_rotary_factor: 0.25、parallel_ffn_intermediate_size: 2048等字段均与上表一一对应。在 configuration_agnes.py 中AgnesTextConfig.__post_init__会在未显式指定layer_types时按global_attention_interval默认 4自动生成agnes_global_attention/agnes_delta_attention交替的层计划validate_layer_type校验层类型必须属于LAYER_TYPES且层数必须等于num_hidden_layers72base_model_tp_plan中为全局注意力global_attn.q/k/v/o_proj、主 MLP 与并行 FFNmlp.parallel_ffn.gate/up/down_proj都声明了 colwise / rowwise 的 tensor-parallel 切分方案。在 modeling_agnes.py 中实现细节同样与规格吻合delta-rule 路径存在_causal_conv_step因果卷积单步、_delta_rule_chunkedchunk 尺寸 64 的分块循环与_delta_rule_stepwise逐 token 循环等实现全局注意力则由AgnesGlobalAttention类承担视觉侧存在 patch 化patch_size16与spatial_merge_size2的空间合并逻辑。视觉塔投影到语言模型维度out_hidden_size: 5120与文本隐藏维度一致。三、评测结果与口径说明评测范围下图和下表中的 Agnes 成绩属于本仓库发布的Agnes-3.0-Flash Preview 开放权重 checkpoint并非 Artificial Analysis 所列 production/API Agnes 3.0 Flash 模型的成绩。图表中的 Agnes-3.0-Flash Preview 成绩对应本仓库发布的开放权重 checkpoint。下表汇总了多个同期模型的参考结果数据来自不同评测环境、模型快照和 harness不构成同一设置下的受控对比所有指标均为越高越好表头参数口径不完全一致总参数 / 激活参数混排。评测集Agnes-3.0-Flash PreviewQwen3.6-35B-A3B (35B/3B)Kimi K2.5 (1T/32B)Muse Glimmer (30B)Qwen3.5 (27B)DeepSeek V4 Flash 0731 (284B/13B)Qwen3.8 (27B)Gemini 3.5 Flash (未公开)Qwen3.8 Flash Next (125B/6B)MiniMax M3 (428B/23B)IFBench74.2064.443.777.075.675.879.576.381.382.9SciCode38.0835.839.643.639.550.346.653.150.645.4GPQA Diamond85.0584.178.983.585.890.890.592.292.392.9AA-LCR68.3366.759.080.072.379.782.081.079.774.0AA-Omniscience 准确率23.0018.822.927.020.740.418.451.424.516.7综合来看Preview 在指令遵循IFBench 74.20、科学推理GPQA Diamond 85.05、代码SciCode 38.08、长上下文检索AA-LCR 68.33与全知基准AA-Omniscience 23.00上均有可用成绩其中指令遵循与 GPQA 表现尤为突出。需要强调的是跨列数值仅作参考不应解读为受控横向对比结论。四、快速开始4.1 必须启用 REMOTE CODEAgnes-3.0-Flash Preview 自带模型实现modeling_agnes.py、configuration_agnes.py、processing_agnes.py 等均随仓库发布因此通过 transformers 加载时必须传trust_remote_codeTrue否则无法解析model_type: agnes。4.2 环境要求pip install transformers5.12 torch torchvision accelerate实测环境为 transformers 5.12.1。图像与视频输入由随附的 processor 处理依赖torchvision视频处理另依赖 video_processing_agnes.py 中的视频预处理逻辑。4.3 Transformers 文本推理from transformers import AutoModelForCausalLM, AutoTokenizer path Agnes-AI/Agnes-3.0-Flash # 或本仓库本地路径 tok AutoTokenizer.from_pretrained(path) model AutoModelForCausalLM.from_pretrained( path, dtypebfloat16, device_mapauto, trust_remote_codeTrue ) msgs [{role: user, content: 请用三句话解释什么是人工智能。}] ids tok.apply_chat_template(msgs, add_generation_promptTrue, return_tensorspt).to(model.device) out model.generate(ids, max_new_tokens256) print(tok.decode(out[0][ids.shape[1]:], skip_special_tokensTrue))要点dtypebfloat16与 config.json 中text_config.dtype: bfloat16一致对话协议由 chat_template.jinja 渲染|im_start|体系无需手动拼 prompt。4.4 图像与视频图像、视频输入走随模型附带的 processor同样是 remote codefrom transformers import AutoProcessor proc AutoProcessor.from_pretrained(path, trust_remote_codeTrue) msgs [{role: user, content: [{type: image, image: photo.jpg}, {type: text, text: 描述这张图。}]}] inputs proc.apply_chat_template(msgs, add_generation_promptTrue, tokenizeTrue, return_dictTrue, return_tensorspt).to(model.device) out model.generate(**inputs, max_new_tokens256) print(proc.batch_decode(out[:, inputs[input_ids].shape[1]:], skip_special_tokensTrue)[0])底层流程processor 在模板中将图像/视频替换为|vision_start||image_pad||vision_end|占位符见 chat_template.jinja 的render_content宏支持add_vision_id生成 Picture N: / Video N: 前缀processing_agnes.py 再据此将实际视觉特征灌入占位位置。视觉塔支持 2D 图像与 2×2 时间/空间 patch 化的视频输入image_token_id: 248056、video_token_id: 248057、vision_start/end_token_id均定义在 config.json 顶层。4.5 推理强度reasoning effortchat template 提供三档推理强度也可整体关闭思考ids tok.apply_chat_template(msgs, add_generation_promptTrue, return_tensorspt, reasoning_effortmedium) # 或 enable_thinkingFalse结合 chat_template.jinja 源码机制如下当enable_thinking未显式关闭时默认推理强度为xhigh合法取值为xhigh默认/medium/low传入其他值会直接抛出Unexpected reasoning effort异常xhigh会注入仔细思考、校验假设、权衡备选方案、优先保证正确性与一致性的 system 指令low注入思考简短聚焦、直接得出结论的指令medium不注入额外指令传入enable_thinkingFalse时生成 prompt 会以空think/think开头关闭思考过程。实操提示README 以high指代默认档模板实现中的字符串为xhigh。以源码实际取值为准调用时传xhigh/medium/low最稳妥。4.6 工具调用chat template 会自动渲染工具定义模型按tool_callfunction…parameter…格式发起调用工具返回值作为tool角色消息接回即可tools [{ type: function, function: { name: get_weather, description: 查询指定城市的实时天气, parameters: { type: object, properties: {city: {type: string, description: 城市名称}}, required: [city], }, }, }] msgs [{role: user, content: 北京现在天气怎么样}] ids tok.apply_chat_template(msgs, toolstools, add_generation_promptTrue, return_tensorspt).to(model.device) out model.generate(ids, max_new_tokens256) reply tok.decode(out[0][ids.shape[1]:], skip_special_tokensTrue) # tool_call # functionget_weather # parametercity # 北京 # /parameter # /function # /tool_call # 执行工具后把结果接回对话继续生成最终回复 msgs [{role: assistant, content: reply}, {role: tool, content: 晴26°C东北风 2 级}]模板实现细节见 chat_template.jinja工具定义以tools…/tools注入 system 消息并附上tool_call格式说明与必须严格遵循格式、必填参数必须给出的提醒assistant 消息携带结构化tool_calls时模板会渲染为tool_callfunction…parameter……/parameter/function/tool_call嵌套 XML 形式参数值支持跨行tool角色消息被包装为tool_response…/tool_response块并自动与前后的 user 消息拼合为合法对话流。走 OpenAI 接口时同样传tools。服务端默认原样返回上面的文本要拿到结构化的tool_calls需给 sglang 配置与该格式匹配的 tool-call parser思考段同理需配置 reasoning parser 才会落入reasoning_content。五、SGLang 部署与 OpenAI 兼容服务5.1 补丁方案原理sglang_patch/README.md说明了部署思路serve.sh用官方公开镜像起服务只覆盖 sglang 包里的三个文件镜像内其他内容一概不动文件变更内容sglang/srt/configs/agnes.py新增。读取model_type: agnes配置并映射到 sglang 内置混合注意力delta-rule global attention实现由global_attention_interval推导层计划把并行 FFN 宽度并入intermediate_size并将 checkpoint 目录记录为加载器可用的配置字段sglang/srt/utils/hf_transformers/common.py末尾追加 3 行为model_type: agnes注册AgnesConfigsglang/srt/models/qwen3_5.py在load_weights的权重流前加一个生成器delta_attn.*→linear_attn.*、global_attn.*→self_attn.*并将每层mlp.parallel_ffn.{gate,up,down}_proj拼接到主投影gate/up 沿输出维、down 沿输入维。没有并行分支的 checkpoint 原样通过补丁变体支持情况变体来源状态nightly-dev-20260908-20ca564b/lmsysorg/sglang:nightly-dev-20260908-20ca564b已实测部署并完成数值校验v0.5.19/sglang0.5.19由发布源码生成未做部署实测其他版本apply_patch.py path/to/sglang由serve.sh在无匹配变体时就地打补丁补充说明--trust-remote-code是必须的因为 sglang 会先经 transformers 解析模型配置而配置解析要读取随 checkpoint 发布的 configuration_agnes.pyserve.sh还会导出AGNES_MODEL_PATH作为加载器的后备路径。数值一致性把并行分支折入主 MLP 会改变 down 投影的归约长度因此服务端 logits 与 transformers 实现并非逐位一致。在 nightly 镜像上实测TP1、H200、2144 个 teacher-forced 位置、全词表 248,320 路 softmax全词表 KL 为 5.9e-4对比未打补丁引擎用同权重不带分支服务的 6.5e-4 内部差异perplexity 17.07 vs 17.05处于可接受范围。5.2 启动服务仓库根目录的 serve.sh 会自动完成识别 sglang 版本 → 覆盖预编译补丁或就地打补丁 → 启动服务的全流程容器内监听8080端口docker run --gpus all --shm-size 64g -p 30001:8080 \ -v /path/to/agnes-3.0-flash:/model \ lmsysorg/sglang:nightly-dev-20260908-20ca564b \ bash /agnes-3.0-flash/serve.sh --served-model-name Agnes-3.0-Flashserve.sh会把命令行上的额外参数透传给 sglang--served-model-name即由此生效同理可追加--tp 2。serve.sh脚本逻辑set -euo pipefail下先解析sglang.__version__匹配变体命中则cp -r覆盖补丁目录否则调用 apply_patch.py 就地打补丁最后以python3 -m sglang.launch_server --model-path repo --trust-remote-code --host 0.0.0.0 --port 8080 $启动。5.3 OpenAI 兼容客户端from openai import OpenAI client OpenAI(api_keyEMPTY, base_urlhttp://localhost:30001/v1) response client.chat.completions.create( modelAgnes-3.0-Flash, messages[{role: user, content: 设计一个容错的事件处理架构。}], temperature1.0, max_tokens2000, ) print(response.choices[0].message.content)流式输出传streamTrue即可tools、reasoning_effort等参数同样按 OpenAI 协议传递。六、硬件需求资源建议GPU1 × NVIDIA H200 141 GB 或 NVIDIA H100 80 GB或同等bf16张量并行--tp 1追求最大上下文与并发时用--tp 2权重磁盘占用bf16 检查点约 66 GB本仓库 19 个 safetensors 分片 model.safetensors.index.json主机内存建议 128 GB 以上实际可用上下文长度和并发能力取决于 KV cache 分配、运行时开销和张量并行配置由于仅 18 层全局注意力持有随长度增长的 KV cache长上下文下的显存增速显著低于同规模的纯注意力模型。请在目标硬件上按实际负载验证。七、推荐推理参数参数推荐值temperature1.0top_p0.95top_k20reasoning_effort难推理任务用xhigh/high延迟敏感场景用lowmax_tokens2000 起以上即检查点自带 generation_config.json 的默认值do_sample: true、temperature: 1.0、top_k: 20、top_p: 0.95eos_token_id为 [248046, 248044]与bos_token_id248044 一并定义。八、能力一览能力支持情况深度推理支持可调xhigh/medium/low三档也可关闭思考代码与调试支持长上下文分析262,144 token图像理解支持视频理解支持工具调用支持tool_call/tool_response流式输出支持OpenAI 兼容接口通过 sglang 提供 Chat Completions九、许可证与引用本项目采用 Apache License 2.0。如需引用可使用misc{agnes30flash2026, title {Agnes-3.0-Flash Preview}, author {{Agnes AI}}, year {2026}, month sep, howpublished {Open-weights preview checkpoint}, url {https://agnes-ai.com/} }十、参考资料模型卡本文主体依据README.md / README_zh.md模型配置config.json含text_config/vision_config全部超参数生成参数默认值generation_config.json配置类源码configuration_agnes.py模型实现源码modeling_agnes.py对话模板chat_template.jinjaSGLang 补丁说明sglang_patch/README.md、补丁脚本 sglang_patch/apply_patch.py部署入口serve.sh赞分享大模型多模态推理模型【免费下载链接】Agnes-3.0-Flash项目地址https://ai.gitcode.com/hf_mirrors/Agnes-AI/Agnes-3.0-Flash点击查看免费下载相关推荐Agnes-3.0-Flash Preview开放权重与生产API版差异全解析1M上下文、混合注意力架构一次讲透Agnes 3.0 Flash Preview开放权重与生产API版差异全解析1M上下文、混合注意力架构一次讲透 Agnes 3.0 Flash 是 Agne大模型多模态推理模型揭秘Agnes-3.0-Flash混合注意力架构54层Delta-Rule如何砍掉75%的KV Cache揭秘Agnes 3.0 Flash混合注意力架构54层Delta Rule如何砍掉75%的KV Cache Agnes 3.0 Flash 是 Agnes A大模型多模态推理模型Qwen3.8-Flash-Next 模型解析与实战部署指南混合注意力架构、N-gram 嵌入与长上下文推理Qwen3.8 Flash Next 模型解析与实战部署指南混合注意力架构、N gram 嵌入与长上下文推理 本篇技术指南以仓库根目录 README.md h人工智能基础模型大模型多模态创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考