1. NVIDIA Agent Toolkits 简介NVIDIA Agent Toolkit是 NVIDIA 于2026 年 3 月 16 日在 GTC 2026上正式发布的一套开源企业级 AI Agent 开发平台。它并非单一产品而是一个覆盖开发、编排、安全、部署全生命周期的模块化软件栈旨在解决企业从 Agent 原型到生产级自主系统之间的基础设施鸿沟。一、核心架构与组件Agent Toolkit 由四个互补层级构成每一层解决企业部署 Agent 时的特定痛点1. OpenShell — 安全运行时OpenShell 是一个开源的安全沙箱运行时为每个 Agent 提供进程级隔离环境。其核心能力包括策略驱动的安全控制基于策略的网络访问控制、隐私护栏和数据边界管理。最小权限模型Agent 仅获得完成任务所需的最小权限。隐私路由器Privacy Router在数据传入 LLM 前自动过滤敏感信息PII。完整审计追踪记录每个 Agent 的每一步操作满足合规要求。安全合作伙伴包括 Cisco、CrowdStrike、Google Security、Microsoft Security 和 TrendAI从底层将安全控制嵌入 Agent 架构而非事后 bolt-on。2. NemoClaw — 企业编排与治理层NemoClaw 是构建在 OpenShell 之上的企业级 Agent 编排层提供多 Agent 协调支持多个专业 Agent 并行协作处理复杂任务。状态管理跨多步工作流跟踪 Agent 状态。错误恢复内置故障处理机制确保 Agent 在出错时优雅降级。可观测性提供全面的日志、监控和可解释性仪表板。3. AI-Q Blueprint — 智能研究 Agent 蓝图AI-Q 是一个开源的 Agentic 搜索参考架构专为复杂多步研究任务设计混合架构由前沿大模型如 GPT-4、Claude负责高层编排与推理NVIDIA 自研的 Nemotron 开源模型负责检索与分析。成本优化NVIDIA 声称该混合架构可将查询成本降低50% 以上同时保持顶级准确率。基准表现截至发布时AI-Q 在 DeepResearch Bench 和 DeepResearch Bench II 两个权威榜单上均排名第一。4. Nemotron — 开源模型家族Nemotron 是 NVIDIA 专为 Agentic 推理优化的开源权重模型家族2026 年 GTC 上发布了 Nemotron 3Nemotron 3 Super已立即开放使用。Nemotron Ultra / Omni / VoiceChat后续即将推出的变体。超长上下文Nemotron 3 支持100 万 token的上下文窗口厂商声明适用于需要跨长任务链累积上下文的 Agent 工作流。5. cuOpt — GPU 加速优化库cuOpt 是一个开源的 Agent 可调用技能库提供 GPU 加速的组合优化算法物流路径优化供应链、配送、现场服务。资源规划团队分配、机器调度、云容量。工作流调度最大化 Agent 管道的吞吐量。二、企业合作伙伴生态NVIDIA 在发布时即宣布了17 家大型企业合作伙伴覆盖 ERP、CRM、安全、创意软件、半导体设计等领域合作伙伴集成方向预计可用时间SAPJoule Studio NeMo在 S/4HANA 生态中微调领域专用模型2026 Q3SalesforceAgentforce NIM为 Sales/Service Cloud 提供模型无关的推理后端2026 Q3CrowdStrikeFalcon 安全 Agent自动化威胁检测与事件响应2026 Q2已 GAServiceNow自主工作流自动化2027Adobe、Atlassian、Siemens、Cadence、Synopsys等各垂直领域深度集成2026-2027这一策略将 NVIDIA 定位为企业 AI Agent 的中间件层而非单纯的硬件供应商。三、与现有开发框架的集成Agent Toolkit 的设计目标是补充而非替代现有 Agent 框架。如果你已经在使用 LangChain、LlamaIndex 或 CrewAI可以通过适配器模式直接接入 OpenShell 的运行时和策略层无需重写 Agent 逻辑。示例代码模式fromnvidia_agent_toolkitimportOpenShellRuntimefromnvidia_agent_toolkit.integrationsimportLangChainAdapter runtimeOpenShellRuntime(sandbox_modestandard)secured_agentLangChainAdapter(agentexisting_langchain_agent,runtimeruntime,policyEnterprisePolicy(pii_detectionTrue),)四、垂直领域扩展1. 物理 AIOmniverse 库集成在SIGGRAPH 2026上NVIDIA 宣布 Agent Toolkit 集成Omniverse 库使 AI Agent 具备物理 AI 能力ovrtxRTX 传感器模拟。ovphysxGPU 加速物理引擎。CAD 到 SimReady 转换自动将 CAD 数据转换为仿真就绪资产。SimReady Blender 蓝图开源的 Blender 集成方案。这些库以独立的 C API带 C/Python 绑定形式发布无需完整 Omniverse 平台即可调用使编码 Agent 能够自主检查场景、标记问题、准备资产并运行仿真。2. 生命科学BioNeMo Agent Toolkit在BIO 20262026 年 6 月 23 日上NVIDIA 发布了BioNeMo Agent Toolkit一套开源的 Agent 可调用生命科学技能库能力范围蛋白质折叠、分子对接、生成化学、基因组分析、蛋白质设计、生物标志物发现。性能基准在 NVIDIA 的测试中未配备这些技能的 Agent 仅完成57.1%的科学任务而配备后达到100%。Agent 无关支持 Claude、Codex 等任何 Agent 运行时。Anthropic 已将其直接集成到 Claude Science 中。许可代码以CC BY 4.0开源NIM 托管端点免费用于原型约 40 RPM。五、部署选项与性能Agent Toolkit 针对 NVIDIA 硬件进行了协同优化但也支持任意基础设施云端预优化的 AWS、Azure、GCP 连接器。本地数据中心适用于安全敏感场景。边缘支持 NVIDIA Jetson用于 IoT 和机器人。在 NVIDIA 的基准测试中基于 DGX 系统 Vera CPU 的 Agent 集群吞吐量比标准 x86 基础设施高出3.2 倍主要得益于上下文组装和工具结果编组延迟的降低。六、定价与许可模式层级费用说明开源代码免费GitHub 开源CC BY 4.0 许可NIM 托管端点免费原型build.nvidia.com约 40 RPM 限速无 SLA生产部署付费需NVIDIA AI Enterprise许可证提供 90 天免费试用自托管 NIM需 GPU 节点仅在本地运行 NIM 时需要 GPU七、战略意义NVIDIA Agent Toolkit 标志着 NVIDIA 从GPU 制造商向完整 AI 软件平台公司的战略转型。Jensen Huang 将其角色比喻为 AI 时代的“收费站”tollbooth——无论企业使用哪种模型、哪种应用只要训练和运行 Agent就可能在 NVIDIA 的基础设施层产生价值。对于 CIO 而言这意味着 2026 年已不再是观望期SAP S/4HANA 和 Salesforce 环境的 Agent 试点预算窗口已在2026 年 Q3打开而 Agent 架构的锁定效应将主要体现在编排层而非模型层——选择在 SAP-NVIDIA 或 Salesforce-NVIDIA 基础上构建 Agent即意味着进入相应的生态合约。2. 开源程度介绍以及第三方算力公司接入方式以下从开源内容/开源程度和第三方硬件算力公司接入方式两个维度对 NVIDIA Agent Toolkit 进行系统性说明。一、开源内容与开源程度1.1 许可证体系NVIDIA Agent Toolkit 采用分层许可证策略整体偏向宽松资产类型许可证关键权利代码Apache License 2.0商业使用、修改、分发、专利保护文档/SkillsCC BY 4.0 或双许可可自由引用、修改需署名模型权重NVIDIA Open Model License (OML)允许商业使用、微调、再分发禁止对 NVIDIA 提起专利诉讼1.2 开源仓库全景所有核心组件均在 GitHub 公开维护截至 2026 年 8 月的主要仓库包括仓库功能定位语言/技术Stars (约)NVIDIA/NeMo-Agent-Toolkit核心 Agent 构建工具包Python/TypeScript—NVIDIA/OpenShell安全沙箱运行时网关、策略引擎、Privacy RouterRust (~90%)7.8KNVIDIA/NemoClaw企业级 Agent 参考栈Hermes、OpenClaw、Deep Agents 的运行时Python22.1KNVIDIA-AI-Blueprints/aiqAI-Q 智能研究 Agent 蓝图Python—NVIDIA/NeMo-Agent-Toolkit-UI前端 Web UITypeScript/Next.js—NVIDIA/NeMo-Agent-Toolkit-Examples社区示例与教程Python—NVIDIA/skillsAgent Skills 目录cuOpt、Omniverse、RAG 等多语言—NVIDIA/OpenShell-Community社区沙箱镜像与配置Docker/YAML—1.3 开源程度评估高度开源的方面代码完全开放OpenShell 约 90% 为 Rust 代码NemoClaw 为 Python均可自由 fork、修改、提交 PR。社区活跃OpenShell 在 2026 年 2 月创建仓库后截至 6 月已有 66 位贡献者、53 个 release、842 个 fork保持近每日发布的节奏。模型权重开放Nemotron 3 系列Nano、Super、Ultra、Embed 等均在 Hugging Face 和 ModelScope 提供完整权重下载包括 BF16 和 NVFP4 量化版本。第三方集成友好官方明确支持与 LangChain、LlamaIndex、CrewAI 等现有开源框架集成无需重写 Agent 逻辑。存在商业限制的方面NIM 微服务自托管 NVIDIA NIM 推理微服务需要 NVIDIA GPU 硬件且生产部署需购买NVIDIA AI Enterprise许可证。免费托管端点build.nvidia.com 提供免费 NIM 端点但限制约40 RPM、无 SLA仅适合原型验证。硬件优化锁定cuOpt、TensorRT-LLM、NVFP4 量化格式等核心加速技术仅针对 NVIDIA CUDA/Blackwell 架构优化。二、第三方硬件算力公司接入生态的方式NVIDIA Agent Toolkit 的架构设计有一个关键特性Agent 运行时OpenShell与推理后端解耦。这意味着第三方硬件公司不需要修改 OpenShell 内核只需提供兼容的推理服务端点即可接入。2.1 架构解耦原理OpenShell 通过两条路径处理推理流量路径机制第三方硬件适用性inference.local沙箱内代码调用此内部端点OpenShell 网关的 Privacy Router 拦截请求注入真实凭证后转发到配置的 Provider核心接入点— 可指向任何外部推理服务外部端点沙箱内代码直接访问外部 API受network_policies管控适用于云 API 或局域网内的第三方推理服务2.2 按硬件平台的接入路径A. AMD GPUROCm 生态可行路径Ollama / vLLM compatible-endpointOllama 路径Ollama 原生支持 AMD GPU通过 ROCm v7 on Linux / HIP7 on Windows。在 AMD 主机上安装 Ollama 并加载模型后通过以下命令将其注册为 OpenShell 的推理后端openshell provider create\--nameollama-amd\--typeopenai\--credentialOPENAI_API_KEYollama\--configOPENAI_BASE_URLhttp://host.openshell.internal:11434/v1 openshell inferenceset--providerollama-amd--modelllama3.2vLLM 路径vLLM 从 0.6.6 开始支持 AMD ROCm 6.3。在 AMD GPU 节点启动 vLLM 服务后同样通过compatible-endpoint接入。实际验证案例GitHub Issue 显示开发者在 AMD Ryzen AI 9 HX 370Radeon 890M iGPU32GB 共享显存上成功运行 NemoClaw Ollama通过compatible-endpoint完成推理。注意事项NemoClaw 官方安装程序默认检测 NVIDIA driver 550 和 CUDA 12.4在纯 AMD 环境需跳过 GPU 检测或手动配置。GPU passthrough 到 sandbox pods 需要 NVIDIA Container ToolkitAMD 环境无法使用此特性但 CPU 沙箱 外部 AMD 推理服务完全可行。B. Intel XPU / GPU可行路径vLLM / GPTQModel compatible-endpointvLLM 已添加 Intel XPU 后端支持可在 Intel Data Center GPU Flex 系列或 Arc 显卡上运行。GPTQModel 等量化工具也已支持 Intel XPU。通过自托管 Intel 推理服务以 OpenAI-compatible API 形式暴露端点再用compatible-endpoint接入 OpenShell。限制无原生 Intel GPU 加速的 Nemotron 权重格式需通过 vLLM 的通用路径加载。C. Apple SiliconM1/M2/M3/M4/M5官方支持状态OpenShell 明确支持 macOS Apple Silicon (arm64) via Docker Desktop。网关与沙箱可完整运行 OpenShell 网关、策略引擎和沙箱隔离。推理路径由于 Apple Silicon 无 NVIDIA GPU本地推理需通过云端 NIM使用 NVIDIA Cloud 端点自动配置。本地 Ollama CPU 模式Ollama 在 Apple Silicon 上运行但受限于内存和 CPU 性能。外部推理服务通过network_policies允许访问局域网或远程 GPU 节点。实际案例M5 Max MacBook Pro 上成功运行 NemoClaw安全模型和策略完全生效使用 NVIDIA Cloud NIM 进行推理。已知问题本地 Ollama 在 macOS 上存在inference.localDNS 解析 bug需手动配置/etc/hosts或使用 host 网络模式。D. 华为昇腾Ascend NPU社区路径vLLM-Ascend compatible-endpointvLLM-Ascend社区项目正在添加 Nemotron 3 Super 的昇腾支持通过 CANN 后端实现。GPTQModel已官方添加 Huawei Ascend NPU 支持可用于模型量化与推理。接入方式在昇腾节点部署 vLLM-Ascend 或 MindIE 推理服务暴露 OpenAI-compatible API通过compatible-endpoint接入 OpenShell。限制Nemotron 3 的 NVFP4 量化格式仅 NVIDIA Blackwell 原生支持昇腾需使用 BF16 或 FP16 版本。无官方 NVIDIA 优化性能取决于社区适配成熟度。E. 纯 CPU / 云 API / 任意算力最通用的接入方式OpenShell 本身可在纯 CPU 节点运行不依赖任何 GPU。通过network_policies允许沙箱访问外部推理端点# policy.yamlnetwork:allowed_egress:-host:your-inference-cluster.internalport:8000-host:api.openai.comport:443这意味着云端 GPU 集群如 AWS Inferentia、Google TPU、Intel Gaudi可通过标准 REST API 接入。自研 ASIC如 Google TPU、Amazon Trainium只需实现 OpenAI-compatible API 即可被 OpenShell 调用。CPU 推理如 llama.cpp、Ollama CPU 模式完全支持。2.3 第三方硬件接入的核心限制尽管架构上支持解耦但以下能力严格绑定 NVIDIA 硬件能力绑定原因第三方硬件替代方案cuOpt Agent SkillsGPU 加速的组合优化库CUDA 专用使用纯 CPU 求解器如 OR-Tools或自研技能TensorRT-LLM 推理NVIDIA 专有推理引擎使用 vLLM、SGLang、llama.cpp 等跨平台引擎NVFP4/MXFP4 量化仅 Blackwell 架构原生支持使用 BF16/FP16/INT8 格式或 GGUF/Q4_K_MNIM 微服务仅支持 NVIDIA GPU使用自托管 vLLM/Ollama 替代GPU Passthrough 到沙箱需要 NVIDIA Container Toolkit CDI使用 CPU 沙箱 外部推理服务2.4 对第三方硬件厂商的建议接入策略如果你是AMD、Intel、华为昇腾、Google TPU等硬件厂商或基于这些硬件的云服务商建议按以下优先级接入最低成本验证PoC 阶段在目标硬件上部署Ollama或vLLM加载 Nemotron 3 或 Llama 等开源模型。通过compatible-endpoint模式接入 NemoClaw/OpenShell验证端到端 Agent 工作流。性能优化生产阶段针对自家硬件优化 vLLM 后端如 AMD ROCm、Intel XPU、华为 CANN。提供预置的模型量化方案如 GGUF、FP16、BF16替代 NVFP4。与 NVIDIA 合作将硬件加入 NemoClaw 的managed install白名单如 DGX Spark 的自动检测逻辑。生态深度集成长期为 OpenShell-Community 仓库贡献沙箱镜像如sandbox-amd-rocm、sandbox-ascend。在 NVIDIA/skills 仓库中提交针对自家硬件优化的 Agent Skills如amd-mi300-inference、intel-xpu-embed。三、总结维度实际情况开源程度代码完全开源Apache 2.0模型权重开放OML社区活跃但生产级 NIM 和硬件加速库有商业/硬件绑定。第三方硬件接入可行性高。通过inference.localcompatible-endpoint架构任何支持 OpenAI-compatible API 的推理后端均可接入。接入最佳实践AMD/Intel/昇腾/Apple Silicon 均已有验证路径核心限制在于 NVIDIA 专有加速库cuOpt、TensorRT-LLM、NVFP4需用跨平台替代方案。厂商策略建议优先以 vLLM/Ollama 提供兼容端点再逐步优化硬件原生后端最后通过社区贡献实现深度生态集成。NVIDIA Agent Toolkit 的设计哲学是“Agent 运行时开放推理后端可插拔”。这意味着第三方硬件厂商无需获得 NVIDIA 的授权或修改内核代码只需提供标准的 OpenAI-compatible 推理服务即可让 Agent 生态运行在自己的算力之上。3. 开源网址汇总以下是 NVIDIA Agent Toolkit 生态中所有主要开源项目的源代码网址汇总按功能模块分类整理一、核心 Agent 构建工具包项目名称功能描述源代码地址NeMo Agent Toolkit核心开源库用于连接和优化 AI Agent 团队支持多框架集成LangChain、LlamaIndex、AutoGen、ADK 等github.com/NVIDIA/NeMo-Agent-ToolkitNeMo Agent Toolkit UI官方 Web 前端界面支持实时流式响应、人机协同工作流、明暗主题github.com/NVIDIA/NeMo-Agent-Toolkit-UINeMo Agent Toolkit Examples社区驱动的示例仓库包含真实场景用例和教程github.com/NVIDIA/NeMo-Agent-Toolkit-Examples二、安全运行时与沙箱项目名称功能描述源代码地址OpenShell安全沙箱运行时提供进程隔离、Landlock/seccomp 策略执行、网络命名空间隔离、Privacy Router 推理路由github.com/NVIDIA/OpenShellOpenShell Community社区维护的沙箱镜像和配置包含基础沙箱定义github.com/NVIDIA/OpenShell-Community三、企业级 Agent 参考栈项目名称功能描述源代码地址NemoClaw企业级参考栈在 OpenShell 上运行 OpenClaw/Hermes/LangChain Deep Agents提供引导式安装、托管推理、网络策略和生命周期管理github.com/NVIDIA/NemoClawNemoClaw OpenShift社区适配的 OpenShift 部署版本github.com/rh-ai-quickstart/NemoClaw-OpenShift四、Agent Skills 与蓝图项目名称功能描述源代码地址NVIDIA Skills官方 Agent Skills 目录cuOpt、Omniverse、RAG、CUDA、物理 AI 等支持 Claude Code / Codex 插件安装github.com/nvidia/skillsBioNeMo Agent Toolkit生命科学专用 Skills 库蛋白质折叠、分子对接、生成化学、基因组分析等github.com/NVIDIA-BioNeMo/bionemo-agent-toolkitAI-Q Blueprint智能研究 Agent 参考架构混合大模型编排 Nemotron 检索分析github.com/NVIDIA-AI-Blueprints/aiq五、优化引擎与模型项目名称功能描述源代码地址cuOptGPU 加速决策优化引擎LP、QP、VRP、MIP支持 Agent 技能调用github.com/nvidia/cuoptNemotron 3 模型权重开源模型家族Nano、Super、Ultra、Embed 等Hugging Face 托管huggingface.co/nvidia六、相关依赖与生态项目项目名称功能描述源代码地址NVIDIA Dynamo推理加速框架与 NeMo Agent Toolkit 集成用于端到端加速github.com/ai-dynamo/dynamo七、官方文档文档站点说明地址OpenShell 官方文档开发者指南、API 参考、策略配置docs.nvidia.com/openshellNemoClaw 官方文档架构、安装、安全最佳实践、CLI 参考nvidia.github.io/NemoClawNVIDIA 开发者博客cuOpt Agent Skills、NVFP4 量化等技术文章developer.nvidia.com/blog许可证说明上述官方仓库中源代码普遍采用Apache License 2.0Skills 文档采用CC BY 4.0Nemotron 模型权重采用NVIDIA Open Model License允许商业使用。
1. NVIDIA Agent Toolkits 简介NVIDIA Agent Toolkit是 NVIDIA 于2026 年 3 月 16 日在 GTC 2026上正式发布的一套开源企业级 AI Agent 开发平台。它并非单一产品而是一个覆盖开发、编排、安全、部署全生命周期的模块化软件栈旨在解决企业从 Agent 原型到生产级自主系统之间的基础设施鸿沟。一、核心架构与组件Agent Toolkit 由四个互补层级构成每一层解决企业部署 Agent 时的特定痛点1. OpenShell — 安全运行时OpenShell 是一个开源的安全沙箱运行时为每个 Agent 提供进程级隔离环境。其核心能力包括策略驱动的安全控制基于策略的网络访问控制、隐私护栏和数据边界管理。最小权限模型Agent 仅获得完成任务所需的最小权限。隐私路由器Privacy Router在数据传入 LLM 前自动过滤敏感信息PII。完整审计追踪记录每个 Agent 的每一步操作满足合规要求。安全合作伙伴包括 Cisco、CrowdStrike、Google Security、Microsoft Security 和 TrendAI从底层将安全控制嵌入 Agent 架构而非事后 bolt-on。2. NemoClaw — 企业编排与治理层NemoClaw 是构建在 OpenShell 之上的企业级 Agent 编排层提供多 Agent 协调支持多个专业 Agent 并行协作处理复杂任务。状态管理跨多步工作流跟踪 Agent 状态。错误恢复内置故障处理机制确保 Agent 在出错时优雅降级。可观测性提供全面的日志、监控和可解释性仪表板。3. AI-Q Blueprint — 智能研究 Agent 蓝图AI-Q 是一个开源的 Agentic 搜索参考架构专为复杂多步研究任务设计混合架构由前沿大模型如 GPT-4、Claude负责高层编排与推理NVIDIA 自研的 Nemotron 开源模型负责检索与分析。成本优化NVIDIA 声称该混合架构可将查询成本降低50% 以上同时保持顶级准确率。基准表现截至发布时AI-Q 在 DeepResearch Bench 和 DeepResearch Bench II 两个权威榜单上均排名第一。4. Nemotron — 开源模型家族Nemotron 是 NVIDIA 专为 Agentic 推理优化的开源权重模型家族2026 年 GTC 上发布了 Nemotron 3Nemotron 3 Super已立即开放使用。Nemotron Ultra / Omni / VoiceChat后续即将推出的变体。超长上下文Nemotron 3 支持100 万 token的上下文窗口厂商声明适用于需要跨长任务链累积上下文的 Agent 工作流。5. cuOpt — GPU 加速优化库cuOpt 是一个开源的 Agent 可调用技能库提供 GPU 加速的组合优化算法物流路径优化供应链、配送、现场服务。资源规划团队分配、机器调度、云容量。工作流调度最大化 Agent 管道的吞吐量。二、企业合作伙伴生态NVIDIA 在发布时即宣布了17 家大型企业合作伙伴覆盖 ERP、CRM、安全、创意软件、半导体设计等领域合作伙伴集成方向预计可用时间SAPJoule Studio NeMo在 S/4HANA 生态中微调领域专用模型2026 Q3SalesforceAgentforce NIM为 Sales/Service Cloud 提供模型无关的推理后端2026 Q3CrowdStrikeFalcon 安全 Agent自动化威胁检测与事件响应2026 Q2已 GAServiceNow自主工作流自动化2027Adobe、Atlassian、Siemens、Cadence、Synopsys等各垂直领域深度集成2026-2027这一策略将 NVIDIA 定位为企业 AI Agent 的中间件层而非单纯的硬件供应商。三、与现有开发框架的集成Agent Toolkit 的设计目标是补充而非替代现有 Agent 框架。如果你已经在使用 LangChain、LlamaIndex 或 CrewAI可以通过适配器模式直接接入 OpenShell 的运行时和策略层无需重写 Agent 逻辑。示例代码模式fromnvidia_agent_toolkitimportOpenShellRuntimefromnvidia_agent_toolkit.integrationsimportLangChainAdapter runtimeOpenShellRuntime(sandbox_modestandard)secured_agentLangChainAdapter(agentexisting_langchain_agent,runtimeruntime,policyEnterprisePolicy(pii_detectionTrue),)四、垂直领域扩展1. 物理 AIOmniverse 库集成在SIGGRAPH 2026上NVIDIA 宣布 Agent Toolkit 集成Omniverse 库使 AI Agent 具备物理 AI 能力ovrtxRTX 传感器模拟。ovphysxGPU 加速物理引擎。CAD 到 SimReady 转换自动将 CAD 数据转换为仿真就绪资产。SimReady Blender 蓝图开源的 Blender 集成方案。这些库以独立的 C API带 C/Python 绑定形式发布无需完整 Omniverse 平台即可调用使编码 Agent 能够自主检查场景、标记问题、准备资产并运行仿真。2. 生命科学BioNeMo Agent Toolkit在BIO 20262026 年 6 月 23 日上NVIDIA 发布了BioNeMo Agent Toolkit一套开源的 Agent 可调用生命科学技能库能力范围蛋白质折叠、分子对接、生成化学、基因组分析、蛋白质设计、生物标志物发现。性能基准在 NVIDIA 的测试中未配备这些技能的 Agent 仅完成57.1%的科学任务而配备后达到100%。Agent 无关支持 Claude、Codex 等任何 Agent 运行时。Anthropic 已将其直接集成到 Claude Science 中。许可代码以CC BY 4.0开源NIM 托管端点免费用于原型约 40 RPM。五、部署选项与性能Agent Toolkit 针对 NVIDIA 硬件进行了协同优化但也支持任意基础设施云端预优化的 AWS、Azure、GCP 连接器。本地数据中心适用于安全敏感场景。边缘支持 NVIDIA Jetson用于 IoT 和机器人。在 NVIDIA 的基准测试中基于 DGX 系统 Vera CPU 的 Agent 集群吞吐量比标准 x86 基础设施高出3.2 倍主要得益于上下文组装和工具结果编组延迟的降低。六、定价与许可模式层级费用说明开源代码免费GitHub 开源CC BY 4.0 许可NIM 托管端点免费原型build.nvidia.com约 40 RPM 限速无 SLA生产部署付费需NVIDIA AI Enterprise许可证提供 90 天免费试用自托管 NIM需 GPU 节点仅在本地运行 NIM 时需要 GPU七、战略意义NVIDIA Agent Toolkit 标志着 NVIDIA 从GPU 制造商向完整 AI 软件平台公司的战略转型。Jensen Huang 将其角色比喻为 AI 时代的“收费站”tollbooth——无论企业使用哪种模型、哪种应用只要训练和运行 Agent就可能在 NVIDIA 的基础设施层产生价值。对于 CIO 而言这意味着 2026 年已不再是观望期SAP S/4HANA 和 Salesforce 环境的 Agent 试点预算窗口已在2026 年 Q3打开而 Agent 架构的锁定效应将主要体现在编排层而非模型层——选择在 SAP-NVIDIA 或 Salesforce-NVIDIA 基础上构建 Agent即意味着进入相应的生态合约。2. 开源程度介绍以及第三方算力公司接入方式以下从开源内容/开源程度和第三方硬件算力公司接入方式两个维度对 NVIDIA Agent Toolkit 进行系统性说明。一、开源内容与开源程度1.1 许可证体系NVIDIA Agent Toolkit 采用分层许可证策略整体偏向宽松资产类型许可证关键权利代码Apache License 2.0商业使用、修改、分发、专利保护文档/SkillsCC BY 4.0 或双许可可自由引用、修改需署名模型权重NVIDIA Open Model License (OML)允许商业使用、微调、再分发禁止对 NVIDIA 提起专利诉讼1.2 开源仓库全景所有核心组件均在 GitHub 公开维护截至 2026 年 8 月的主要仓库包括仓库功能定位语言/技术Stars (约)NVIDIA/NeMo-Agent-Toolkit核心 Agent 构建工具包Python/TypeScript—NVIDIA/OpenShell安全沙箱运行时网关、策略引擎、Privacy RouterRust (~90%)7.8KNVIDIA/NemoClaw企业级 Agent 参考栈Hermes、OpenClaw、Deep Agents 的运行时Python22.1KNVIDIA-AI-Blueprints/aiqAI-Q 智能研究 Agent 蓝图Python—NVIDIA/NeMo-Agent-Toolkit-UI前端 Web UITypeScript/Next.js—NVIDIA/NeMo-Agent-Toolkit-Examples社区示例与教程Python—NVIDIA/skillsAgent Skills 目录cuOpt、Omniverse、RAG 等多语言—NVIDIA/OpenShell-Community社区沙箱镜像与配置Docker/YAML—1.3 开源程度评估高度开源的方面代码完全开放OpenShell 约 90% 为 Rust 代码NemoClaw 为 Python均可自由 fork、修改、提交 PR。社区活跃OpenShell 在 2026 年 2 月创建仓库后截至 6 月已有 66 位贡献者、53 个 release、842 个 fork保持近每日发布的节奏。模型权重开放Nemotron 3 系列Nano、Super、Ultra、Embed 等均在 Hugging Face 和 ModelScope 提供完整权重下载包括 BF16 和 NVFP4 量化版本。第三方集成友好官方明确支持与 LangChain、LlamaIndex、CrewAI 等现有开源框架集成无需重写 Agent 逻辑。存在商业限制的方面NIM 微服务自托管 NVIDIA NIM 推理微服务需要 NVIDIA GPU 硬件且生产部署需购买NVIDIA AI Enterprise许可证。免费托管端点build.nvidia.com 提供免费 NIM 端点但限制约40 RPM、无 SLA仅适合原型验证。硬件优化锁定cuOpt、TensorRT-LLM、NVFP4 量化格式等核心加速技术仅针对 NVIDIA CUDA/Blackwell 架构优化。二、第三方硬件算力公司接入生态的方式NVIDIA Agent Toolkit 的架构设计有一个关键特性Agent 运行时OpenShell与推理后端解耦。这意味着第三方硬件公司不需要修改 OpenShell 内核只需提供兼容的推理服务端点即可接入。2.1 架构解耦原理OpenShell 通过两条路径处理推理流量路径机制第三方硬件适用性inference.local沙箱内代码调用此内部端点OpenShell 网关的 Privacy Router 拦截请求注入真实凭证后转发到配置的 Provider核心接入点— 可指向任何外部推理服务外部端点沙箱内代码直接访问外部 API受network_policies管控适用于云 API 或局域网内的第三方推理服务2.2 按硬件平台的接入路径A. AMD GPUROCm 生态可行路径Ollama / vLLM compatible-endpointOllama 路径Ollama 原生支持 AMD GPU通过 ROCm v7 on Linux / HIP7 on Windows。在 AMD 主机上安装 Ollama 并加载模型后通过以下命令将其注册为 OpenShell 的推理后端openshell provider create\--nameollama-amd\--typeopenai\--credentialOPENAI_API_KEYollama\--configOPENAI_BASE_URLhttp://host.openshell.internal:11434/v1 openshell inferenceset--providerollama-amd--modelllama3.2vLLM 路径vLLM 从 0.6.6 开始支持 AMD ROCm 6.3。在 AMD GPU 节点启动 vLLM 服务后同样通过compatible-endpoint接入。实际验证案例GitHub Issue 显示开发者在 AMD Ryzen AI 9 HX 370Radeon 890M iGPU32GB 共享显存上成功运行 NemoClaw Ollama通过compatible-endpoint完成推理。注意事项NemoClaw 官方安装程序默认检测 NVIDIA driver 550 和 CUDA 12.4在纯 AMD 环境需跳过 GPU 检测或手动配置。GPU passthrough 到 sandbox pods 需要 NVIDIA Container ToolkitAMD 环境无法使用此特性但 CPU 沙箱 外部 AMD 推理服务完全可行。B. Intel XPU / GPU可行路径vLLM / GPTQModel compatible-endpointvLLM 已添加 Intel XPU 后端支持可在 Intel Data Center GPU Flex 系列或 Arc 显卡上运行。GPTQModel 等量化工具也已支持 Intel XPU。通过自托管 Intel 推理服务以 OpenAI-compatible API 形式暴露端点再用compatible-endpoint接入 OpenShell。限制无原生 Intel GPU 加速的 Nemotron 权重格式需通过 vLLM 的通用路径加载。C. Apple SiliconM1/M2/M3/M4/M5官方支持状态OpenShell 明确支持 macOS Apple Silicon (arm64) via Docker Desktop。网关与沙箱可完整运行 OpenShell 网关、策略引擎和沙箱隔离。推理路径由于 Apple Silicon 无 NVIDIA GPU本地推理需通过云端 NIM使用 NVIDIA Cloud 端点自动配置。本地 Ollama CPU 模式Ollama 在 Apple Silicon 上运行但受限于内存和 CPU 性能。外部推理服务通过network_policies允许访问局域网或远程 GPU 节点。实际案例M5 Max MacBook Pro 上成功运行 NemoClaw安全模型和策略完全生效使用 NVIDIA Cloud NIM 进行推理。已知问题本地 Ollama 在 macOS 上存在inference.localDNS 解析 bug需手动配置/etc/hosts或使用 host 网络模式。D. 华为昇腾Ascend NPU社区路径vLLM-Ascend compatible-endpointvLLM-Ascend社区项目正在添加 Nemotron 3 Super 的昇腾支持通过 CANN 后端实现。GPTQModel已官方添加 Huawei Ascend NPU 支持可用于模型量化与推理。接入方式在昇腾节点部署 vLLM-Ascend 或 MindIE 推理服务暴露 OpenAI-compatible API通过compatible-endpoint接入 OpenShell。限制Nemotron 3 的 NVFP4 量化格式仅 NVIDIA Blackwell 原生支持昇腾需使用 BF16 或 FP16 版本。无官方 NVIDIA 优化性能取决于社区适配成熟度。E. 纯 CPU / 云 API / 任意算力最通用的接入方式OpenShell 本身可在纯 CPU 节点运行不依赖任何 GPU。通过network_policies允许沙箱访问外部推理端点# policy.yamlnetwork:allowed_egress:-host:your-inference-cluster.internalport:8000-host:api.openai.comport:443这意味着云端 GPU 集群如 AWS Inferentia、Google TPU、Intel Gaudi可通过标准 REST API 接入。自研 ASIC如 Google TPU、Amazon Trainium只需实现 OpenAI-compatible API 即可被 OpenShell 调用。CPU 推理如 llama.cpp、Ollama CPU 模式完全支持。2.3 第三方硬件接入的核心限制尽管架构上支持解耦但以下能力严格绑定 NVIDIA 硬件能力绑定原因第三方硬件替代方案cuOpt Agent SkillsGPU 加速的组合优化库CUDA 专用使用纯 CPU 求解器如 OR-Tools或自研技能TensorRT-LLM 推理NVIDIA 专有推理引擎使用 vLLM、SGLang、llama.cpp 等跨平台引擎NVFP4/MXFP4 量化仅 Blackwell 架构原生支持使用 BF16/FP16/INT8 格式或 GGUF/Q4_K_MNIM 微服务仅支持 NVIDIA GPU使用自托管 vLLM/Ollama 替代GPU Passthrough 到沙箱需要 NVIDIA Container Toolkit CDI使用 CPU 沙箱 外部推理服务2.4 对第三方硬件厂商的建议接入策略如果你是AMD、Intel、华为昇腾、Google TPU等硬件厂商或基于这些硬件的云服务商建议按以下优先级接入最低成本验证PoC 阶段在目标硬件上部署Ollama或vLLM加载 Nemotron 3 或 Llama 等开源模型。通过compatible-endpoint模式接入 NemoClaw/OpenShell验证端到端 Agent 工作流。性能优化生产阶段针对自家硬件优化 vLLM 后端如 AMD ROCm、Intel XPU、华为 CANN。提供预置的模型量化方案如 GGUF、FP16、BF16替代 NVFP4。与 NVIDIA 合作将硬件加入 NemoClaw 的managed install白名单如 DGX Spark 的自动检测逻辑。生态深度集成长期为 OpenShell-Community 仓库贡献沙箱镜像如sandbox-amd-rocm、sandbox-ascend。在 NVIDIA/skills 仓库中提交针对自家硬件优化的 Agent Skills如amd-mi300-inference、intel-xpu-embed。三、总结维度实际情况开源程度代码完全开源Apache 2.0模型权重开放OML社区活跃但生产级 NIM 和硬件加速库有商业/硬件绑定。第三方硬件接入可行性高。通过inference.localcompatible-endpoint架构任何支持 OpenAI-compatible API 的推理后端均可接入。接入最佳实践AMD/Intel/昇腾/Apple Silicon 均已有验证路径核心限制在于 NVIDIA 专有加速库cuOpt、TensorRT-LLM、NVFP4需用跨平台替代方案。厂商策略建议优先以 vLLM/Ollama 提供兼容端点再逐步优化硬件原生后端最后通过社区贡献实现深度生态集成。NVIDIA Agent Toolkit 的设计哲学是“Agent 运行时开放推理后端可插拔”。这意味着第三方硬件厂商无需获得 NVIDIA 的授权或修改内核代码只需提供标准的 OpenAI-compatible 推理服务即可让 Agent 生态运行在自己的算力之上。3. 开源网址汇总以下是 NVIDIA Agent Toolkit 生态中所有主要开源项目的源代码网址汇总按功能模块分类整理一、核心 Agent 构建工具包项目名称功能描述源代码地址NeMo Agent Toolkit核心开源库用于连接和优化 AI Agent 团队支持多框架集成LangChain、LlamaIndex、AutoGen、ADK 等github.com/NVIDIA/NeMo-Agent-ToolkitNeMo Agent Toolkit UI官方 Web 前端界面支持实时流式响应、人机协同工作流、明暗主题github.com/NVIDIA/NeMo-Agent-Toolkit-UINeMo Agent Toolkit Examples社区驱动的示例仓库包含真实场景用例和教程github.com/NVIDIA/NeMo-Agent-Toolkit-Examples二、安全运行时与沙箱项目名称功能描述源代码地址OpenShell安全沙箱运行时提供进程隔离、Landlock/seccomp 策略执行、网络命名空间隔离、Privacy Router 推理路由github.com/NVIDIA/OpenShellOpenShell Community社区维护的沙箱镜像和配置包含基础沙箱定义github.com/NVIDIA/OpenShell-Community三、企业级 Agent 参考栈项目名称功能描述源代码地址NemoClaw企业级参考栈在 OpenShell 上运行 OpenClaw/Hermes/LangChain Deep Agents提供引导式安装、托管推理、网络策略和生命周期管理github.com/NVIDIA/NemoClawNemoClaw OpenShift社区适配的 OpenShift 部署版本github.com/rh-ai-quickstart/NemoClaw-OpenShift四、Agent Skills 与蓝图项目名称功能描述源代码地址NVIDIA Skills官方 Agent Skills 目录cuOpt、Omniverse、RAG、CUDA、物理 AI 等支持 Claude Code / Codex 插件安装github.com/nvidia/skillsBioNeMo Agent Toolkit生命科学专用 Skills 库蛋白质折叠、分子对接、生成化学、基因组分析等github.com/NVIDIA-BioNeMo/bionemo-agent-toolkitAI-Q Blueprint智能研究 Agent 参考架构混合大模型编排 Nemotron 检索分析github.com/NVIDIA-AI-Blueprints/aiq五、优化引擎与模型项目名称功能描述源代码地址cuOptGPU 加速决策优化引擎LP、QP、VRP、MIP支持 Agent 技能调用github.com/nvidia/cuoptNemotron 3 模型权重开源模型家族Nano、Super、Ultra、Embed 等Hugging Face 托管huggingface.co/nvidia六、相关依赖与生态项目项目名称功能描述源代码地址NVIDIA Dynamo推理加速框架与 NeMo Agent Toolkit 集成用于端到端加速github.com/ai-dynamo/dynamo七、官方文档文档站点说明地址OpenShell 官方文档开发者指南、API 参考、策略配置docs.nvidia.com/openshellNemoClaw 官方文档架构、安装、安全最佳实践、CLI 参考nvidia.github.io/NemoClawNVIDIA 开发者博客cuOpt Agent Skills、NVFP4 量化等技术文章developer.nvidia.com/blog许可证说明上述官方仓库中源代码普遍采用Apache License 2.0Skills 文档采用CC BY 4.0Nemotron 模型权重采用NVIDIA Open Model License允许商业使用。
