ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Agent = Model + Harness:真正的护城河在模型之外

Agent = Model + Harness:真正的护城河在模型之外 Harness 边界模型能力在拉平。能不能上线、敢不敢交给用户取决于模型之外那一层。Agent Model Harness Harness 上下文管理 工具接口 约束 验证 纠正Harness 是 Agent 边界内、模型之外的运行与治理层。它协调 Model 与 Environment不包括 Environment 本身。工具定义、调用适配器、沙箱权限与重置属于 Harness沙箱内变化的文件与进程、外部数据库、网页、用户、物理世界属于 Environment。仿真环境与 Agent 同进程部署概念上仍是 Environment。模型 / 上下文 / 工具LLM 是决策核心上下文决定观测空间工具决定动作空间。模型固定时扩展观测与动作空间往往比等模型升级更有效。很多任务不可解不是模型不够强而是观测缺失或动作不可用。上下文经常是决定性因素。消融实验里去掉工具定义或工具执行结果会直接夺走行动与闭环能力去掉其他部分代价取决于信息能否从当前观测重建。Manus 以隔离云端沙盒扩大动作空间。OpenClaw 借 WhatsApp、Telegram、Slack、Discord、iMessage 等已有消息渠道收发任务本地 Gateway 连接 Google Drive、Notion 与本地文件系统同时扩触达面和本地动作面。产品能力演进很大程度上是观测空间与动作空间的演进。通用 Agent 的共同特征开放式动作空间、内部思考、持续交互。工具体系按职责分五类感知搜索引擎、文件系统、API/数据库提供观测执行代码执行、文件操作、系统命令、外部 API改变环境状态协作委托子 Agent、关键点请求人类确认、多 Agent 协调事件触发邮件、定时、Webhook——外部事件驱动 Agent 启动属于 Environment 向 Agent 提供观察的通道用户沟通主动向用户传递进展或信息设计原则通用基础能力用于组合与探索高风险、强业务规则操作用专用工具约束。模型与工具之间唯一通道是接口。接口模糊会被模型放大成系统性错误。要从 Agent 视角设计 ACIAgent-Computer Interface而不是传统程序员 API 视角——命名与参数要直观易误用处从设计上消除错误可能防呆Poka-yoke。Harness 的重心上下文管理 工具接口让 Agent 能做事约束、验证、纠正让它不做错事。早期框架重心在前者生产系统重心在后者。Claude Code 是典型文件读写、命令执行、搜索等工具只占小部分大量代码是流程状态管理、多层上下文压缩、权限分类、熔断器、错误恢复。这里的熔断器指连续错误触发的自动停止重试。行业在从「能做事」转向「可靠地做事」。Harness 工程因此成为核心竞争力。工程范式五层包含提示工程 → 上下文工程 → Harness 工程 → Loop 工程 → Graph 工程。层层包含提示工程是上下文工程的子集上下文工程是 Harness 的子集Harness 是 Loop 的子集Loop 是 Graph 的子集。单个 Agent 循环只是执行图中的一个节点。上下文工程系统化管理模型可见的全部信息系统指令、工具定义、对话历史、外部知识Harness 工程Agent 如何组织模型运行并与环境交互上下文与工具接口 约束/验证/纠正/反馈/恢复Loop 工程跨轮次持续自主运转——谁发现下一件事、何时验证、何时真正完成Graph 工程把 Agent 循环、确定性程序、人工审批编排成显式执行图节点承担能力边规定路由与依赖结构化状态沿边传递并在关键边界持久化LangChain 在 Terminal Bench 2.0 上得分从 52.8% 到 66.5%30 名开外 → 前 5。模型未变变的是 Harness自动检查执行结果、检测重复循环、优化思考策略。模型能力趋同后竞争优势在模型之外。三个原则保持简单。从最简方案开始必要时才加复杂度。直接 API 调用优于复杂框架清晰代码优于聪明抽象。每多一层抽象调试就多一个盲区。保持透明。规划步骤、执行日志、决策轨迹要可见。黑箱错误既无法定位也无法纠正透明也是建立用户信任的前提。设计好 ACI。从 Agent 视角设计接口而非程序员视角。SIM 卡缺角、微波炉门未关不加热都是「用设计消除错误」。编排从简单到复杂顺序单次 LLM 调用 → 工作流 → 自主 Agent。能通过优化提示词与上下文示例解决的不要上 Agent能清晰分解为固定子任务的用工作流需要动态决策与灵活路径的才用自主 Agent。权衡Agent 系统通常用延迟和成本换更好的任务性能需谨慎评估是否值得。工作流优势是流程控制与安全性——关键步骤用代码强制如「付款前不能预订」执行路径确定提示注入或模型错误最多影响当前节点攻击面被限制在节点内。局限是缺乏变通预设流程未覆盖的情况只能走异常分支或交还人类。自主 Agent执行路径由环境反馈实时决定。自主不等于无限制必须有停止条件调用最终输出工具、模型返回无工具调用的响应、遇到错误、达到最大轮数。否则易死循环或过度执行。部署需沙盒测试、护栏、监控关键决策点加人机检查点。实践中二者常混合合规关键流程用工作流灵活决策切自主。n8n 可在同一系统中混用工作流节点与自主 Agent 节点。主流框架在编排模式、开发方式和适用场景上的差异大致如下护栏三层 人工干预单个护栏不够需多层组合。同时警惕误拒绝降低危险请求放行率时可能误伤合法但形式敏感的任务授权安全测试、模型蒸馏研究等。评估护栏不能只测「该拦的是否拦住」还要测「该放的是否完成」。按被绕过难度分三层越靠下越不依赖模型判断越难被一次攻击穿透上下文层管模型能看到什么在内容进入上下文前拦截相关性分类器、安全分类器越狱 vs 提示注入、内容审核、基于规则的保护黑名单、长度限制、正则。代表实践是 Anthropic Constitutional Classifiers规则驱动生成合成训练数据提问与回答联合判断轻量探针全量扫 强分类器复审。结构性上限同一上下文内的 Agent 难以判断自己是否已被注入故该层只能降低成功率给不出保证。执行层管模型能做什么在动作生效前验证。核心是工具风险评级可逆性、权限等级、财务影响 → 低/中/高高风险需额外审查或人工确认。关键复核必须由上下文之外的机制完成独立审查进程、最小权限凭证、沙盒隔离、人在回路否则会与被注入的 Agent 一起沦陷。输出本身也是动作PII 过滤、输出验证同属此层。数据层管世界最终能被改成什么样行级安全策略、约束与校验器、受控视图与存储过程、无法伪造的访问上下文。价值在于不依赖上两层是否正确——即使提示注入得手、生成代码漏写权限判断越权仍会被拒绝。人工干预触发时机超过失败阈值重试/操作次数上限高风险操作大额退款、不可逆付款等。部署早期尤为重要用于识别失败模式、建立评估周期。客户服务升级人工客服Coding Agent 交还控制权给开发者。模型选型开源 vs 闭源闭源GPT/o、Claude能力更强场景要求不高时开源更务实——成本低、可私有化、可微调适合成本敏感或数据合规场景。策略边界基准测试具备某能力 ≠ 产品允许调用。各厂商对网络安全、蒸馏、提取、隐私、高风险操作策略不同同一任务在聊天产品、Coding Agent、API 中结果可能不同。选型要在真实任务上测模型是否愿意执行、接口是否暴露所需能力、服务条款是否允许。业务关键任务准备人工接管或合规模型兜底。思考能力绝大多数 Agent 需要支持 Reasoning 的模型。多步思考、工具选择等复杂决策不带思考的模型表现很差。仅极少数场景例外单步简单任务、固定位置 GUI 点击。输出速度与多模态Agent 多轮推理每轮需等输出完成才能继续。20 轮推理、每轮慢 2s 端到端多等 40s。需理解图片/音频/视频时多模态是硬性要求模型间差异大。模型即 AgentKimi K3强化学习写进参数的是决策——何时调用工具、调用哪个、传什么参数、结果后是否继续、如何串联长链调用。工具实现仍在框架侧web_search、code_runner、沙盒、结果回传。编排循环没有消失而是从客户端移到服务端决策权交给模型。突出优势是长链工具调用稳定性200300 次连续调用仍保持思考一致性多数模型数十次后退化。开源软件工程与 Agent 基准可与顶尖闭源比肩说明 RL 赋予原生 Agent 能力这条路线有效。GPT-5.6自由格式工具调用API 中 type: “custom”允许模型直接发送原始文本Python 代码、SQL省去 JSON 转义。传统方式需将参数打包为严格 JSON。Harness 会被模型吃掉吗Rich Sutton《苦涩的教训》研究者反复将领域理解编码进系统短期见效长期输给可随算力与数据扩展的通用方法搜索与学习。以此衡量Harness 中的约束、验证、纠正有多少属于人类先验、终将被内化立场方向认同节奏务实。方向上模型会持续吃掉 Harness——工具调用、长程规划曾靠外部编排如今已是原生能力。节奏上远比想象慢训练以月计模型无法一次内化真实业务中的全部约束与偏好。模型此刻的能力边界就是 Harness 此刻的价值所在。模型做不稳的先由 Harness 补上模型每内化一层Harness 卸下一层转而兜底新的能力前沿。五个设计模式全书反复出现提议者—审核者Proposer-Reviewer产出与评判由不共享上下文的角色分别承担评判方只看产物渲染结果、测试输出、结构化参数不看产出方推理过程。前提是自审不可靠——同一上下文中的模型难发现自身盲区也难判断是否已被注入。后续章节用它更新知识、做工具调用事前审批与事后验证、评估 UI、审核更新提案。渐进式披露Progressive Disclosure不把全部信息一次性放进上下文先给可检索目录再按需加载细节。同时优化上下文预算与选择精度。Agent Skills、分层检索、主动工具发现、分页截断都是其变体。只增不改Append-only状态以追加方式演进已写内容不回头修改。换可缓存、可重放、可审计。KV Cache 前缀稳定性是其性能形态——改动越靠前作废缓存越多。事件式记忆、工具 schema 追加到轨迹末尾而非插回前缀同属此纪律。边界集 保留集Boundary Set Retention Set任何修改都要同时在「应当改变的样本」与「不应当影响的样本」上验证。只测前者会把过拟合当进步只测后者会把无效修改当安全。回归任务、训练与评估隔离、更新提案验证都建立在此。最小 diff 可回滚每次修改尽量小、带来源、可单独回滚使归因成为可能。知识更新、代码补丁、Prompt 与程序更新都遵循此条。上下文内适应、外部产物更新、参数更新三条路径正是按可回滚程度从高到低排列。本章要点Agent 决策核心 观测空间 动作空间模型固定时扩展观测/动作是主要杠杆上下文是决定性因素消融实验显示去掉工具定义或工具执行结果会直接夺走行动与闭环能力Harness 是竞争力所在生产系统绝大部分代码在实现约束、验证、纠正编排顺序先提示词再工作流最后自主 Agent安全是架构问题护栏按被绕过难度分上下文层、执行层、数据层后续安全讨论挂在此骨架上五个设计模式贯穿全书提议者—审核者、渐进式披露、只增不改、边界集保留集、最小 diff可回滚学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
返回列表