1. 项目概述从Harness到LoopAI编程范式的又一次跃迁最近在AI编程圈子里一个现象很有意思很多人还在埋头研究Harness工程试图驯服大模型写出更可靠的代码结果一抬头发现“Loop”这个概念已经火得不行了。这感觉就像你刚把手动挡的车开熟练满大街已经开始跑自动驾驶了。作为一个在一线跟代码和AI打了十几年交道的开发者我对这种快速迭代深有体会。今天我就结合自己的实操经验来聊聊Harness和Loop到底是怎么回事它们之间是什么关系以及我们开发者该如何应对这场从“工程”到“循环”的思维转变。简单来说如果把大模型LLM看作一个能力超强但有点“注意力不集中”的新人程序员那么Harness工程就像是给他一本极其详尽、步骤清晰的SOP标准作业程序操作手册。你通过精心设计的提示词Prompt、上下文示例Few-shot和严格的输出格式JSON Schema等引导他一步步完成任务减少其“自由发挥”可能带来的错误。而Loop则更像是为这位新人程序员配备了一个全自动的“开发-测试-调试”流水线。它不再满足于单次问答而是构建了一个能够自主思考、执行、验证并根据结果不断调整策略的闭环系统。核心区别在于Harness关注的是“如何一次性问对问题”而Loop关注的是“如何让AI持续做对事情”。对于开发者而言这意味着我们的角色要从“提示词雕刻师”逐渐转向“系统架构师”和“流程监督员”。2. 核心概念拆解Harness工程与AI Agent的本质在深入Loop之前我们必须先夯实对Harness工程的理解因为它是构建更复杂AI系统的基础。2.1 Harness工程精细化提示的艺术Harness的本意是“马具”引申为“控制、利用”。在AI编程语境下Harness工程指的是通过一系列工程技术手段来约束和引导大模型的行为使其输出更可靠、更符合预期。这远不止是写一句“请写一个Python函数”那么简单。2.1.1 核心组件与实操要点一个成熟的Harness通常包含以下几个层次角色与上下文设定这是第一步也是最关键的一步。你需要明确告诉模型“你是谁”以及“所处的环境”。例如你是一位经验丰富的Python后端开发专家精通FastAPI和SQLAlchemy。当前项目是一个微服务架构的电商系统你需要遵循PEP 8规范并编写具有完整错误处理和日志记录的生产级代码。这个设定为后续所有交互奠定了基调和边界。结构化思维链Chain-of-Thought, CoT要求模型展示其推理过程。对于复杂任务这能极大提升结果的正确性。例如不要直接问“如何实现用户鉴权”而是问“请分步骤思考1. 用户登录时后端需要验证哪些信息2. 验证通过后生成令牌Token的标准流程是什么3. 如何安全地存储和传输这个Token4. 在后续请求中如何设计中间件来验证这个Token请基于以上思考给出一个JWT鉴权的FastAPI中间件实现。”少样本示例Few-shot Learning提供高质量的输入-输出对。这是教会模型理解你特定需求的最有效方式。例如如果你想让模型生成特定格式的API响应// 示例输入查询用户ID为123的订单 { task: generate_api_response, data: {user_id: 123, orders: [...]} } // 示例输出 { code: 200, message: success, data: { user_id: 123, order_count: 5, orders: [...] }, timestamp: 2023-10-27T10:00:00Z }提供3-5个这样的示例模型就能很好地掌握你想要的响应结构。输出格式约束强制要求模型以特定格式如JSON、YAML、XML输出甚至可以使用JSON Schema进行严格校验。这便于后续的程序化处理。例如请将结果以如下JSON格式输出 { refactored_code: string, time_complexity_analysis: string, potential_issues: [string] }2.1.2 实操心得与避坑指南心得一提示词是“活文档”。不要写一次就扔。像维护代码一样维护你的提示词库记录下哪些措辞、哪些示例效果最好并持续迭代优化。心得二上下文长度是宝贵资源。Few-shot示例虽好但会大量消耗上下文窗口。要精选最具代表性、最能体现代码风格和业务逻辑的示例避免堆砌。避坑避免模糊指令。“写得好一点”、“优化一下”这种指令是无效的。必须具体如“将函数的时间复杂度从O(n²)降低到O(n log n)”、“为这个数据库查询添加防止SQL注入的参数化处理”。避坑警惕“幻觉”。模型可能会生成看似合理但实际无法运行的代码尤其是涉及不常见的库或复杂算法时。必须对生成的代码进行严格的测试和审查。2.2 AI Agent从执行者到自主行动者理解了Harness再来看Agent就清晰多了。如果说Harness是给大模型套上的“缰绳和地图”那么AI Agent就是骑手本身。一个AI Agent是一个能够感知环境、进行决策、执行动作并追求目标的系统。大模型是其“大脑”负责理解和规划而Harness工程是塑造其思维和行为方式的关键。2.2.1 Agent的核心能力框架一个典型的AI Agent包含以下循环组件规划Planning将大目标分解为可执行的子任务序列。工具使用Tool Use调用外部能力如执行代码、搜索网络、查询数据库、操作文件系统等。记忆Memory保存对话历史、任务上下文和执行结果用于后续决策。反思Reflection评估自身行动结果判断是否成功如果失败则分析原因并调整计划。2.2.2 Harness与Agent的关系你可以这样理解Harness工程是构建强大、可靠Agent的基石。一个笨拙的、经常出错的Agent往往是因为其核心的“大脑”由提示词驱动的大模型没有得到良好的Harness。你用Harness工程定义了这个Agent的专长领域、思考方式、输出规范。例如一个“代码重构Agent”的提示词体系Harness决定了它是以安全为重还是以性能为先是否考虑代码风格统一等。3. Loop引擎实现AI自主进化的核心机制当Agent能够运行起来我们就进入了下一个阶段如何让它不仅执行一次任务还能在反复执行中学习、优化、适应这就是Loop循环概念的核心。3.1 什么是Loop超越单次交互的范式Loop顾名思义是一个循环。在AI编程中它特指一个能够自动运行、评估并根据结果进行迭代的闭环工作流。它不再是开发者手动触发每一次模型调用而是将任务目标、评估标准、迭代策略预先设定好然后启动这个循环让AI系统自主地逼近最优解。一个典型的Loop流程可以概括为生成Generate - 执行Execute - 评估Evaluate - 优化Optimize - 再生成...这个过程可以完全自动化也可以加入人工评审环节Human-in-the-loop。3.2 Loop的典型应用场景与架构3.2.1 场景一自动化测试用例生成与修复生成Agent根据代码库和需求文档生成一组测试用例代码。执行系统自动运行这些测试用例。评估检查测试通过率、覆盖率以及是否有测试本身存在语法错误。优化针对失败的测试分析原因是测试用例逻辑错误还是被测代码有Bug。如果是测试用例问题自动调整提示词例如“上一个测试用例对边界条件处理不足请生成考虑边界条件‘0’和‘负数’输入的测试用例”重新生成。循环直至测试通过率达到预设阈值。3.2.2 场景二多版本代码优化竞赛生成针对同一个功能需求如“实现一个快速排序函数”使用不同的提示词策略例如策略A强调内存效率策略B强调代码简洁性让Agent生成多个版本的代码。执行在同一套基准测试Benchmark上运行所有版本。评估综合评估性能执行时间、内存占用、代码质量可读性、复杂度、安全性等指标。优化选择评估结果最好的版本并分析其对应的提示词策略有何特点将这些洞察反馈到提示词库中用于优化下一次生成的“策略池”。持续循环让系统自动探索出针对某类问题的最优提示词模式。3.2.3 Loop系统的技术架构要点构建一个可用的Loop系统你需要考虑以下几个层面编排器Orchestrator负责控制整个循环流程调用Agent管理任务状态。可以用Python脚本配合Celery或Airflow也可以使用专门的框架如LangGraph来定义工作流。评估器Evaluator这是Loop的“裁判”至关重要。评估可以是客观的单元测试通过/失败、性能指标也可以是主观的调用另一个LLM作为评审员根据代码规范打分。设计一个好的、自动化的评估标准是Loop成功的关键。记忆与状态管理需要持久化存储每一轮循环的输入提示词、输出代码、执行结果和评估分数以便分析和优化。优化策略根据评估结果如何调整是随机扰动提示词还是基于梯度下降的提示词优化或是从历史成功案例中检索相似模式这决定了Loop的“智能”程度。3.3 实操搭建一个简单的代码修复Loop下面我以一个简化场景为例展示如何用Python搭建一个核心Loop。假设我们的目标是让AI自动修复那些无法通过编译的Python代码片段。import openai import subprocess import tempfile import os # 1. 初始化设置你的大模型客户端这里以OpenAI为例 client openai.OpenAI(api_keyyour-api-key) MODEL gpt-4-turbo def generate_fix(broken_code, error_message): 使用Harnessed的Prompt生成修复建议 prompt f 你是一个专业的Python代码调试专家。请修复以下无法运行的代码。 代码片段 python {broken_code} 运行时报错信息 {error_message} 请遵循以下步骤 1. 分析错误信息定位问题根源。 2. 直接输出修复后的完整Python代码且只输出代码不要有任何额外解释。 3. 确保修复后的代码能够解决上述错误并且符合Python最佳实践。 修复后的代码 response client.chat.completions.create( modelMODEL, messages[{role: user, content: prompt}], temperature0.1 # 低温度保证输出稳定 ) return response.choices[0].message.content.strip() def execute_and_evaluate(code): 执行代码并返回结果成功或错误信息失败 with tempfile.NamedTemporaryFile(modew, suffix.py, deleteFalse) as f: f.write(code) temp_file_name f.name try: # 执行代码捕获输出和错误 result subprocess.run( [python, temp_file_name], capture_outputTrue, textTrue, timeout5 ) os.unlink(temp_file_name) # 删除临时文件 if result.returncode 0: return {success: True, output: result.stdout} else: return {success: False, error: result.stderr} except subprocess.TimeoutExpired: os.unlink(temp_file_name) return {success: False, error: Execution timeout} except Exception as e: os.unlink(temp_file_name) return {success: False, error: str(e)} def code_repair_loop(initial_broken_code, max_iterations5): 主循环函数 current_code initial_broken_code history [] for i in range(max_iterations): print(f\n Loop Iteration {i1} ) print(fCurrent Code:\n{current_code[:200]}...) # 打印前200字符 # 执行与评估 eval_result execute_and_evaluate(current_code) if eval_result[success]: print(✅ Code executed successfully!) print(fOutput: {eval_result[output]}) return {status: success, fixed_code: current_code, history: history} else: print(f❌ Execution failed. Error:\n{eval_result[error]}) # 生成修复 new_code generate_fix(current_code, eval_result[error]) print(fGenerated fix. New code preview:\n{new_code[:200]}...) # 记录历史 history.append({ iteration: i1, old_code: current_code, error: eval_result[error], new_code: new_code }) current_code new_code print(f\n⚠️ Failed to fix after {max_iterations} iterations.) return {status: failed, last_code: current_code, history: history} # 使用示例 if __name__ __main__: broken_code def calculate_average(numbers): total sum(numbers) average total / len(number) # 故意写错的变量名 return average print(calculate_average([1,2,3,4])) result code_repair_loop(broken_code)这个简单的Loop演示了核心流程执行 - 报错 - 将错误信息反馈给AI - 生成新代码 - 再次执行。在实际项目中你需要增强评估器比如加入代码风格检查、性能测试并设计更复杂的优化策略。4. 工具链与平台选择从开源框架到商业化产品面对Harness和Loop我们有哪些现成的工具可以用这里我将其分为开源框架和商业化产品两类并分析其适用场景。4.1 开源框架灵活性与控制权的代价对于喜欢深度定制和控制的团队开源框架是首选。框架名称核心定位适合场景学习曲线个人点评LangChain / LangGraph构建基于LLM应用的事实标准。LangGraph特别擅长用图的方式定义复杂的多步骤工作流即Loop。快速原型验证构建复杂的、有状态的、多工具的Agent工作流。中等偏上。概念较多但社区活跃资料丰富。首选推荐。生态最完善从简单的链Chain到复杂的智能体Agent和循环Loop都能支持。它的“状态”管理概念非常适合构建Loop。LlamaIndex专注于数据的LLM框架擅长与私有知识库、文档结合。需要让Agent基于大量外部文档如API文档、代码库进行问答或生成的场景。中等。如果只使用其检索功能相对简单。与LangChain是互补关系。常将两者结合使用LlamaIndex处理数据检索LangChain构建工作流。在Loop中可以用它来为每一轮迭代检索相关的历史解决方案或知识。AutoGen (by Microsoft)专注于多智能体对话协作。可以创建多个扮演不同角色的Agent让他们通过对话解决问题。需要模拟评审Code Review、辩论、头脑风暴等多人协作场景的复杂任务。较高。多智能体系统的协调和通信设计有挑战。非常前沿和强大。可以用一个“程序员”Agent生成代码一个“测试员”Agent运行测试一个“架构师”Agent评审代码形成一个自动化协作Loop。配置和调试需要较多精力。Semantic Kernel (by Microsoft)更偏向于将AI能力作为插件Plugins集成到传统应用中强调规划Planner能力。将AI功能深度集成到现有.NET或Python企业级应用中的场景。中等。对于.NET开发者更友好。规划器Planner功能可以自动将用户目标分解为调用插件的步骤这本身就是一种高级Loop。适合企业级集成。选择建议对于大多数想要探索Loop的开发者从LangChain/LangGraph开始是最稳妥的。它提供了最完整的抽象和丰富的集成让你能集中精力在设计工作流逻辑上而不是重复造轮子。4.2 商业化平台与IDE插件提升开发效率的利器如果你追求开箱即用和极致的开发体验以下工具可以大幅提升效率。工具类型代表产品核心价值适用阶段AI原生IDECursor、Windsurf、Zed (with AI)将Harness和Loop思想深度集成到编辑器中。例如Cursor的“自动调试”功能本质上就是一个针对代码错误的微Loop。日常编码、快速迭代、单人或小团队项目。Agent开发平台Hermes Agent需注意其官网访问性、Bolt.new提供可视化界面来编排Agent工作流即构建Loop管理工具调用并部署为API。当你的Loop逻辑稳定需要作为服务提供给他人或集成到业务系统时。提示词管理与优化平台PromptHub、Dyno帮助团队协作管理、版本化提示词Harness并提供A/B测试功能来优化提示词效果这是优化Loop的基础。团队协作开发AI功能需要科学地迭代和优化提示词。个人心得我目前的工作流是“Cursor日常编码 快速测试 LangGraph构建复杂自动化工作流”的组合。Cursor极大地提升了用自然语言探索和实现想法的速度而一旦某个工作流比如自动生成数据库迁移脚本测试被验证有效我就会用LangGraph将其固化成一个可重复使用的自动化脚本或服务。5. 实战构建一个需求到代码的自动化Loop理论说了这么多我们来看一个更贴近实际开发的综合案例如何构建一个从自然语言需求到生成可运行代码并自动进行基础测试的完整Loop。我们称之为“需求实现助手”。5.1 系统目标与架构设计目标用户输入一句话需求如“创建一个FastAPI端点接收用户ID返回该用户最近5个订单并按创建时间倒序排列”系统自动生成代码、创建测试、运行测试并返回结果。如果测试失败自动尝试修复。架构设计需求分析Agent使用强Harness的提示词将模糊需求拆解为具体的技术规格如需要哪些API路径、方法、数据模型、查询逻辑。代码生成Agent根据技术规格生成完整的Python文件如main.py,models.py,test_main.py。执行与评估环境在一个安全的沙箱如Docker容器中创建临时项目目录安装依赖运行生成的测试。修复Agent如果测试失败将错误日志和代码反馈给一个专门的修复Agent生成修正后的代码。循环控制器管理整个流程决定何时重试、何时放弃并汇总最终报告。5.2 分步实现与核心代码片段我们使用LangGraph来定义这个工作流。下图展示了其核心的循环逻辑此处用文字描述工作流因禁止使用Mermaid 工作流始于“需求分析节点”然后进入“代码生成节点”。生成代码后进入“测试执行节点”。该节点有三个出口1测试全部通过则工作流“成功结束”2测试失败但重试次数未超限则进入“分析错误节点”随后流向“代码修复节点”修复后再次进入“代码生成节点”形成循环3测试失败且重试次数超限则工作流“失败结束”。# 以下为关键节点的LangGraph实现示意简化版 from langgraph.graph import StateGraph, END from typing import TypedDict, List, Annotated import operator # 定义工作流状态 class AgentState(TypedDict): requirement: str # 原始需求 spec: dict # 分析后的技术规格 generated_files: dict # 生成的代码文件键为文件名值为内容 test_result: dict # 测试结果 {“passed”: bool, “log”: str} iteration: int # 当前迭代次数 error_analysis: str # 错误分析 # 1. 需求分析节点函数 def analyze_requirement(state: AgentState): # 调用LLM使用精心设计的Harness提示词分析需求 prompt f 作为系统架构师请将以下用户需求转化为详细的技术开发规格。 需求{state[requirement]} 请输出一个JSON对象包含 - api_spec: {{“path”: str, “method”: str, “request_model”: {…}, “response_model”: {…}}} - data_models: [{{“name”: str, “fields”: […]}}] - business_logic: [描述关键步骤的字符串] - test_scenarios: [描述测试场景的字符串] # ... 调用LLM并解析结果到 state[spec] return {spec: analyzed_spec} # 2. 代码生成节点函数 def generate_code(state: AgentState): spec state[spec] # 根据spec调用LLM生成多个文件 files {} for file_name in [main.py, models.py, test_main.py]: prompt f 根据以下技术规格生成完整的{file_name}文件。 规格{spec} 要求代码完整可直接运行包含必要的导入和错误处理。 # ... 调用LLM生成代码 files[file_name] generated_code return {generated_files: files} # 3. 测试执行节点函数关键 def execute_tests(state: AgentState): # 在实际应用中这里会启动一个Docker沙箱环境 # 将生成的代码文件写入沙箱 # 安装依赖如pytest, fastapi, sqlalchemy等 # 运行pytest并捕获结果 test_passed, test_log run_tests_in_sandbox(state[generated_files]) state[test_result] {passed: test_passed, log: test_log} state[iteration] 1 # 决定下一个节点 if test_passed: return {next_node: success_end} elif state[iteration] MAX_RETRIES: return {next_node: analyze_error} else: return {next_node: fail_end} # 4. 错误分析与修复节点 def analyze_and_fix(state: AgentState): if not state[test_result][passed]: # 分析错误日志定位问题 analysis_prompt f 测试失败日志如下 {state[test_result][log]} 结合原始需求{state[requirement]}和当前代码分析根本原因。 # ... 调用LLM分析 state[error_analysis] analysis_result # 基于分析进行修复 fix_prompt f 基于以下错误分析和现有代码生成修复后的完整代码文件。 错误分析{state[error_analysis]} 现有代码{state[generated_files]} # ... 调用LLM生成新代码 state[generated_files] fixed_files return state # 构建工作流图 workflow StateGraph(AgentState) workflow.add_node(analyze, analyze_requirement) workflow.add_node(generate, generate_code) workflow.add_node(execute, execute_tests) workflow.add_node(fix, analyze_and_fix) workflow.set_entry_point(analyze) workflow.add_edge(analyze, generate) workflow.add_edge(generate, execute) # 根据execute节点的返回值动态路由 workflow.add_conditional_edges( execute, lambda state: state.get(next_node), {success_end: END, fail_end: END, analyze_error: fix} ) workflow.add_edge(fix, generate) # 修复后回到生成节点形成循环 app workflow.compile()5.3 运行效果与优化方向运行这个工作流你输入一句需求它就会自动开始“思考-生成-测试-修复”的循环。理想情况下几轮循环后它能输出一个通过基础测试的代码包。实测中的挑战与优化点依赖管理生成的代码可能需要特定的Python包。我们的“测试执行节点”需要能动态安装依赖如通过pip install -r requirements.txt这增加了沙箱环境的复杂度。错误分析的准确性测试失败日志可能很冗长。让LLM精准定位问题根源是一大挑战。需要优化提示词让LLM先总结错误类型语法错误、逻辑错误、运行时错误再针对性分析。循环失控可能出现“死循环”比如AI始终无法理解某个核心概念。必须设置最大迭代次数如5次并在失败时给出清晰的诊断报告方便人工介入。成本控制每一轮循环都意味着多次LLM API调用。需要在循环中加入“价值判断”比如如果连续两轮修复都没有提升测试通过率则提前终止避免浪费。6. 未来展望与开发者行动指南Harness工程方兴未艾Loop浪潮又已袭来。这并不意味着Harness过时了恰恰相反强大的Loop建立在精准的Harness之上。没有好的提示词工程作为基础Agent的行为不可预测Loop只会高效地产生垃圾。给开发者的行动建议夯实Harness基本功这是你的“内功”。继续深入练习编写清晰、具体、结构化的提示词掌握思维链、少样本学习、输出约束等核心技巧。这是所有上层建筑的基石。用Agent思维重构任务面对一个开发任务时先别急着写代码。想一想这个任务能否被分解为“规划-执行-评估”的步骤能否让AI承担其中一部分例如不是让AI直接写整个系统而是让它先出设计文档你再让它根据文档分模块实现。从小型Loop开始实践不要一开始就追求全自动的“需求到部署”。可以从一个微观的、具体的Loop开始。比如写一个脚本自动用AI为你的每个函数生成单元测试并运行它们。体验这个闭环过程。关注工具但更关注思想工具迭代很快但“闭环反馈、自动优化”的思想是持久的。无论你用LangGraph、AutoGen还是自己写的脚本核心都是实现这个思想。成为“流程设计师”未来的开发者尤其是资深开发者核心竞争力可能不再是 memorizing every API而是设计出能够可靠解决某类问题的AI工作流Loop。你需要定义清晰的步骤、评估标准、优化策略并将人的智慧体现在这些流程和规则的设计中。我个人在实践中发现引入Loop思维后最大的改变是项目风险的前置。以前是代码写完了才测试现在是在“生成-测试”的循环中不断验证相当于把测试左移到了设计阶段。虽然初期搭建Loop系统有成本但对于那些模式固定、重复性高的开发任务如CRUD API生成、数据迁移脚本编写、单元测试补充一旦Loop跑通其带来的长期效率和一致性提升是巨大的。这就像为团队引入了一个不知疲倦、不断学习的初级工程师而你的角色则升级为它的导师和架构师。
1. 项目概述从Harness到LoopAI编程范式的又一次跃迁最近在AI编程圈子里一个现象很有意思很多人还在埋头研究Harness工程试图驯服大模型写出更可靠的代码结果一抬头发现“Loop”这个概念已经火得不行了。这感觉就像你刚把手动挡的车开熟练满大街已经开始跑自动驾驶了。作为一个在一线跟代码和AI打了十几年交道的开发者我对这种快速迭代深有体会。今天我就结合自己的实操经验来聊聊Harness和Loop到底是怎么回事它们之间是什么关系以及我们开发者该如何应对这场从“工程”到“循环”的思维转变。简单来说如果把大模型LLM看作一个能力超强但有点“注意力不集中”的新人程序员那么Harness工程就像是给他一本极其详尽、步骤清晰的SOP标准作业程序操作手册。你通过精心设计的提示词Prompt、上下文示例Few-shot和严格的输出格式JSON Schema等引导他一步步完成任务减少其“自由发挥”可能带来的错误。而Loop则更像是为这位新人程序员配备了一个全自动的“开发-测试-调试”流水线。它不再满足于单次问答而是构建了一个能够自主思考、执行、验证并根据结果不断调整策略的闭环系统。核心区别在于Harness关注的是“如何一次性问对问题”而Loop关注的是“如何让AI持续做对事情”。对于开发者而言这意味着我们的角色要从“提示词雕刻师”逐渐转向“系统架构师”和“流程监督员”。2. 核心概念拆解Harness工程与AI Agent的本质在深入Loop之前我们必须先夯实对Harness工程的理解因为它是构建更复杂AI系统的基础。2.1 Harness工程精细化提示的艺术Harness的本意是“马具”引申为“控制、利用”。在AI编程语境下Harness工程指的是通过一系列工程技术手段来约束和引导大模型的行为使其输出更可靠、更符合预期。这远不止是写一句“请写一个Python函数”那么简单。2.1.1 核心组件与实操要点一个成熟的Harness通常包含以下几个层次角色与上下文设定这是第一步也是最关键的一步。你需要明确告诉模型“你是谁”以及“所处的环境”。例如你是一位经验丰富的Python后端开发专家精通FastAPI和SQLAlchemy。当前项目是一个微服务架构的电商系统你需要遵循PEP 8规范并编写具有完整错误处理和日志记录的生产级代码。这个设定为后续所有交互奠定了基调和边界。结构化思维链Chain-of-Thought, CoT要求模型展示其推理过程。对于复杂任务这能极大提升结果的正确性。例如不要直接问“如何实现用户鉴权”而是问“请分步骤思考1. 用户登录时后端需要验证哪些信息2. 验证通过后生成令牌Token的标准流程是什么3. 如何安全地存储和传输这个Token4. 在后续请求中如何设计中间件来验证这个Token请基于以上思考给出一个JWT鉴权的FastAPI中间件实现。”少样本示例Few-shot Learning提供高质量的输入-输出对。这是教会模型理解你特定需求的最有效方式。例如如果你想让模型生成特定格式的API响应// 示例输入查询用户ID为123的订单 { task: generate_api_response, data: {user_id: 123, orders: [...]} } // 示例输出 { code: 200, message: success, data: { user_id: 123, order_count: 5, orders: [...] }, timestamp: 2023-10-27T10:00:00Z }提供3-5个这样的示例模型就能很好地掌握你想要的响应结构。输出格式约束强制要求模型以特定格式如JSON、YAML、XML输出甚至可以使用JSON Schema进行严格校验。这便于后续的程序化处理。例如请将结果以如下JSON格式输出 { refactored_code: string, time_complexity_analysis: string, potential_issues: [string] }2.1.2 实操心得与避坑指南心得一提示词是“活文档”。不要写一次就扔。像维护代码一样维护你的提示词库记录下哪些措辞、哪些示例效果最好并持续迭代优化。心得二上下文长度是宝贵资源。Few-shot示例虽好但会大量消耗上下文窗口。要精选最具代表性、最能体现代码风格和业务逻辑的示例避免堆砌。避坑避免模糊指令。“写得好一点”、“优化一下”这种指令是无效的。必须具体如“将函数的时间复杂度从O(n²)降低到O(n log n)”、“为这个数据库查询添加防止SQL注入的参数化处理”。避坑警惕“幻觉”。模型可能会生成看似合理但实际无法运行的代码尤其是涉及不常见的库或复杂算法时。必须对生成的代码进行严格的测试和审查。2.2 AI Agent从执行者到自主行动者理解了Harness再来看Agent就清晰多了。如果说Harness是给大模型套上的“缰绳和地图”那么AI Agent就是骑手本身。一个AI Agent是一个能够感知环境、进行决策、执行动作并追求目标的系统。大模型是其“大脑”负责理解和规划而Harness工程是塑造其思维和行为方式的关键。2.2.1 Agent的核心能力框架一个典型的AI Agent包含以下循环组件规划Planning将大目标分解为可执行的子任务序列。工具使用Tool Use调用外部能力如执行代码、搜索网络、查询数据库、操作文件系统等。记忆Memory保存对话历史、任务上下文和执行结果用于后续决策。反思Reflection评估自身行动结果判断是否成功如果失败则分析原因并调整计划。2.2.2 Harness与Agent的关系你可以这样理解Harness工程是构建强大、可靠Agent的基石。一个笨拙的、经常出错的Agent往往是因为其核心的“大脑”由提示词驱动的大模型没有得到良好的Harness。你用Harness工程定义了这个Agent的专长领域、思考方式、输出规范。例如一个“代码重构Agent”的提示词体系Harness决定了它是以安全为重还是以性能为先是否考虑代码风格统一等。3. Loop引擎实现AI自主进化的核心机制当Agent能够运行起来我们就进入了下一个阶段如何让它不仅执行一次任务还能在反复执行中学习、优化、适应这就是Loop循环概念的核心。3.1 什么是Loop超越单次交互的范式Loop顾名思义是一个循环。在AI编程中它特指一个能够自动运行、评估并根据结果进行迭代的闭环工作流。它不再是开发者手动触发每一次模型调用而是将任务目标、评估标准、迭代策略预先设定好然后启动这个循环让AI系统自主地逼近最优解。一个典型的Loop流程可以概括为生成Generate - 执行Execute - 评估Evaluate - 优化Optimize - 再生成...这个过程可以完全自动化也可以加入人工评审环节Human-in-the-loop。3.2 Loop的典型应用场景与架构3.2.1 场景一自动化测试用例生成与修复生成Agent根据代码库和需求文档生成一组测试用例代码。执行系统自动运行这些测试用例。评估检查测试通过率、覆盖率以及是否有测试本身存在语法错误。优化针对失败的测试分析原因是测试用例逻辑错误还是被测代码有Bug。如果是测试用例问题自动调整提示词例如“上一个测试用例对边界条件处理不足请生成考虑边界条件‘0’和‘负数’输入的测试用例”重新生成。循环直至测试通过率达到预设阈值。3.2.2 场景二多版本代码优化竞赛生成针对同一个功能需求如“实现一个快速排序函数”使用不同的提示词策略例如策略A强调内存效率策略B强调代码简洁性让Agent生成多个版本的代码。执行在同一套基准测试Benchmark上运行所有版本。评估综合评估性能执行时间、内存占用、代码质量可读性、复杂度、安全性等指标。优化选择评估结果最好的版本并分析其对应的提示词策略有何特点将这些洞察反馈到提示词库中用于优化下一次生成的“策略池”。持续循环让系统自动探索出针对某类问题的最优提示词模式。3.2.3 Loop系统的技术架构要点构建一个可用的Loop系统你需要考虑以下几个层面编排器Orchestrator负责控制整个循环流程调用Agent管理任务状态。可以用Python脚本配合Celery或Airflow也可以使用专门的框架如LangGraph来定义工作流。评估器Evaluator这是Loop的“裁判”至关重要。评估可以是客观的单元测试通过/失败、性能指标也可以是主观的调用另一个LLM作为评审员根据代码规范打分。设计一个好的、自动化的评估标准是Loop成功的关键。记忆与状态管理需要持久化存储每一轮循环的输入提示词、输出代码、执行结果和评估分数以便分析和优化。优化策略根据评估结果如何调整是随机扰动提示词还是基于梯度下降的提示词优化或是从历史成功案例中检索相似模式这决定了Loop的“智能”程度。3.3 实操搭建一个简单的代码修复Loop下面我以一个简化场景为例展示如何用Python搭建一个核心Loop。假设我们的目标是让AI自动修复那些无法通过编译的Python代码片段。import openai import subprocess import tempfile import os # 1. 初始化设置你的大模型客户端这里以OpenAI为例 client openai.OpenAI(api_keyyour-api-key) MODEL gpt-4-turbo def generate_fix(broken_code, error_message): 使用Harnessed的Prompt生成修复建议 prompt f 你是一个专业的Python代码调试专家。请修复以下无法运行的代码。 代码片段 python {broken_code} 运行时报错信息 {error_message} 请遵循以下步骤 1. 分析错误信息定位问题根源。 2. 直接输出修复后的完整Python代码且只输出代码不要有任何额外解释。 3. 确保修复后的代码能够解决上述错误并且符合Python最佳实践。 修复后的代码 response client.chat.completions.create( modelMODEL, messages[{role: user, content: prompt}], temperature0.1 # 低温度保证输出稳定 ) return response.choices[0].message.content.strip() def execute_and_evaluate(code): 执行代码并返回结果成功或错误信息失败 with tempfile.NamedTemporaryFile(modew, suffix.py, deleteFalse) as f: f.write(code) temp_file_name f.name try: # 执行代码捕获输出和错误 result subprocess.run( [python, temp_file_name], capture_outputTrue, textTrue, timeout5 ) os.unlink(temp_file_name) # 删除临时文件 if result.returncode 0: return {success: True, output: result.stdout} else: return {success: False, error: result.stderr} except subprocess.TimeoutExpired: os.unlink(temp_file_name) return {success: False, error: Execution timeout} except Exception as e: os.unlink(temp_file_name) return {success: False, error: str(e)} def code_repair_loop(initial_broken_code, max_iterations5): 主循环函数 current_code initial_broken_code history [] for i in range(max_iterations): print(f\n Loop Iteration {i1} ) print(fCurrent Code:\n{current_code[:200]}...) # 打印前200字符 # 执行与评估 eval_result execute_and_evaluate(current_code) if eval_result[success]: print(✅ Code executed successfully!) print(fOutput: {eval_result[output]}) return {status: success, fixed_code: current_code, history: history} else: print(f❌ Execution failed. Error:\n{eval_result[error]}) # 生成修复 new_code generate_fix(current_code, eval_result[error]) print(fGenerated fix. New code preview:\n{new_code[:200]}...) # 记录历史 history.append({ iteration: i1, old_code: current_code, error: eval_result[error], new_code: new_code }) current_code new_code print(f\n⚠️ Failed to fix after {max_iterations} iterations.) return {status: failed, last_code: current_code, history: history} # 使用示例 if __name__ __main__: broken_code def calculate_average(numbers): total sum(numbers) average total / len(number) # 故意写错的变量名 return average print(calculate_average([1,2,3,4])) result code_repair_loop(broken_code)这个简单的Loop演示了核心流程执行 - 报错 - 将错误信息反馈给AI - 生成新代码 - 再次执行。在实际项目中你需要增强评估器比如加入代码风格检查、性能测试并设计更复杂的优化策略。4. 工具链与平台选择从开源框架到商业化产品面对Harness和Loop我们有哪些现成的工具可以用这里我将其分为开源框架和商业化产品两类并分析其适用场景。4.1 开源框架灵活性与控制权的代价对于喜欢深度定制和控制的团队开源框架是首选。框架名称核心定位适合场景学习曲线个人点评LangChain / LangGraph构建基于LLM应用的事实标准。LangGraph特别擅长用图的方式定义复杂的多步骤工作流即Loop。快速原型验证构建复杂的、有状态的、多工具的Agent工作流。中等偏上。概念较多但社区活跃资料丰富。首选推荐。生态最完善从简单的链Chain到复杂的智能体Agent和循环Loop都能支持。它的“状态”管理概念非常适合构建Loop。LlamaIndex专注于数据的LLM框架擅长与私有知识库、文档结合。需要让Agent基于大量外部文档如API文档、代码库进行问答或生成的场景。中等。如果只使用其检索功能相对简单。与LangChain是互补关系。常将两者结合使用LlamaIndex处理数据检索LangChain构建工作流。在Loop中可以用它来为每一轮迭代检索相关的历史解决方案或知识。AutoGen (by Microsoft)专注于多智能体对话协作。可以创建多个扮演不同角色的Agent让他们通过对话解决问题。需要模拟评审Code Review、辩论、头脑风暴等多人协作场景的复杂任务。较高。多智能体系统的协调和通信设计有挑战。非常前沿和强大。可以用一个“程序员”Agent生成代码一个“测试员”Agent运行测试一个“架构师”Agent评审代码形成一个自动化协作Loop。配置和调试需要较多精力。Semantic Kernel (by Microsoft)更偏向于将AI能力作为插件Plugins集成到传统应用中强调规划Planner能力。将AI功能深度集成到现有.NET或Python企业级应用中的场景。中等。对于.NET开发者更友好。规划器Planner功能可以自动将用户目标分解为调用插件的步骤这本身就是一种高级Loop。适合企业级集成。选择建议对于大多数想要探索Loop的开发者从LangChain/LangGraph开始是最稳妥的。它提供了最完整的抽象和丰富的集成让你能集中精力在设计工作流逻辑上而不是重复造轮子。4.2 商业化平台与IDE插件提升开发效率的利器如果你追求开箱即用和极致的开发体验以下工具可以大幅提升效率。工具类型代表产品核心价值适用阶段AI原生IDECursor、Windsurf、Zed (with AI)将Harness和Loop思想深度集成到编辑器中。例如Cursor的“自动调试”功能本质上就是一个针对代码错误的微Loop。日常编码、快速迭代、单人或小团队项目。Agent开发平台Hermes Agent需注意其官网访问性、Bolt.new提供可视化界面来编排Agent工作流即构建Loop管理工具调用并部署为API。当你的Loop逻辑稳定需要作为服务提供给他人或集成到业务系统时。提示词管理与优化平台PromptHub、Dyno帮助团队协作管理、版本化提示词Harness并提供A/B测试功能来优化提示词效果这是优化Loop的基础。团队协作开发AI功能需要科学地迭代和优化提示词。个人心得我目前的工作流是“Cursor日常编码 快速测试 LangGraph构建复杂自动化工作流”的组合。Cursor极大地提升了用自然语言探索和实现想法的速度而一旦某个工作流比如自动生成数据库迁移脚本测试被验证有效我就会用LangGraph将其固化成一个可重复使用的自动化脚本或服务。5. 实战构建一个需求到代码的自动化Loop理论说了这么多我们来看一个更贴近实际开发的综合案例如何构建一个从自然语言需求到生成可运行代码并自动进行基础测试的完整Loop。我们称之为“需求实现助手”。5.1 系统目标与架构设计目标用户输入一句话需求如“创建一个FastAPI端点接收用户ID返回该用户最近5个订单并按创建时间倒序排列”系统自动生成代码、创建测试、运行测试并返回结果。如果测试失败自动尝试修复。架构设计需求分析Agent使用强Harness的提示词将模糊需求拆解为具体的技术规格如需要哪些API路径、方法、数据模型、查询逻辑。代码生成Agent根据技术规格生成完整的Python文件如main.py,models.py,test_main.py。执行与评估环境在一个安全的沙箱如Docker容器中创建临时项目目录安装依赖运行生成的测试。修复Agent如果测试失败将错误日志和代码反馈给一个专门的修复Agent生成修正后的代码。循环控制器管理整个流程决定何时重试、何时放弃并汇总最终报告。5.2 分步实现与核心代码片段我们使用LangGraph来定义这个工作流。下图展示了其核心的循环逻辑此处用文字描述工作流因禁止使用Mermaid 工作流始于“需求分析节点”然后进入“代码生成节点”。生成代码后进入“测试执行节点”。该节点有三个出口1测试全部通过则工作流“成功结束”2测试失败但重试次数未超限则进入“分析错误节点”随后流向“代码修复节点”修复后再次进入“代码生成节点”形成循环3测试失败且重试次数超限则工作流“失败结束”。# 以下为关键节点的LangGraph实现示意简化版 from langgraph.graph import StateGraph, END from typing import TypedDict, List, Annotated import operator # 定义工作流状态 class AgentState(TypedDict): requirement: str # 原始需求 spec: dict # 分析后的技术规格 generated_files: dict # 生成的代码文件键为文件名值为内容 test_result: dict # 测试结果 {“passed”: bool, “log”: str} iteration: int # 当前迭代次数 error_analysis: str # 错误分析 # 1. 需求分析节点函数 def analyze_requirement(state: AgentState): # 调用LLM使用精心设计的Harness提示词分析需求 prompt f 作为系统架构师请将以下用户需求转化为详细的技术开发规格。 需求{state[requirement]} 请输出一个JSON对象包含 - api_spec: {{“path”: str, “method”: str, “request_model”: {…}, “response_model”: {…}}} - data_models: [{{“name”: str, “fields”: […]}}] - business_logic: [描述关键步骤的字符串] - test_scenarios: [描述测试场景的字符串] # ... 调用LLM并解析结果到 state[spec] return {spec: analyzed_spec} # 2. 代码生成节点函数 def generate_code(state: AgentState): spec state[spec] # 根据spec调用LLM生成多个文件 files {} for file_name in [main.py, models.py, test_main.py]: prompt f 根据以下技术规格生成完整的{file_name}文件。 规格{spec} 要求代码完整可直接运行包含必要的导入和错误处理。 # ... 调用LLM生成代码 files[file_name] generated_code return {generated_files: files} # 3. 测试执行节点函数关键 def execute_tests(state: AgentState): # 在实际应用中这里会启动一个Docker沙箱环境 # 将生成的代码文件写入沙箱 # 安装依赖如pytest, fastapi, sqlalchemy等 # 运行pytest并捕获结果 test_passed, test_log run_tests_in_sandbox(state[generated_files]) state[test_result] {passed: test_passed, log: test_log} state[iteration] 1 # 决定下一个节点 if test_passed: return {next_node: success_end} elif state[iteration] MAX_RETRIES: return {next_node: analyze_error} else: return {next_node: fail_end} # 4. 错误分析与修复节点 def analyze_and_fix(state: AgentState): if not state[test_result][passed]: # 分析错误日志定位问题 analysis_prompt f 测试失败日志如下 {state[test_result][log]} 结合原始需求{state[requirement]}和当前代码分析根本原因。 # ... 调用LLM分析 state[error_analysis] analysis_result # 基于分析进行修复 fix_prompt f 基于以下错误分析和现有代码生成修复后的完整代码文件。 错误分析{state[error_analysis]} 现有代码{state[generated_files]} # ... 调用LLM生成新代码 state[generated_files] fixed_files return state # 构建工作流图 workflow StateGraph(AgentState) workflow.add_node(analyze, analyze_requirement) workflow.add_node(generate, generate_code) workflow.add_node(execute, execute_tests) workflow.add_node(fix, analyze_and_fix) workflow.set_entry_point(analyze) workflow.add_edge(analyze, generate) workflow.add_edge(generate, execute) # 根据execute节点的返回值动态路由 workflow.add_conditional_edges( execute, lambda state: state.get(next_node), {success_end: END, fail_end: END, analyze_error: fix} ) workflow.add_edge(fix, generate) # 修复后回到生成节点形成循环 app workflow.compile()5.3 运行效果与优化方向运行这个工作流你输入一句需求它就会自动开始“思考-生成-测试-修复”的循环。理想情况下几轮循环后它能输出一个通过基础测试的代码包。实测中的挑战与优化点依赖管理生成的代码可能需要特定的Python包。我们的“测试执行节点”需要能动态安装依赖如通过pip install -r requirements.txt这增加了沙箱环境的复杂度。错误分析的准确性测试失败日志可能很冗长。让LLM精准定位问题根源是一大挑战。需要优化提示词让LLM先总结错误类型语法错误、逻辑错误、运行时错误再针对性分析。循环失控可能出现“死循环”比如AI始终无法理解某个核心概念。必须设置最大迭代次数如5次并在失败时给出清晰的诊断报告方便人工介入。成本控制每一轮循环都意味着多次LLM API调用。需要在循环中加入“价值判断”比如如果连续两轮修复都没有提升测试通过率则提前终止避免浪费。6. 未来展望与开发者行动指南Harness工程方兴未艾Loop浪潮又已袭来。这并不意味着Harness过时了恰恰相反强大的Loop建立在精准的Harness之上。没有好的提示词工程作为基础Agent的行为不可预测Loop只会高效地产生垃圾。给开发者的行动建议夯实Harness基本功这是你的“内功”。继续深入练习编写清晰、具体、结构化的提示词掌握思维链、少样本学习、输出约束等核心技巧。这是所有上层建筑的基石。用Agent思维重构任务面对一个开发任务时先别急着写代码。想一想这个任务能否被分解为“规划-执行-评估”的步骤能否让AI承担其中一部分例如不是让AI直接写整个系统而是让它先出设计文档你再让它根据文档分模块实现。从小型Loop开始实践不要一开始就追求全自动的“需求到部署”。可以从一个微观的、具体的Loop开始。比如写一个脚本自动用AI为你的每个函数生成单元测试并运行它们。体验这个闭环过程。关注工具但更关注思想工具迭代很快但“闭环反馈、自动优化”的思想是持久的。无论你用LangGraph、AutoGen还是自己写的脚本核心都是实现这个思想。成为“流程设计师”未来的开发者尤其是资深开发者核心竞争力可能不再是 memorizing every API而是设计出能够可靠解决某类问题的AI工作流Loop。你需要定义清晰的步骤、评估标准、优化策略并将人的智慧体现在这些流程和规则的设计中。我个人在实践中发现引入Loop思维后最大的改变是项目风险的前置。以前是代码写完了才测试现在是在“生成-测试”的循环中不断验证相当于把测试左移到了设计阶段。虽然初期搭建Loop系统有成本但对于那些模式固定、重复性高的开发任务如CRUD API生成、数据迁移脚本编写、单元测试补充一旦Loop跑通其带来的长期效率和一致性提升是巨大的。这就像为团队引入了一个不知疲倦、不断学习的初级工程师而你的角色则升级为它的导师和架构师。
)
