尧图网站建设 
在推理任务中我们常常希望大语言模型LLM不仅能给出答案还能像科学家一样提出假设、设计实验并验证。近期一项名为“MDA”的技术通过让LLM主动提出假设并进行多轮实验验证在特定基准测试中仅用8次实验就达到了与Claude 3 Opus模型相当的性能。这为资源受限下的高效推理开辟了新路径。本文将深入拆解MDA多假设演绎推理的核心思想、实现原理并提供一个完整的代码实战案例帮助开发者理解如何将这一前沿方法应用到自己的LLM项目中。1. 背景与核心概念从被动问答到主动科学推理传统的LLM应用模式无论是Few-Shot Prompting还是Chain-of-Thought本质上仍是一种“被动响应”。用户提供一个问题和上下文模型基于其庞大的参数化知识生成一个答案流。这种方式在知识检索和简单推理上表现优异但在解决需要探索多种可能性、进行系统性验证的复杂问题时往往力不从心。模型可能会固守其首次生成的、可能错误的推理路径。MDAMulti-hypothesis Deductive Reasoning多假设演绎推理正是为了解决这一问题而生。它受启发于科学方法论面对一个未知问题科学家会先提出多个可能的假设Hypotheses然后设计实验来逐一验证或证伪这些假设最终收敛到最合理的解释。在LLM语境下MDA框架的核心流程可以概括为假设生成针对给定的问题引导LLM生成多个通常为4-8个不同的、潜在的解决方案或推理路径即“假设”。实验设计针对每个假设LLM需要设计一个可以验证该假设是否成立的“实验”。这个“实验”通常是一个可执行的代码片段、一个逻辑推导步骤或一个可查询的子问题。实验执行与验证系统或LLM自身执行这些“实验”并观察结果。结果用于评估每个假设的可信度。假设精炼与迭代根据实验结果淘汰被证伪的假设修正或合并剩余的假设并可能生成新的假设。重复步骤2-4直到达到预设的迭代次数或某个假设被确认为高置信度答案。最终答案合成基于多轮迭代中积累的证据合成一个最终的、经过验证的答案。这项技术的意义在于它将LLM从一个“静态的知识库模式匹配器”转变为一个“动态的假设生成与验证引擎”。根据相关研究在FORCEBENCH等需要多步数学和科学推理的基准测试上采用MDA策略的较小模型如GPT-4通过8轮假设-实验循环其表现可以追平甚至在某些任务上超越直接使用Claude 3 Opus这类顶级但昂贵的模型。这体现了“用算法和策略弥补模型规模”的潜力。2. 环境准备与版本说明为了实战演示MDA的实现我们需要一个能够执行代码以验证假设的环境。这里我们选择Python并利用OpenAI API或兼容API作为LLM引擎。你也可以替换为其他支持函数调用或代码执行能力的模型。基础环境操作系统Windows 10/11, macOS, 或 Linux (Ubuntu 20.04)。本文示例在macOS/Linux环境下测试。Python版本 3.8。确保pip可用。核心Python库我们将使用openai库与模型交互sympy库用于执行符号数学计算以验证假设这是一个常见的“实验”场景。# 创建并进入项目目录 mkdir mda_demo cd mda_demo # 创建虚拟环境推荐 python3 -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate # 安装依赖库 pip install openai sympyAPI密钥配置你需要一个OpenAI API密钥。请将其设置为环境变量不要在代码中硬编码。# 在终端中设置环境变量临时 export OPENAI_API_KEYyour-api-key-here # Windows: set OPENAI_API_KEYyour-api-key-here项目结构mda_demo/ ├── venv/ # Python虚拟环境可忽略 ├── mda_agent.py # MDA代理核心实现 ├── math_problem.json # 示例问题集 └── README.md3. MDA核心原理与组件拆解在编码之前我们需要将MDA流程中的抽象概念转化为具体的程序组件。一个简单的MDA系统通常包含以下几个模块3.1 假设生成器 (Hypothesis Generator)它的职责是接收问题并生成N个不同的、具体的假设。提示词设计是关键需要鼓励多样性和可验证性。提示词示例你是一个科学家正在解决以下问题 问题{problem} 请列出3个截然不同的、具体的假设或解题思路。每个假设应该是一个可以设计实验来验证的明确陈述。 格式要求 假设1: [具体描述] 假设2: [具体描述] 假设3: [具体描述]3.2 实验设计师 (Experiment Designer)针对一个给定的假设设计一个可执行的“实验”来验证它。对于数学问题实验可能就是一段计算代码对于逻辑问题可能是一系列推理步骤。提示词示例针对以下问题和假设请设计一个Python代码片段使用sympy库作为实验来验证这个假设是否成立。 问题{problem} 假设{hypothesis} 请只输出完整的、可独立运行的Python代码代码的最后应该打印出验证结果True/False或具体数值。3.3 实验执行器 (Experiment Executor)这是一个纯粹的代码执行环境。它接收实验设计师生成的代码在一个安全的沙箱或简单的exec环境中生产环境需极度谨慎中运行并捕获输出和错误。关键安全考虑绝对不能在未加严格限制的环境中直接exec用户或模型生成的代码。本例出于演示目的在受控环境下运行简单数学代码。真实系统应使用Docker沙箱、受限的eval或专门的代码执行API。3.4 假设评估与精炼器 (Hypothesis Evaluator Refiner)根据实验执行的结果评估每个假设的可信度。被证伪的假设被淘汰未被证伪的假设得以保留并可能根据实验结果进行精炼或用于生成新的假设。流程控制系统需要管理多轮迭代。一个简单的策略是每轮保留前K个例如置信度最高的2个假设基于它们和已有证据让LLM生成下一轮的假设。4. 完整实战案例实现一个数学问题MDA求解器让我们实现一个针对初中/高中数学问题的MDA求解器。我们将问题限定在可以通过sympy符号计算验证的范围内。4.1 定义问题与MDA Agent类首先我们创建一个MDA_Agent类来封装整个流程。# mda_agent.py import openai import json import sympy from sympy import symbols, Eq, solve, simplify, sqrt import os from typing import List, Dict, Any, Tuple class MDA_Agent: def __init__(self, model: str gpt-4, max_hypotheses: int 3, max_iterations: int 4): 初始化MDA代理。 Args: model: 使用的LLM模型名称。 max_hypotheses: 每轮生成的最大假设数量。 max_iterations: 最大迭代轮次。 self.client openai.OpenAI(api_keyos.getenv(OPENAI_API_KEY)) self.model model self.max_hypotheses max_hypotheses self.max_iterations max_iterations self.conversation_history [] # 可选用于记录对话辅助精炼 def generate_hypotheses(self, problem: str) - List[str]: 根据问题生成初始假设列表。 prompt f你是一个优秀的数学问题解决者。请针对下面的问题提出{self.max_hypotheses}个不同的、具体的解题假设或思路。每个假设应该是一个清晰的、可以用数学计算或逻辑推导验证的陈述。 问题{problem} 请严格按照以下格式输出每个假设占一行 假设1: [你的第一个假设] 假设2: [你的第二个假设] 假设3: [你的第三个假设] try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperature0.8, # 稍高的温度鼓励多样性 max_tokens500 ) content response.choices[0].message.content.strip() # 简单解析输出提取假设文本 hypotheses [] for line in content.split(\n): if line.startswith((假设, Hypothesis)) and : in line: hyp line.split(:, 1)[1].strip() if hyp: hypotheses.append(hyp) # 如果解析失败退回一个简单假设 if not hypotheses: hypotheses [f“直接求解问题{problem}”] return hypotheses[:self.max_hypotheses] except Exception as e: print(f“生成假设时出错{e}”) return [f“备用假设应用标准方法求解 {problem}”] def design_experiment(self, problem: str, hypothesis: str) - str: 为给定的问题和假设设计一个验证实验Python代码。 prompt f请设计一个Python实验来验证下面的假设。你只能使用sympy库进行符号数学计算。 问题{problem} 待验证的假设{hypothesis} 你的任务是生成一个单一的、完整的Python代码片段。这个代码应该 1. 定义必要的符号变量。 2. 根据问题和假设实现逻辑或计算。 3. 最终通过打印print输出一个明确的验证结果。结果应该是布尔值True/False或一个关键数值/等式。 4. 代码必须能独立运行不依赖外部输入。 只输出代码不要有任何额外的解释、描述或Markdown代码块标记。 try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperature0.2, # 低温度保证代码稳定性 max_tokens800 ) code response.choices[0].message.content.strip() # 清理可能的markdown代码块标记 if code.startswith(python): code code[10:] if code.startswith(): code code[3:] if code.endswith(): code code[:-3] return code.strip() except Exception as e: print(f“设计实验时出错{e}”) return “print(‘实验设计失败’)” def run_experiment_safely(self, code: str) - Tuple[str, bool]: 在受限环境中运行实验代码。警告此方法仅用于演示存在安全风险。 # 这是一个极度简化的“安全”环境。真实应用必须使用沙箱。 allowed_globals {‘__builtins__’: None} allowed_locals { ‘sympy’: sympy, ‘symbols’: symbols, ‘Eq’: Eq, ‘solve’: solve, ‘simplify’: simplify, ‘sqrt’: sqrt, ‘print’: print } try: # 重定向print输出到字符串 import io old_stdout sys.stdout sys.stdout io.StringIO() # 执行代码 exec(code, allowed_globals, allowed_locals) output sys.stdout.getvalue() sys.stdout old_stdout return output, True except Exception as e: return f“实验执行错误{e}”, False def evaluate_hypothesis(self, problem: str, hypothesis: str, experiment_output: str, success: bool) - Dict[str, Any]: 根据实验输出评估假设的可信度。 if not success: return {“hypothesis”: hypothesis, “confidence”: 0.1, “status”: “实验失败”, “output”: experiment_output} # 简单启发式评估检查输出中是否包含“True“、等式成立、或特定成功关键词 output_lower experiment_output.lower() confidence 0.5 # 基础置信度 status “待定” if “true” in output_lower and “false” not in output_lower: confidence 0.9 status “实验支持” elif “false” in output_lower: confidence 0.2 status “实验否定” elif “error” not in output_lower and len(experiment_output.strip()) 0: # 如果有非错误输出给予中等置信度 confidence 0.7 status “有输出证据” return { “hypothesis”: hypothesis, “confidence”: confidence, “status”: status, “output”: experiment_output.strip()[:500] # 截断长输出 } def refine_and_iterate(self, problem: str, evaluated_hypotheses: List[Dict[str, Any]], iteration: int) - List[str]: 基于评估结果精炼或生成下一轮的假设。 if iteration self.max_iterations: return [] # 选择置信度最高的两个假设作为种子 top_hyps sorted(evaluated_hypotheses, keylambda x: x[“confidence”], reverseTrue)[:2] seed_info “\n”.join([f“- {h[‘hypothesis’]} (置信度{h[‘confidence’]:.2f}, 状态{h[‘status’]})” for h in top_hyps]) prompt f我们正在尝试解决问题{problem} 经过第{iteration}轮实验我们获得了以下最有希望的假设和结果 {seed_info} 请基于以上信息提出{self.max_hypotheses}个新的或精炼后的假设用于下一轮验证。这些假设应该更具体或能解决上一轮实验中发现的不确定性。 请直接输出新的假设列表格式如下 新假设1: [描述] 新假设2: [描述] 新假设3: [描述] try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperature0.7, max_tokens600 ) content response.choices[0].message.content.strip() new_hypotheses [] for line in content.split(‘\n’): if line.startswith((‘新假设’, ‘Hypothesis’)) and ‘:’ in line: hyp line.split(‘:’, 1)[1].strip() if hyp: new_hypotheses.append(hyp) return new_hypotheses if new_hypotheses else [h[“hypothesis”] for h in top_hyps] # 退回使用原假设 except Exception as e: print(f“精炼假设时出错{e}”) return [] def solve(self, problem: str) - Dict[str, Any]: 执行完整的MDA流程解决问题。 import sys global sys # 用于run_experiment_safely中的重定向 print(f“开始解决MDA问题{problem}”) all_results [] current_hypotheses self.generate_hypotheses(problem) for iteration in range(self.max_iterations): print(f“\n 第 {iteration 1} 轮迭代 ) round_results [] for i, hyp in enumerate(current_hypotheses): print(f“\n 假设 {i1}: {hyp}”) # 1. 设计实验 experiment_code self.design_experiment(problem, hyp) # print(f“生成的实验代码\n{experiment_code}”) # 调试用 # 2. 运行实验 output, success self.run_experiment_safely(experiment_code) # 3. 评估假设 eval_result self.evaluate_hypothesis(problem, hyp, output, success) round_results.append(eval_result) print(f“ 状态{eval_result[‘status’]}, 置信度{eval_result[‘confidence’]:.2f}”) if eval_result[‘output’]: print(f“ 输出{eval_result[‘output’][:100]}...”) all_results.extend(round_results) # 4. 判断是否已有高置信度结果 high_confidence [r for r in round_results if r[“confidence”] 0.85] if high_confidence: print(f“\n在第{iteration1}轮找到高置信度假设停止迭代。”) final_answer max(high_confidence, keylambda x: x[“confidence”]) return { “problem”: problem, “final_hypothesis”: final_answer[“hypothesis”], “confidence”: final_answer[“confidence”], “supporting_evidence”: final_answer[“output”], “total_iterations”: iteration 1, “all_results”: all_results } # 5. 精炼假设准备下一轮 current_hypotheses self.refine_and_iterate(problem, round_results, iteration1) if not current_hypotheses: print(“未能生成新的假设停止迭代。”) break # 迭代结束选择置信度最高的作为最终答案 if all_results: final_answer max(all_results, keylambda x: x[“confidence”]) return { “problem”: problem, “final_hypothesis”: final_answer[“hypothesis”], “confidence”: final_answer[“confidence”], “supporting_evidence”: final_answer[“output”], “total_iterations”: self.max_iterations, “all_results”: all_results } else: return { “problem”: problem, “final_hypothesis”: “MDA流程未能产生有效假设。”, “confidence”: 0.0, “supporting_evidence”: “”, “total_iterations”: 0, “all_results”: [] } # 在文件末尾添加sys导入供run_experiment_safely使用 import sys4.2 准备测试问题并运行Agent创建一个简单的测试脚本run_demo.py。# run_demo.py from mda_agent import MDA_Agent import json def main(): # 初始化Agent使用gpt-3.5-turbo以降低成本效果尚可 agent MDA_Agent(model“gpt-3.5-turbo”, max_hypotheses3, max_iterations3) # 测试问题一个简单的代数问题 problem “如果一个正方形的面积是边长的平方且一个正方形的面积是36平方厘米它的边长是多少厘米” # 更复杂的问题示例 # problem “已知直角三角形两条直角边分别为3和4求斜边的长度。” # problem “解方程x^2 - 5x 6 0” print(“”*50) result agent.solve(problem) print(“\n” “”*50) print(“MDA求解完成”) print(f“问题{result[‘problem’]}”) print(f“最终采纳的假设{result[‘final_hypothesis’]}”) print(f“置信度{result[‘confidence’]:.2f}”) print(f“支持证据{result[‘supporting_evidence’]}”) print(f“总迭代轮次{result[‘total_iterations’]}”) # 可选保存详细结果 with open(‘mda_result.json’, ‘w’, encoding‘utf-8’) as f: json.dump(result, f, ensure_asciiFalse, indent2) print(“详细结果已保存至 mda_result.json”) if __name__ “__main__”: main()4.3 运行与结果分析在终端中运行脚本python run_demo.py预期输出示例简化开始解决MDA问题如果一个正方形的面积是边长的平方且一个正方形的面积是36平方厘米它的边长是多少厘米 第 1 轮迭代 假设 1: 边长等于面积的平方根。 状态实验支持 置信度0.90 输出True... 假设 2: 边长等于面积除以4。 状态实验否定 置信度0.20 输出False... 假设 3: 边长等于面积除以2再开方。 状态实验否定 置信度0.20 输出False... 在第1轮找到高置信度假设停止迭代。 MDA求解完成 问题如果一个正方形的面积是边长的平方且一个正方形的面积是36平方厘米它的边长是多少厘米 最终采纳的假设边长等于面积的平方根。 置信度0.90 支持证据True 总迭代轮次1在这个例子中MDA流程在第一轮就通过实验验证了“边长等于面积的平方根”这个假设输出True并否定了其他错误假设从而快速收敛到正确答案6厘米。对于更复杂的问题可能需要多轮迭代来精炼假设。5. 关键问题与排查思路在实际实现和应用MDA时你会遇到一些典型问题。问题现象可能原因排查与解决思路假设缺乏多样性提示词温度temperature设置过低问题本身限制性强。1. 在generate_hypotheses阶段提高temperature如0.8-1.0。2. 在提示词中明确要求“截然不同”、“从不同角度出发”。3. 使用不同的模型或系统提示词。实验代码无法执行或报错LLM生成的代码存在语法错误使用了未允许的库或函数实验设计逻辑与问题不匹配。1.安全第一在生产环境中使用Docker沙箱或受限的代码执行服务如E2B, Replit等。2.增强提示在design_experiment的提示词中更严格地限定可用的库和函数。3.添加后处理对生成的代码进行简单的语法检查或使用LLM进行修复。4.捕获并记录错误将错误信息反馈给评估环节降低该假设的置信度。置信度评估不准简单的字符串匹配如检查“True”无法应对复杂的输出。1.更复杂的评估器使用另一个LLM调用来分析实验输出与假设的一致性。2.量化评估对于数学问题比较数值结果的误差范围。3.多证据融合结合多轮、多个实验的结果进行综合评估。迭代无法收敛假设始终无法被有效验证或证伪问题超出模型能力范围。1.设置迭代上限避免无限循环。2.引入外部知识当实验多次失败后允许LLM查询知识库或进行链式思考。3.问题分解将复杂问题拆解成子问题对子问题应用MDA。API调用成本与延迟高每轮迭代涉及多次LLM调用生成假设、设计实验、精炼假设。1.使用小型/廉价模型对于假设生成和实验设计gpt-3.5-turbo通常足够。2.缓存结果对相同的问题和假设缓存实验代码和结果。3.并行化同一轮中的多个假设生成和实验设计可以并行调用API。安全问题执行不可信的模型生成代码。这是最高优先级风险。必须1.使用强隔离沙箱如Docker容器严格限制资源、网络和文件系统访问。2.白名单机制只允许导入特定的、安全的库如本例中的sympy。3.代码静态分析在运行前扫描代码中的危险操作如os.system,__import__, 文件操作。4.考虑替代方案对于非代码实验如逻辑推导用自然语言推理代替代码执行。6. 最佳实践与工程建议要将MDA从演示原型发展为可靠系统需要遵循以下工程实践1. 提示词工程标准化模块化提示词将系统指令、示例Few-Shot、输出格式要求清晰分离便于维护和A/B测试。结构化输出强制要求LLM以JSON、YAML或特定分隔符格式输出便于程序化解析避免使用脆弱的字符串解析。思维链集成在生成假设和设计实验的步骤中可以要求LLM先输出推理过程Chain-of-Thought这能提高生成内容的质量和可控性。2. 构建健壮的实验执行环境沙箱化这是非可选的安全要求。使用如piston开源、E2B、Replit的容器化代码执行API或自行构建Docker沙箱。超时与资源限制为每个实验设置严格的CPU时间、内存和运行时间限制。结果标准化设计实验时就要求其输出必须是结构化的如{“result”: 6, “unit”: “cm”}便于评估器解析。3. 设计科学的评估与决策机制多维度评分不要只依赖一个置信度分数。可以设计多个评估器代码执行成功率、结果与问题的逻辑一致性由另一个LLM判断、数值精度等然后加权综合。早停机制如示例所示一旦出现高置信度结果如0.95或所有假设都被证伪可以提前结束迭代节省成本。不确定性处理当多轮迭代后置信度仍然不高时系统应能输出“无法确定”并列出所有探索过的路径和证据而不是强行给出一个可能错误的答案。4. 系统监控与可解释性完整日志记录每一轮每一个假设的生成内容、实验代码、执行输出、评估分数。这对于调试和优化流程至关重要。可视化追踪对于复杂问题可以生成MDA推理路径图展示假设是如何被生成、验证、淘汰或精炼的极大增强系统的可解释性。性能指标追踪平均迭代次数、假设生成质量如多样性、可验证性、实验成功率、最终答案准确率以及每次查询的Token消耗和延迟。5. 领域适配与扩展超越数学问题MDA的思想可以应用于代码调试生成bug假设并运行测试、科学问答生成理论假设并查询知识库、商业分析生成市场趋势假设并查找数据支持等。混合推理模式将MDA与检索增强生成RAG结合。在生成假设时可以检索相关文档作为依据在设计实验时可以检索相关的API文档或代码示例。多智能体协作可以实例化多个具有不同角色的Agent如“假设提出者”、“实验批判者”、“证据评估者”让它们通过辩论或投票来推进推理这模拟了真实的科研协作过程。MDA框架展示了通过结构化、迭代式的“假设-验证”循环来增强LLM推理能力的强大潜力。它不仅仅是一个技巧更是一种将LLM视为可编程推理组件的范式转变。实现一个健壮的MDA系统需要仔细的提示词设计、安全的代码执行环境和科学的评估策略。尽管当前示例较为简单但以此为起点开发者可以将其扩展到更复杂的领域构建出能够进行深度探索和验证的下一代AI应用。 MDA技术：让大语言模型像科学家一样思考与验证
在推理任务中我们常常希望大语言模型LLM不仅能给出答案还能像科学家一样提出假设、设计实验并验证。近期一项名为“MDA”的技术通过让LLM主动提出假设并进行多轮实验验证在特定基准测试中仅用8次实验就达到了与Claude 3 Opus模型相当的性能。这为资源受限下的高效推理开辟了新路径。本文将深入拆解MDA多假设演绎推理的核心思想、实现原理并提供一个完整的代码实战案例帮助开发者理解如何将这一前沿方法应用到自己的LLM项目中。1. 背景与核心概念从被动问答到主动科学推理传统的LLM应用模式无论是Few-Shot Prompting还是Chain-of-Thought本质上仍是一种“被动响应”。用户提供一个问题和上下文模型基于其庞大的参数化知识生成一个答案流。这种方式在知识检索和简单推理上表现优异但在解决需要探索多种可能性、进行系统性验证的复杂问题时往往力不从心。模型可能会固守其首次生成的、可能错误的推理路径。MDAMulti-hypothesis Deductive Reasoning多假设演绎推理正是为了解决这一问题而生。它受启发于科学方法论面对一个未知问题科学家会先提出多个可能的假设Hypotheses然后设计实验来逐一验证或证伪这些假设最终收敛到最合理的解释。在LLM语境下MDA框架的核心流程可以概括为假设生成针对给定的问题引导LLM生成多个通常为4-8个不同的、潜在的解决方案或推理路径即“假设”。实验设计针对每个假设LLM需要设计一个可以验证该假设是否成立的“实验”。这个“实验”通常是一个可执行的代码片段、一个逻辑推导步骤或一个可查询的子问题。实验执行与验证系统或LLM自身执行这些“实验”并观察结果。结果用于评估每个假设的可信度。假设精炼与迭代根据实验结果淘汰被证伪的假设修正或合并剩余的假设并可能生成新的假设。重复步骤2-4直到达到预设的迭代次数或某个假设被确认为高置信度答案。最终答案合成基于多轮迭代中积累的证据合成一个最终的、经过验证的答案。这项技术的意义在于它将LLM从一个“静态的知识库模式匹配器”转变为一个“动态的假设生成与验证引擎”。根据相关研究在FORCEBENCH等需要多步数学和科学推理的基准测试上采用MDA策略的较小模型如GPT-4通过8轮假设-实验循环其表现可以追平甚至在某些任务上超越直接使用Claude 3 Opus这类顶级但昂贵的模型。这体现了“用算法和策略弥补模型规模”的潜力。2. 环境准备与版本说明为了实战演示MDA的实现我们需要一个能够执行代码以验证假设的环境。这里我们选择Python并利用OpenAI API或兼容API作为LLM引擎。你也可以替换为其他支持函数调用或代码执行能力的模型。基础环境操作系统Windows 10/11, macOS, 或 Linux (Ubuntu 20.04)。本文示例在macOS/Linux环境下测试。Python版本 3.8。确保pip可用。核心Python库我们将使用openai库与模型交互sympy库用于执行符号数学计算以验证假设这是一个常见的“实验”场景。# 创建并进入项目目录 mkdir mda_demo cd mda_demo # 创建虚拟环境推荐 python3 -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate # 安装依赖库 pip install openai sympyAPI密钥配置你需要一个OpenAI API密钥。请将其设置为环境变量不要在代码中硬编码。# 在终端中设置环境变量临时 export OPENAI_API_KEYyour-api-key-here # Windows: set OPENAI_API_KEYyour-api-key-here项目结构mda_demo/ ├── venv/ # Python虚拟环境可忽略 ├── mda_agent.py # MDA代理核心实现 ├── math_problem.json # 示例问题集 └── README.md3. MDA核心原理与组件拆解在编码之前我们需要将MDA流程中的抽象概念转化为具体的程序组件。一个简单的MDA系统通常包含以下几个模块3.1 假设生成器 (Hypothesis Generator)它的职责是接收问题并生成N个不同的、具体的假设。提示词设计是关键需要鼓励多样性和可验证性。提示词示例你是一个科学家正在解决以下问题 问题{problem} 请列出3个截然不同的、具体的假设或解题思路。每个假设应该是一个可以设计实验来验证的明确陈述。 格式要求 假设1: [具体描述] 假设2: [具体描述] 假设3: [具体描述]3.2 实验设计师 (Experiment Designer)针对一个给定的假设设计一个可执行的“实验”来验证它。对于数学问题实验可能就是一段计算代码对于逻辑问题可能是一系列推理步骤。提示词示例针对以下问题和假设请设计一个Python代码片段使用sympy库作为实验来验证这个假设是否成立。 问题{problem} 假设{hypothesis} 请只输出完整的、可独立运行的Python代码代码的最后应该打印出验证结果True/False或具体数值。3.3 实验执行器 (Experiment Executor)这是一个纯粹的代码执行环境。它接收实验设计师生成的代码在一个安全的沙箱或简单的exec环境中生产环境需极度谨慎中运行并捕获输出和错误。关键安全考虑绝对不能在未加严格限制的环境中直接exec用户或模型生成的代码。本例出于演示目的在受控环境下运行简单数学代码。真实系统应使用Docker沙箱、受限的eval或专门的代码执行API。3.4 假设评估与精炼器 (Hypothesis Evaluator Refiner)根据实验执行的结果评估每个假设的可信度。被证伪的假设被淘汰未被证伪的假设得以保留并可能根据实验结果进行精炼或用于生成新的假设。流程控制系统需要管理多轮迭代。一个简单的策略是每轮保留前K个例如置信度最高的2个假设基于它们和已有证据让LLM生成下一轮的假设。4. 完整实战案例实现一个数学问题MDA求解器让我们实现一个针对初中/高中数学问题的MDA求解器。我们将问题限定在可以通过sympy符号计算验证的范围内。4.1 定义问题与MDA Agent类首先我们创建一个MDA_Agent类来封装整个流程。# mda_agent.py import openai import json import sympy from sympy import symbols, Eq, solve, simplify, sqrt import os from typing import List, Dict, Any, Tuple class MDA_Agent: def __init__(self, model: str gpt-4, max_hypotheses: int 3, max_iterations: int 4): 初始化MDA代理。 Args: model: 使用的LLM模型名称。 max_hypotheses: 每轮生成的最大假设数量。 max_iterations: 最大迭代轮次。 self.client openai.OpenAI(api_keyos.getenv(OPENAI_API_KEY)) self.model model self.max_hypotheses max_hypotheses self.max_iterations max_iterations self.conversation_history [] # 可选用于记录对话辅助精炼 def generate_hypotheses(self, problem: str) - List[str]: 根据问题生成初始假设列表。 prompt f你是一个优秀的数学问题解决者。请针对下面的问题提出{self.max_hypotheses}个不同的、具体的解题假设或思路。每个假设应该是一个清晰的、可以用数学计算或逻辑推导验证的陈述。 问题{problem} 请严格按照以下格式输出每个假设占一行 假设1: [你的第一个假设] 假设2: [你的第二个假设] 假设3: [你的第三个假设] try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperature0.8, # 稍高的温度鼓励多样性 max_tokens500 ) content response.choices[0].message.content.strip() # 简单解析输出提取假设文本 hypotheses [] for line in content.split(\n): if line.startswith((假设, Hypothesis)) and : in line: hyp line.split(:, 1)[1].strip() if hyp: hypotheses.append(hyp) # 如果解析失败退回一个简单假设 if not hypotheses: hypotheses [f“直接求解问题{problem}”] return hypotheses[:self.max_hypotheses] except Exception as e: print(f“生成假设时出错{e}”) return [f“备用假设应用标准方法求解 {problem}”] def design_experiment(self, problem: str, hypothesis: str) - str: 为给定的问题和假设设计一个验证实验Python代码。 prompt f请设计一个Python实验来验证下面的假设。你只能使用sympy库进行符号数学计算。 问题{problem} 待验证的假设{hypothesis} 你的任务是生成一个单一的、完整的Python代码片段。这个代码应该 1. 定义必要的符号变量。 2. 根据问题和假设实现逻辑或计算。 3. 最终通过打印print输出一个明确的验证结果。结果应该是布尔值True/False或一个关键数值/等式。 4. 代码必须能独立运行不依赖外部输入。 只输出代码不要有任何额外的解释、描述或Markdown代码块标记。 try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperature0.2, # 低温度保证代码稳定性 max_tokens800 ) code response.choices[0].message.content.strip() # 清理可能的markdown代码块标记 if code.startswith(python): code code[10:] if code.startswith(): code code[3:] if code.endswith(): code code[:-3] return code.strip() except Exception as e: print(f“设计实验时出错{e}”) return “print(‘实验设计失败’)” def run_experiment_safely(self, code: str) - Tuple[str, bool]: 在受限环境中运行实验代码。警告此方法仅用于演示存在安全风险。 # 这是一个极度简化的“安全”环境。真实应用必须使用沙箱。 allowed_globals {‘__builtins__’: None} allowed_locals { ‘sympy’: sympy, ‘symbols’: symbols, ‘Eq’: Eq, ‘solve’: solve, ‘simplify’: simplify, ‘sqrt’: sqrt, ‘print’: print } try: # 重定向print输出到字符串 import io old_stdout sys.stdout sys.stdout io.StringIO() # 执行代码 exec(code, allowed_globals, allowed_locals) output sys.stdout.getvalue() sys.stdout old_stdout return output, True except Exception as e: return f“实验执行错误{e}”, False def evaluate_hypothesis(self, problem: str, hypothesis: str, experiment_output: str, success: bool) - Dict[str, Any]: 根据实验输出评估假设的可信度。 if not success: return {“hypothesis”: hypothesis, “confidence”: 0.1, “status”: “实验失败”, “output”: experiment_output} # 简单启发式评估检查输出中是否包含“True“、等式成立、或特定成功关键词 output_lower experiment_output.lower() confidence 0.5 # 基础置信度 status “待定” if “true” in output_lower and “false” not in output_lower: confidence 0.9 status “实验支持” elif “false” in output_lower: confidence 0.2 status “实验否定” elif “error” not in output_lower and len(experiment_output.strip()) 0: # 如果有非错误输出给予中等置信度 confidence 0.7 status “有输出证据” return { “hypothesis”: hypothesis, “confidence”: confidence, “status”: status, “output”: experiment_output.strip()[:500] # 截断长输出 } def refine_and_iterate(self, problem: str, evaluated_hypotheses: List[Dict[str, Any]], iteration: int) - List[str]: 基于评估结果精炼或生成下一轮的假设。 if iteration self.max_iterations: return [] # 选择置信度最高的两个假设作为种子 top_hyps sorted(evaluated_hypotheses, keylambda x: x[“confidence”], reverseTrue)[:2] seed_info “\n”.join([f“- {h[‘hypothesis’]} (置信度{h[‘confidence’]:.2f}, 状态{h[‘status’]})” for h in top_hyps]) prompt f我们正在尝试解决问题{problem} 经过第{iteration}轮实验我们获得了以下最有希望的假设和结果 {seed_info} 请基于以上信息提出{self.max_hypotheses}个新的或精炼后的假设用于下一轮验证。这些假设应该更具体或能解决上一轮实验中发现的不确定性。 请直接输出新的假设列表格式如下 新假设1: [描述] 新假设2: [描述] 新假设3: [描述] try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperature0.7, max_tokens600 ) content response.choices[0].message.content.strip() new_hypotheses [] for line in content.split(‘\n’): if line.startswith((‘新假设’, ‘Hypothesis’)) and ‘:’ in line: hyp line.split(‘:’, 1)[1].strip() if hyp: new_hypotheses.append(hyp) return new_hypotheses if new_hypotheses else [h[“hypothesis”] for h in top_hyps] # 退回使用原假设 except Exception as e: print(f“精炼假设时出错{e}”) return [] def solve(self, problem: str) - Dict[str, Any]: 执行完整的MDA流程解决问题。 import sys global sys # 用于run_experiment_safely中的重定向 print(f“开始解决MDA问题{problem}”) all_results [] current_hypotheses self.generate_hypotheses(problem) for iteration in range(self.max_iterations): print(f“\n 第 {iteration 1} 轮迭代 ) round_results [] for i, hyp in enumerate(current_hypotheses): print(f“\n 假设 {i1}: {hyp}”) # 1. 设计实验 experiment_code self.design_experiment(problem, hyp) # print(f“生成的实验代码\n{experiment_code}”) # 调试用 # 2. 运行实验 output, success self.run_experiment_safely(experiment_code) # 3. 评估假设 eval_result self.evaluate_hypothesis(problem, hyp, output, success) round_results.append(eval_result) print(f“ 状态{eval_result[‘status’]}, 置信度{eval_result[‘confidence’]:.2f}”) if eval_result[‘output’]: print(f“ 输出{eval_result[‘output’][:100]}...”) all_results.extend(round_results) # 4. 判断是否已有高置信度结果 high_confidence [r for r in round_results if r[“confidence”] 0.85] if high_confidence: print(f“\n在第{iteration1}轮找到高置信度假设停止迭代。”) final_answer max(high_confidence, keylambda x: x[“confidence”]) return { “problem”: problem, “final_hypothesis”: final_answer[“hypothesis”], “confidence”: final_answer[“confidence”], “supporting_evidence”: final_answer[“output”], “total_iterations”: iteration 1, “all_results”: all_results } # 5. 精炼假设准备下一轮 current_hypotheses self.refine_and_iterate(problem, round_results, iteration1) if not current_hypotheses: print(“未能生成新的假设停止迭代。”) break # 迭代结束选择置信度最高的作为最终答案 if all_results: final_answer max(all_results, keylambda x: x[“confidence”]) return { “problem”: problem, “final_hypothesis”: final_answer[“hypothesis”], “confidence”: final_answer[“confidence”], “supporting_evidence”: final_answer[“output”], “total_iterations”: self.max_iterations, “all_results”: all_results } else: return { “problem”: problem, “final_hypothesis”: “MDA流程未能产生有效假设。”, “confidence”: 0.0, “supporting_evidence”: “”, “total_iterations”: 0, “all_results”: [] } # 在文件末尾添加sys导入供run_experiment_safely使用 import sys4.2 准备测试问题并运行Agent创建一个简单的测试脚本run_demo.py。# run_demo.py from mda_agent import MDA_Agent import json def main(): # 初始化Agent使用gpt-3.5-turbo以降低成本效果尚可 agent MDA_Agent(model“gpt-3.5-turbo”, max_hypotheses3, max_iterations3) # 测试问题一个简单的代数问题 problem “如果一个正方形的面积是边长的平方且一个正方形的面积是36平方厘米它的边长是多少厘米” # 更复杂的问题示例 # problem “已知直角三角形两条直角边分别为3和4求斜边的长度。” # problem “解方程x^2 - 5x 6 0” print(“”*50) result agent.solve(problem) print(“\n” “”*50) print(“MDA求解完成”) print(f“问题{result[‘problem’]}”) print(f“最终采纳的假设{result[‘final_hypothesis’]}”) print(f“置信度{result[‘confidence’]:.2f}”) print(f“支持证据{result[‘supporting_evidence’]}”) print(f“总迭代轮次{result[‘total_iterations’]}”) # 可选保存详细结果 with open(‘mda_result.json’, ‘w’, encoding‘utf-8’) as f: json.dump(result, f, ensure_asciiFalse, indent2) print(“详细结果已保存至 mda_result.json”) if __name__ “__main__”: main()4.3 运行与结果分析在终端中运行脚本python run_demo.py预期输出示例简化开始解决MDA问题如果一个正方形的面积是边长的平方且一个正方形的面积是36平方厘米它的边长是多少厘米 第 1 轮迭代 假设 1: 边长等于面积的平方根。 状态实验支持 置信度0.90 输出True... 假设 2: 边长等于面积除以4。 状态实验否定 置信度0.20 输出False... 假设 3: 边长等于面积除以2再开方。 状态实验否定 置信度0.20 输出False... 在第1轮找到高置信度假设停止迭代。 MDA求解完成 问题如果一个正方形的面积是边长的平方且一个正方形的面积是36平方厘米它的边长是多少厘米 最终采纳的假设边长等于面积的平方根。 置信度0.90 支持证据True 总迭代轮次1在这个例子中MDA流程在第一轮就通过实验验证了“边长等于面积的平方根”这个假设输出True并否定了其他错误假设从而快速收敛到正确答案6厘米。对于更复杂的问题可能需要多轮迭代来精炼假设。5. 关键问题与排查思路在实际实现和应用MDA时你会遇到一些典型问题。问题现象可能原因排查与解决思路假设缺乏多样性提示词温度temperature设置过低问题本身限制性强。1. 在generate_hypotheses阶段提高temperature如0.8-1.0。2. 在提示词中明确要求“截然不同”、“从不同角度出发”。3. 使用不同的模型或系统提示词。实验代码无法执行或报错LLM生成的代码存在语法错误使用了未允许的库或函数实验设计逻辑与问题不匹配。1.安全第一在生产环境中使用Docker沙箱或受限的代码执行服务如E2B, Replit等。2.增强提示在design_experiment的提示词中更严格地限定可用的库和函数。3.添加后处理对生成的代码进行简单的语法检查或使用LLM进行修复。4.捕获并记录错误将错误信息反馈给评估环节降低该假设的置信度。置信度评估不准简单的字符串匹配如检查“True”无法应对复杂的输出。1.更复杂的评估器使用另一个LLM调用来分析实验输出与假设的一致性。2.量化评估对于数学问题比较数值结果的误差范围。3.多证据融合结合多轮、多个实验的结果进行综合评估。迭代无法收敛假设始终无法被有效验证或证伪问题超出模型能力范围。1.设置迭代上限避免无限循环。2.引入外部知识当实验多次失败后允许LLM查询知识库或进行链式思考。3.问题分解将复杂问题拆解成子问题对子问题应用MDA。API调用成本与延迟高每轮迭代涉及多次LLM调用生成假设、设计实验、精炼假设。1.使用小型/廉价模型对于假设生成和实验设计gpt-3.5-turbo通常足够。2.缓存结果对相同的问题和假设缓存实验代码和结果。3.并行化同一轮中的多个假设生成和实验设计可以并行调用API。安全问题执行不可信的模型生成代码。这是最高优先级风险。必须1.使用强隔离沙箱如Docker容器严格限制资源、网络和文件系统访问。2.白名单机制只允许导入特定的、安全的库如本例中的sympy。3.代码静态分析在运行前扫描代码中的危险操作如os.system,__import__, 文件操作。4.考虑替代方案对于非代码实验如逻辑推导用自然语言推理代替代码执行。6. 最佳实践与工程建议要将MDA从演示原型发展为可靠系统需要遵循以下工程实践1. 提示词工程标准化模块化提示词将系统指令、示例Few-Shot、输出格式要求清晰分离便于维护和A/B测试。结构化输出强制要求LLM以JSON、YAML或特定分隔符格式输出便于程序化解析避免使用脆弱的字符串解析。思维链集成在生成假设和设计实验的步骤中可以要求LLM先输出推理过程Chain-of-Thought这能提高生成内容的质量和可控性。2. 构建健壮的实验执行环境沙箱化这是非可选的安全要求。使用如piston开源、E2B、Replit的容器化代码执行API或自行构建Docker沙箱。超时与资源限制为每个实验设置严格的CPU时间、内存和运行时间限制。结果标准化设计实验时就要求其输出必须是结构化的如{“result”: 6, “unit”: “cm”}便于评估器解析。3. 设计科学的评估与决策机制多维度评分不要只依赖一个置信度分数。可以设计多个评估器代码执行成功率、结果与问题的逻辑一致性由另一个LLM判断、数值精度等然后加权综合。早停机制如示例所示一旦出现高置信度结果如0.95或所有假设都被证伪可以提前结束迭代节省成本。不确定性处理当多轮迭代后置信度仍然不高时系统应能输出“无法确定”并列出所有探索过的路径和证据而不是强行给出一个可能错误的答案。4. 系统监控与可解释性完整日志记录每一轮每一个假设的生成内容、实验代码、执行输出、评估分数。这对于调试和优化流程至关重要。可视化追踪对于复杂问题可以生成MDA推理路径图展示假设是如何被生成、验证、淘汰或精炼的极大增强系统的可解释性。性能指标追踪平均迭代次数、假设生成质量如多样性、可验证性、实验成功率、最终答案准确率以及每次查询的Token消耗和延迟。5. 领域适配与扩展超越数学问题MDA的思想可以应用于代码调试生成bug假设并运行测试、科学问答生成理论假设并查询知识库、商业分析生成市场趋势假设并查找数据支持等。混合推理模式将MDA与检索增强生成RAG结合。在生成假设时可以检索相关文档作为依据在设计实验时可以检索相关的API文档或代码示例。多智能体协作可以实例化多个具有不同角色的Agent如“假设提出者”、“实验批判者”、“证据评估者”让它们通过辩论或投票来推进推理这模拟了真实的科研协作过程。MDA框架展示了通过结构化、迭代式的“假设-验证”循环来增强LLM推理能力的强大潜力。它不仅仅是一个技巧更是一种将LLM视为可编程推理组件的范式转变。实现一个健壮的MDA系统需要仔细的提示词设计、安全的代码执行环境和科学的评估策略。尽管当前示例较为简单但以此为起点开发者可以将其扩展到更复杂的领域构建出能够进行深度探索和验证的下一代AI应用。