文章核心内容与创新点总结一、主要内容本文针对大型语言模型（LLMs）依赖人工提示词工程的痛点，提出了一种基于集成学习的提示词优化框架（ELPO），用于解决自动提示词优化（APO）领域中现有方法依赖单一算法、搜索效率低、鲁棒性不足等问题。核心背景LLMs的性能高度依赖精心设计的提示词，但人工提示词工程耗时费力，且模型对提示词的微小变化极为敏感，限制了实际应用。现有APO方法（如进化算法、强化学习、反馈驱动等）存在局限性：依赖单一优化策略导致泛化能力弱、搜索过程无方向浪费资源、忽视历史反馈信息等。框架结构ELPO通过三大核心模块实现高效、鲁棒的提示词优化：丰富提示词生成：结合三种生成策略，确保候选提示词的多样性与质量坏例反思（Bad-Case Reflection）：分析错误案例根源，生成反思性提示词并融入少样本示例；进化反思（Evolutionary Reflection）：借鉴遗传算法的变异和交叉操作，生成语义相似或创新的提示词；难例追踪（Hard-Case Tracking）：维护全局错误模式视图，利用LLM的推理能力动态优化高频错误相关提示词。高效提示词搜索：融合贝叶斯搜索与多臂老虎机（MAB）策略，在减少LLM API调用成本的同时精准筛选高潜
文章核心内容与创新点总结一、主要内容本文针对大型语言模型（LLMs）依赖人工提示词工程的痛点，提出了一种基于集成学习的提示词优化框架（ELPO），用于解决自动提示词优化（APO）领域中现有方法依赖单一算法、搜索效率低、鲁棒性不足等问题。核心背景LLMs的性能高度依赖精心设计的提示词，但人工提示词工程耗时费力，且模型对提示词的微小变化极为敏感，限制了实际应用。现有APO方法（如进化算法、强化学习、反馈驱动等）存在局限性：依赖单一优化策略导致泛化能力弱、搜索过程无方向浪费资源、忽视历史反馈信息等。框架结构ELPO通过三大核心模块实现高效、鲁棒的提示词优化：丰富提示词生成：结合三种生成策略，确保候选提示词的多样性与质量坏例反思（Bad-Case Reflection）：分析错误案例根源，生成反思性提示词并融入少样本示例；进化反思（Evolutionary Reflection）：借鉴遗传算法的变异和交叉操作，生成语义相似或创新的提示词；难例追踪（Hard-Case Tracking）：维护全局错误模式视图，利用LLM的推理能力动态优化高频错误相关提示词。高效提示词搜索：融合贝叶斯搜索与多臂老虎机（MAB）策略，在减少LLM API调用成本的同时精准筛选高潜
)
