尧图网站建设 
Haystack AIMLAPIChatGenerator 集成指南通过 AIMLAPI 统一网关调用多厂商大模型【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystackAIMLAPIChatGenerator 是 Haystack 生态中面向 AIMLAPI统一的多厂商大模型 API 网关的聊天生成组件让开发者用一个 API Key 即可在同一套 Pipeline 中切换或混用 OpenAI、Anthropic 等多个提供商的模型。读完本文你将掌握该组件的安装、初始化参数、认证方式、结构化输出、函数调用、流式输出以及 Pipeline/Agent 集成等完整实战用法并理解其基于OpenAIChatGenerator的底层实现原理。组件概览一个组件多家模型AIMLAPIChatGenerator的 API 参考定义于仓库的 version-2.18 集成参考文档它通过 AIMLAPI 的 chat completion 端点启用基于 AI 模型的文本生成。其核心定位与特性如下主兼容性Primary Compatibility与 AIMLAPI 的 chat completion 端点无缝协作流式支持Streaming Support支持从 AIMLAPI chat completion 端点流式接收响应高可定制性Customizability支持 AIMLAPI chat completion 端点支持的全部参数。从源码结构看参考文档标注其基类为OpenAIChatGenerator对应实现在 haystack/components/generators/chat/openai.py该组件是一个 OpenAI 兼容的聊天生成器它以 OpenAI Python 客户端为底层通过将api_base_url指向 AIMLAPI 端点来适配统一网关。这意味着 AIMLAPI 支持的所有模型标识如openai/gpt-5-chat-latest、anthropic/claude-3-5-sonnet都能用同一个组件与同一套初始化逻辑驱动。该组件输入输出均采用ChatMessage格式即消息内容加角色user/assistant/system/tool及可选元数据确保聊天生成场景下上下文连贯、语义相关。ChatMessage数据类的完整说明可参见 chatmessage 概念文档 与仓库实现 haystack/dataclasses/chat_message.py。安装与导入AIMLAPIChatGenerator位于独立的集成包aimlapi-haystack中属于 Haystack 的 core-integrations 仓库不在本仓库源码内安装命令如下pip install aimlapi-haystack导入路径为from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator快速开始最小可用示例参考文档给出了一个最小示例构造一条用户消息直接调用组件并打印回复from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator from haystack.dataclasses import ChatMessage messages [ChatMessage.from_user(Whats Natural Language Processing?)] client AIMLAPIChatGenerator(modelopenai/gpt-5-chat-latest) response client.run(messages) print(response) {replies: [ChatMessage(_contentNatural Language Processing (NLP) is a branch of artificial intelligence that focuses on enabling computers to understand, interpret, and generate human language in a way that is meaningful and useful., _roleChatRole.ASSISTANT: assistant, _nameNone, _meta{model: openai/gpt-5-chat-latest, index: 0, finish_reason: stop, usage: {prompt_tokens: 15, completion_tokens: 36, total_tokens: 51}})]}返回的字典中replies是一组ChatMessage每条消息的_meta记录了所用model、index、finish_reason如stop以及 token 用量统计prompt_tokens、completion_tokens、total_tokens。初始化参数详解参考文档给出了完整的__init__签名__init__( *, api_key: Secret Secret.from_env_var(AIMLAPI_API_KEY), model: str openai/gpt-5-chat-latest, streaming_callback: StreamingCallbackT | None None, api_base_url: str | None https://api.aimlapi.com/v1, generation_kwargs: dict[str, Any] | None None, tools: ToolsType | None None, timeout: float | None None, extra_headers: dict[str, Any] | None None, max_retries: int | None None, http_client_kwargs: dict[str, Any] | None None ) - None参数说明表参数类型默认值说明api_keySecretSecret.from_env_var(AIMLAPI_API_KEY)AIMLAPI API Key推荐通过环境变量注入modelstropenai/gpt-5-chat-latest使用的 AIMLAPI chat completion 模型名除非显式指定默认即此模型streaming_callbackStreamingCallbackT \| NoneNone流式回调函数收到新 token 时被调用回调接收StreamingChunk参数api_base_urlstr \| Nonehttps://api.aimlapi.com/v1AIMLAPI API 基础 URLgeneration_kwargsdict[str, Any] \| NoneNone直接透传给 AIMLAPI 端点的模型参数详见下文toolsToolsType \| NoneNone供模型准备调用的工具可接受Tool对象列表或单个Toolset实例timeoutfloat \| NoneNoneAIMLAPI API 调用的超时时间extra_headersdict[str, Any] \| NoneNone附加到请求中的 HTTP 头max_retriesint \| None见说明内部错误后重试 AIMLAPI 的最大次数未设置时优先读取AIMLAPI_MAX_RETRIES环境变量否则默认 5http_client_kwargsdict[str, Any] \| NoneNone用于配置自定义httpx.Client或httpx.AsyncClient的关键字参数字典generation_kwargs 常用参数参考文档明确说明generation_kwargs中的参数会原样发送到 AIMLAPI 端点可以在__init__初始化时传入也可以在run()调用时传入。常用参数包括max_tokens输出文本允许的最大 token 数temperature采样温度。值越大模型越冒险。创造性任务可尝试 0.9答案明确的任务建议 0argmax 采样top_p核采样nucleus sampling模型只考虑累积概率质量达到top_p的 token。例如 0.1 表示只考虑概率质量前 10% 的 tokenstream是否流式返回部分进度。开启后 token 以>from pydantic import BaseModel from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator class CityInfo(BaseModel): city_name: str country: str population: int famous_for: str client AIMLAPIChatGenerator( modelopenai/gpt-4o-2024-08-06, generation_kwargs{response_format: CityInfo} ) response client.run( messages[ ChatMessage.from_user( Berlin is the capital and largest city of Germany with a population of approximately 3.7 million. Its famous for its history, culture, and nightlife. ) ] ) print(response[replies][0].text) # {city_name:Berlin,country:Germany,population:3700000, # famous_for:history, culture, and nightlife}注意结构化输出支持取决于底层模型。OpenAI 系模型自gpt-4o-2024-08-06起支持 Pydantic 模型与 JSON Schema具体兼容性请查阅对应模型提供商的文档。该能力的底层逻辑可以在基类OpenAIChatGenerator的序列化实现中找到印证在 openai.py 的 to_dict 实现 中若response_format是BaseModel子类会通过to_strict_json_schema将其转换为 OpenAI 的 json_schema 格式若本身已是 JSON Schema 则原样保留。工具调用Tool / Toolset 灵活混用组件通过tools参数支持函数调用function calling接受三种形态Tool 对象列表逐个传入独立工具单个 Toolset直接传入整个 ToolsetTool 与 Toolset 混合在一个列表中同时组合多个 Toolset 与独立工具。from haystack.tools import Tool, Toolset from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator # 创建独立工具 weather_tool Tool( nameweather, descriptionGet weather info, parameters..., function... ) news_tool Tool( namenews, descriptionGet latest news, parameters..., function... ) # 将相关工具分组为 toolset math_toolset Toolset([add_tool, subtract_tool, multiply_tool]) # 混合传入 toolset 与独立工具 generator AIMLAPIChatGenerator( tools[math_toolset, weather_tool, news_tool] # Mix of Toolset and Tool objects )在基类实现中openai.py 的__init__tools会被原样保存并在初始化时通过flatten_tools_or_toolsets展平后调用_check_duplicate_tool_names校验工具名是否重复从而保证混合传参时工具命名唯一。Tool与Toolset的完整用法可参考 tool 文档 与 toolset 文档。流式输出将回调函数传给streaming_callback即可启用流式输出。官方推荐直接使用内置的print_streaming_chunk它能把文本 token 与工具事件工具调用、工具结果都格式化打印出来from haystack.components.generators.utils import print_streaming_chunk from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator # 配置流式回调 component AIMLAPIChatGenerator(streaming_callbackprint_streaming_chunk) # 传入消息列表 from haystack.dataclasses import ChatMessage component.run([ChatMessage.from_user(Your question here)])使用注意点流式仅支持单一响应若提供商支持多候选请设置n1每个StreamingChunk只包含四类信息中的一种工具调用tool_calls、工具结果tool_call_result、文本 tokencontent或推理 tokenreasoning可用chunk.start与chunk.finish_reason判断边界除非需要特定传输通道如 SSE/WebSocket或自定义 UI 格式优先使用print_streaming_chunk自定义回调的编写方式可参考 Streaming Support 文档。在 Pipeline 中使用搭配 ChatPromptBuilder 的标准链路AIMLAPIChatGenerator最常见的 Pipeline 位置是在 ChatPromptBuilder 之后将构建好的prompt接到llm.messagesfrom haystack.components.builders import ChatPromptBuilder from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator from haystack.dataclasses import ChatMessage from haystack import Pipeline # 无初始化参数我们不使用任何运行时模板变量 prompt_builder ChatPromptBuilder() llm AIMLAPIChatGenerator() pipe Pipeline() pipe.add_component(prompt_builder, prompt_builder) pipe.add_component(llm, llm) pipe.connect(prompt_builder.prompt, llm.messages) location Berlin messages [ ChatMessage.from_system( Always respond in German even if some input data is in other languages. ), ChatMessage.from_user(Tell me about {{location}}), ] pipe.run( data{ prompt_builder: { template_variables: {location: location}, template: messages, } } )一条 Pipeline 混用多个模型AIMLAPI 统一网关的价值在此充分体现同一个 Pipeline 中可以为不同任务实例化不同模型且只需一份凭据from haystack.components.builders import ChatPromptBuilder from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator from haystack.dataclasses import ChatMessage from haystack import Pipeline prompt_builder ChatPromptBuilder() # 复杂推理用这个模型 reasoning_llm AIMLAPIChatGenerator(modelanthropic/claude-3-5-sonnet) # 简单任务用另一个模型 simple_llm AIMLAPIChatGenerator(modelopenai/gpt-5-chat-latest) pipe Pipeline() pipe.add_component(prompt_builder, prompt_builder) pipe.add_component(reasoning, reasoning_llm) pipe.add_component(simple, simple_llm) # 同一 prompt 分发给两个模型 pipe.connect(prompt_builder.prompt, reasoning.messages) pipe.connect(prompt_builder.prompt, simple.messages) messages [ChatMessage.from_user(Explain quantum computing in simple terms.)] result pipe.run(data{prompt_builder: {template: messages}}) print(Reasoning model:, result[reasoning][replies][0].text) print(Simple model:, result[simple][replies][0].text)与 Agent 配合实现工具调用闭环将生成器与工具一起交给 Haystack 的Agent即可由 Agent 托管完整的工具调用循环from haystack.components.agents import Agent from haystack.dataclasses import ChatMessage from haystack.tools import Tool from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator def weather(city: str) - str: Get weather for a given city. return fThe weather in {city} is sunny and 32°C tool Tool( nameweather, descriptionGet weather for a given city, parameters{ type: object, properties: {city: {type: string}}, required: [city], }, functionweather, ) agent Agent(chat_generatorAIMLAPIChatGenerator(), tools[tool]) result agent.run( messages[ChatMessage.from_user(Whats the weather like in Paris?)] ) print(result[last_message].text) # The weather in Paris is sunny and 32°C.多模态输入选择多模态模型如openai/gpt-4o后可通过ImageContent构造包含图片的消息from haystack.dataclasses import ChatMessage, ImageContent from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator # 使用多模态模型 llm AIMLAPIChatGenerator(modelopenai/gpt-4o) image ImageContent.from_file_path(apple.jpg, detaillow) user_message ChatMessage.from_user( content_parts[What does the image show? Max 5 words., image] ) response llm.run([user_message])[replies][0].text print(response) # Red apple on straw.序列化to_dict参考文档还提供了to_dict方法to_dict() - dict[str, Any]它将组件序列化为字典返回dict[str, Any]用于组件的 YAML/JSON 持久化与反序列化。从基类 openai.py 的 to_dict 实现 可以推断streaming_callback会被serialize_callable序列化generation_kwargs会做拷贝其中response_format若为 Pydantic 模型会被转换为 json_schema 格式从而保证整个组件可安全地存入配置并恢复。底层原理为什么它继承 OpenAIChatGenerator从参考文档声明的Bases: OpenAIChatGenerator和 基类源码 可以梳理出这条实现脉络OpenAIChatGenerator.__init__保存api_key、model、generation_kwargs、tools等全部配置并校验工具名重复warm_up()/warm_up_async()会通过init_http_client(self.http_client_kwargs, ...)构建自定义httpx客户端再用_client_kwargs()组装出OpenAI/AsyncOpenAI客户端——其中base_url即api_base_url这正是 AIMLAPI 端点https://api.aimlapi.com/v1的注入点timeout与max_retries在_client_kwargs中统一解析openai.py 第 216-227 行未显式设置时回退到环境变量与默认值AIMLAPI 场景下即AIMLAPI_MAX_RETRIES默认 5generation_kwargs在run()时与messages一起拼装进 chat completion 请求实现初始化与运行时均可覆盖参数的灵活语义。因此只要 AIMLAPI 网关保持 OpenAI chat completions 协议兼容该组件就能稳定工作并且天然继承了基类的流式、工具调用、结构化输出与同步/异步双客户端能力。总结AIMLAPI 集成让 Haystack 应用获得了一套代码、一个 Key、多厂商模型的能力默认模型openai/gpt-5-chat-latest、默认端点https://api.aimlapi.com/v1配合generation_kwargs的完全透传可以无缝适配 AIMLAPI 上所有兼容模型。无论你是构建单模型聊天应用、多模型混合 Pipeline、结构化数据抽取还是带工具调用的 AgentAPI 参考文档 与 组件使用指南 中的示例均可直接复制运行。【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Haystack AIMLAPIChatGenerator 集成指南：通过 AIMLAPI 统一网关调用多厂商大模型
Haystack AIMLAPIChatGenerator 集成指南通过 AIMLAPI 统一网关调用多厂商大模型【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystackAIMLAPIChatGenerator 是 Haystack 生态中面向 AIMLAPI统一的多厂商大模型 API 网关的聊天生成组件让开发者用一个 API Key 即可在同一套 Pipeline 中切换或混用 OpenAI、Anthropic 等多个提供商的模型。读完本文你将掌握该组件的安装、初始化参数、认证方式、结构化输出、函数调用、流式输出以及 Pipeline/Agent 集成等完整实战用法并理解其基于OpenAIChatGenerator的底层实现原理。组件概览一个组件多家模型AIMLAPIChatGenerator的 API 参考定义于仓库的 version-2.18 集成参考文档它通过 AIMLAPI 的 chat completion 端点启用基于 AI 模型的文本生成。其核心定位与特性如下主兼容性Primary Compatibility与 AIMLAPI 的 chat completion 端点无缝协作流式支持Streaming Support支持从 AIMLAPI chat completion 端点流式接收响应高可定制性Customizability支持 AIMLAPI chat completion 端点支持的全部参数。从源码结构看参考文档标注其基类为OpenAIChatGenerator对应实现在 haystack/components/generators/chat/openai.py该组件是一个 OpenAI 兼容的聊天生成器它以 OpenAI Python 客户端为底层通过将api_base_url指向 AIMLAPI 端点来适配统一网关。这意味着 AIMLAPI 支持的所有模型标识如openai/gpt-5-chat-latest、anthropic/claude-3-5-sonnet都能用同一个组件与同一套初始化逻辑驱动。该组件输入输出均采用ChatMessage格式即消息内容加角色user/assistant/system/tool及可选元数据确保聊天生成场景下上下文连贯、语义相关。ChatMessage数据类的完整说明可参见 chatmessage 概念文档 与仓库实现 haystack/dataclasses/chat_message.py。安装与导入AIMLAPIChatGenerator位于独立的集成包aimlapi-haystack中属于 Haystack 的 core-integrations 仓库不在本仓库源码内安装命令如下pip install aimlapi-haystack导入路径为from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator快速开始最小可用示例参考文档给出了一个最小示例构造一条用户消息直接调用组件并打印回复from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator from haystack.dataclasses import ChatMessage messages [ChatMessage.from_user(Whats Natural Language Processing?)] client AIMLAPIChatGenerator(modelopenai/gpt-5-chat-latest) response client.run(messages) print(response) {replies: [ChatMessage(_contentNatural Language Processing (NLP) is a branch of artificial intelligence that focuses on enabling computers to understand, interpret, and generate human language in a way that is meaningful and useful., _roleChatRole.ASSISTANT: assistant, _nameNone, _meta{model: openai/gpt-5-chat-latest, index: 0, finish_reason: stop, usage: {prompt_tokens: 15, completion_tokens: 36, total_tokens: 51}})]}返回的字典中replies是一组ChatMessage每条消息的_meta记录了所用model、index、finish_reason如stop以及 token 用量统计prompt_tokens、completion_tokens、total_tokens。初始化参数详解参考文档给出了完整的__init__签名__init__( *, api_key: Secret Secret.from_env_var(AIMLAPI_API_KEY), model: str openai/gpt-5-chat-latest, streaming_callback: StreamingCallbackT | None None, api_base_url: str | None https://api.aimlapi.com/v1, generation_kwargs: dict[str, Any] | None None, tools: ToolsType | None None, timeout: float | None None, extra_headers: dict[str, Any] | None None, max_retries: int | None None, http_client_kwargs: dict[str, Any] | None None ) - None参数说明表参数类型默认值说明api_keySecretSecret.from_env_var(AIMLAPI_API_KEY)AIMLAPI API Key推荐通过环境变量注入modelstropenai/gpt-5-chat-latest使用的 AIMLAPI chat completion 模型名除非显式指定默认即此模型streaming_callbackStreamingCallbackT \| NoneNone流式回调函数收到新 token 时被调用回调接收StreamingChunk参数api_base_urlstr \| Nonehttps://api.aimlapi.com/v1AIMLAPI API 基础 URLgeneration_kwargsdict[str, Any] \| NoneNone直接透传给 AIMLAPI 端点的模型参数详见下文toolsToolsType \| NoneNone供模型准备调用的工具可接受Tool对象列表或单个Toolset实例timeoutfloat \| NoneNoneAIMLAPI API 调用的超时时间extra_headersdict[str, Any] \| NoneNone附加到请求中的 HTTP 头max_retriesint \| None见说明内部错误后重试 AIMLAPI 的最大次数未设置时优先读取AIMLAPI_MAX_RETRIES环境变量否则默认 5http_client_kwargsdict[str, Any] \| NoneNone用于配置自定义httpx.Client或httpx.AsyncClient的关键字参数字典generation_kwargs 常用参数参考文档明确说明generation_kwargs中的参数会原样发送到 AIMLAPI 端点可以在__init__初始化时传入也可以在run()调用时传入。常用参数包括max_tokens输出文本允许的最大 token 数temperature采样温度。值越大模型越冒险。创造性任务可尝试 0.9答案明确的任务建议 0argmax 采样top_p核采样nucleus sampling模型只考虑累积概率质量达到top_p的 token。例如 0.1 表示只考虑概率质量前 10% 的 tokenstream是否流式返回部分进度。开启后 token 以>from pydantic import BaseModel from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator class CityInfo(BaseModel): city_name: str country: str population: int famous_for: str client AIMLAPIChatGenerator( modelopenai/gpt-4o-2024-08-06, generation_kwargs{response_format: CityInfo} ) response client.run( messages[ ChatMessage.from_user( Berlin is the capital and largest city of Germany with a population of approximately 3.7 million. Its famous for its history, culture, and nightlife. ) ] ) print(response[replies][0].text) # {city_name:Berlin,country:Germany,population:3700000, # famous_for:history, culture, and nightlife}注意结构化输出支持取决于底层模型。OpenAI 系模型自gpt-4o-2024-08-06起支持 Pydantic 模型与 JSON Schema具体兼容性请查阅对应模型提供商的文档。该能力的底层逻辑可以在基类OpenAIChatGenerator的序列化实现中找到印证在 openai.py 的 to_dict 实现 中若response_format是BaseModel子类会通过to_strict_json_schema将其转换为 OpenAI 的 json_schema 格式若本身已是 JSON Schema 则原样保留。工具调用Tool / Toolset 灵活混用组件通过tools参数支持函数调用function calling接受三种形态Tool 对象列表逐个传入独立工具单个 Toolset直接传入整个 ToolsetTool 与 Toolset 混合在一个列表中同时组合多个 Toolset 与独立工具。from haystack.tools import Tool, Toolset from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator # 创建独立工具 weather_tool Tool( nameweather, descriptionGet weather info, parameters..., function... ) news_tool Tool( namenews, descriptionGet latest news, parameters..., function... ) # 将相关工具分组为 toolset math_toolset Toolset([add_tool, subtract_tool, multiply_tool]) # 混合传入 toolset 与独立工具 generator AIMLAPIChatGenerator( tools[math_toolset, weather_tool, news_tool] # Mix of Toolset and Tool objects )在基类实现中openai.py 的__init__tools会被原样保存并在初始化时通过flatten_tools_or_toolsets展平后调用_check_duplicate_tool_names校验工具名是否重复从而保证混合传参时工具命名唯一。Tool与Toolset的完整用法可参考 tool 文档 与 toolset 文档。流式输出将回调函数传给streaming_callback即可启用流式输出。官方推荐直接使用内置的print_streaming_chunk它能把文本 token 与工具事件工具调用、工具结果都格式化打印出来from haystack.components.generators.utils import print_streaming_chunk from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator # 配置流式回调 component AIMLAPIChatGenerator(streaming_callbackprint_streaming_chunk) # 传入消息列表 from haystack.dataclasses import ChatMessage component.run([ChatMessage.from_user(Your question here)])使用注意点流式仅支持单一响应若提供商支持多候选请设置n1每个StreamingChunk只包含四类信息中的一种工具调用tool_calls、工具结果tool_call_result、文本 tokencontent或推理 tokenreasoning可用chunk.start与chunk.finish_reason判断边界除非需要特定传输通道如 SSE/WebSocket或自定义 UI 格式优先使用print_streaming_chunk自定义回调的编写方式可参考 Streaming Support 文档。在 Pipeline 中使用搭配 ChatPromptBuilder 的标准链路AIMLAPIChatGenerator最常见的 Pipeline 位置是在 ChatPromptBuilder 之后将构建好的prompt接到llm.messagesfrom haystack.components.builders import ChatPromptBuilder from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator from haystack.dataclasses import ChatMessage from haystack import Pipeline # 无初始化参数我们不使用任何运行时模板变量 prompt_builder ChatPromptBuilder() llm AIMLAPIChatGenerator() pipe Pipeline() pipe.add_component(prompt_builder, prompt_builder) pipe.add_component(llm, llm) pipe.connect(prompt_builder.prompt, llm.messages) location Berlin messages [ ChatMessage.from_system( Always respond in German even if some input data is in other languages. ), ChatMessage.from_user(Tell me about {{location}}), ] pipe.run( data{ prompt_builder: { template_variables: {location: location}, template: messages, } } )一条 Pipeline 混用多个模型AIMLAPI 统一网关的价值在此充分体现同一个 Pipeline 中可以为不同任务实例化不同模型且只需一份凭据from haystack.components.builders import ChatPromptBuilder from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator from haystack.dataclasses import ChatMessage from haystack import Pipeline prompt_builder ChatPromptBuilder() # 复杂推理用这个模型 reasoning_llm AIMLAPIChatGenerator(modelanthropic/claude-3-5-sonnet) # 简单任务用另一个模型 simple_llm AIMLAPIChatGenerator(modelopenai/gpt-5-chat-latest) pipe Pipeline() pipe.add_component(prompt_builder, prompt_builder) pipe.add_component(reasoning, reasoning_llm) pipe.add_component(simple, simple_llm) # 同一 prompt 分发给两个模型 pipe.connect(prompt_builder.prompt, reasoning.messages) pipe.connect(prompt_builder.prompt, simple.messages) messages [ChatMessage.from_user(Explain quantum computing in simple terms.)] result pipe.run(data{prompt_builder: {template: messages}}) print(Reasoning model:, result[reasoning][replies][0].text) print(Simple model:, result[simple][replies][0].text)与 Agent 配合实现工具调用闭环将生成器与工具一起交给 Haystack 的Agent即可由 Agent 托管完整的工具调用循环from haystack.components.agents import Agent from haystack.dataclasses import ChatMessage from haystack.tools import Tool from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator def weather(city: str) - str: Get weather for a given city. return fThe weather in {city} is sunny and 32°C tool Tool( nameweather, descriptionGet weather for a given city, parameters{ type: object, properties: {city: {type: string}}, required: [city], }, functionweather, ) agent Agent(chat_generatorAIMLAPIChatGenerator(), tools[tool]) result agent.run( messages[ChatMessage.from_user(Whats the weather like in Paris?)] ) print(result[last_message].text) # The weather in Paris is sunny and 32°C.多模态输入选择多模态模型如openai/gpt-4o后可通过ImageContent构造包含图片的消息from haystack.dataclasses import ChatMessage, ImageContent from haystack_integrations.components.generators.aimlapi import AIMLAPIChatGenerator # 使用多模态模型 llm AIMLAPIChatGenerator(modelopenai/gpt-4o) image ImageContent.from_file_path(apple.jpg, detaillow) user_message ChatMessage.from_user( content_parts[What does the image show? Max 5 words., image] ) response llm.run([user_message])[replies][0].text print(response) # Red apple on straw.序列化to_dict参考文档还提供了to_dict方法to_dict() - dict[str, Any]它将组件序列化为字典返回dict[str, Any]用于组件的 YAML/JSON 持久化与反序列化。从基类 openai.py 的 to_dict 实现 可以推断streaming_callback会被serialize_callable序列化generation_kwargs会做拷贝其中response_format若为 Pydantic 模型会被转换为 json_schema 格式从而保证整个组件可安全地存入配置并恢复。底层原理为什么它继承 OpenAIChatGenerator从参考文档声明的Bases: OpenAIChatGenerator和 基类源码 可以梳理出这条实现脉络OpenAIChatGenerator.__init__保存api_key、model、generation_kwargs、tools等全部配置并校验工具名重复warm_up()/warm_up_async()会通过init_http_client(self.http_client_kwargs, ...)构建自定义httpx客户端再用_client_kwargs()组装出OpenAI/AsyncOpenAI客户端——其中base_url即api_base_url这正是 AIMLAPI 端点https://api.aimlapi.com/v1的注入点timeout与max_retries在_client_kwargs中统一解析openai.py 第 216-227 行未显式设置时回退到环境变量与默认值AIMLAPI 场景下即AIMLAPI_MAX_RETRIES默认 5generation_kwargs在run()时与messages一起拼装进 chat completion 请求实现初始化与运行时均可覆盖参数的灵活语义。因此只要 AIMLAPI 网关保持 OpenAI chat completions 协议兼容该组件就能稳定工作并且天然继承了基类的流式、工具调用、结构化输出与同步/异步双客户端能力。总结AIMLAPI 集成让 Haystack 应用获得了一套代码、一个 Key、多厂商模型的能力默认模型openai/gpt-5-chat-latest、默认端点https://api.aimlapi.com/v1配合generation_kwargs的完全透传可以无缝适配 AIMLAPI 上所有兼容模型。无论你是构建单模型聊天应用、多模型混合 Pipeline、结构化数据抽取还是带工具调用的 AgentAPI 参考文档 与 组件使用指南 中的示例均可直接复制运行。【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考