尧图网站建设 
LlamaIndex 接入 AI BadgrAIBadgrLLMOpenAI 兼容 LLM 的安装、初始化与调用指南【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index本文面向希望把 AI BadgrAIBadgr接入 LlamaIndex 应用的中文开发者围绕仓库中的 aibadgr API 参考页 所声明的AIBadgr公共成员展开。AI Badgr 定位为 Budget/Utility低成本/实用型的 OpenAI 兼容服务通过 LlamaIndex 集成包llama-index-llms-aibadgr即可一键使用。读完本文你将掌握该集成的安装方式、层级化模型名体系、环境变量配置、四种同步/流式调用写法以及它如何基于OpenAILike基类工作并接受哪些可调参数。AIBadgr 是什么一条 OpenAI 兼容的“省钱/实用型”LLM 接入路径AIBadgr是 LlamaIndex 在llama_index.llms命名空间下提供的 LLM 集成类其核心定位在 base.py 的类 docstring 中写得很明确AI Badgr LLMBudget/UtilityOpenAI 兼容。它对外提供 OpenAI 兼容的 HTTP API 端点并采用“按档位tier命名模型”的设计让使用方不必关心底层具体模型即可快速获得可预测成本与质量的调用体验。在仓库中与该 API 参考页对应的资源集中在集成包目录API 参考声明docs/api_reference/api_reference/llms/aibadgr.mdmembers: - AIBadgr即该页渲染的公共 API 为AIBadgr类核心实现llama_index/llms/aibadgr/base.py包入口llama_index/llms/aibadgr/init.py集成使用文档llama-index-llms-aibadgr/README.md自动化测试tests/test_llms_aibadgr.py包元数据pyproject.toml从 pyproject.toml 可以看到该包的依赖与版本约束以当前仓库为准包名llama-index-llms-aibadgr当前仓库版本0.2.0要求 Python3.10,4.0依赖llama-index-llms-openai-like0.5.0,0.6提供 OpenAI 兼容的基类依赖llama-index-core0.13.0,0.15提供 LlamaIndex 核心LLM抽象。也就是说AIBadgr本身并不重复实现一套 LLM 协议栈而是站在OpenAILike一个面向“提供 OpenAI 兼容 API 的第三方服务”的薄封装之上只做模型与端点层面的默认化配置。这一点后面会结合源码详细拆解。安装与初始化安装按 README 的指引直接通过 pip 安装pip install llama-index-llms-aibadgr安装完成后公共导入路径为llama_index.llms.aibadgr从中导出AIBadgr见init.py 的__all__ [AIBadgr]。准备 API Key环境变量或构造参数二选一AIBadgr需要 API Key 才能发起请求。官方文档提供了两种提供方式二者等价export AIBADGR_API_KEYyour_api_key export AIBADGR_BASE_URLhttps://aibadgr.com/api/v1也可以通过环境变量文件.env等方式注入。随后在代码中即可直接初始化from llama_index.llms.aibadgr import AIBadgr from llama_index.core.llms import ChatMessage # 方式一仅传 modelapi_key 从环境变量 AIBADGR_API_KEY 自动读取 llm AIBadgr(modelpremium) # 方式二显式传入 api_key优先级高于环境变量 llm AIBadgr( api_keyyour-api-key, modelpremium, )构造函数参数一览结合 base.py 中AIBadgr.__init__的实现构造参数及其默认行为如下参数类型必填默认值说明modelstr是无模型名支持 tier 名basic/normal/premium、具体模型名如llama3-8b-instructOpenAI 模型名亦被接受api_keystr否无若未传入则回退读取环境变量AIBADGR_API_KEYapi_basestr否https://aibadgr.com/api/v1服务端点若设置了环境变量AIBADGR_BASE_URL将以环境变量值覆盖默认值is_chat_modelbool否True是否走 chat 端点AIBadgr默认开启与 OpenAILike 基类的默认值不同**kwargsAny否无其余参数透传给OpenAILike/OpenAI 客户端如temperature、max_tokens、context_window、timeout、max_retries等注意上面的“环境变量读取”逻辑是运行时在构造器内部完成的见下文源码解析因此同一进程内只要环境变量存在即可无需手动把环境变量值再传一遍。模型名体系tier 档位名、具体模型名与 OpenAI 模型名AIBadgr最有特色的设计是tier档位式模型命名便于快速按“预算/档位”选择能力级别。按 README 与 类 docstring 的说明内置三档Tier 名称对应底层模型适用场景basicphi-3-mini预算档适合低成本、轻量任务normalmistral-7b标准档premiumllama3-8b-instruct高级档README 标注为推荐默认值推荐直接使用 tier 名这样在服务端调整底层模型时无需改动客户端代码llm AIBadgr(modelpremium, api_keyyour_api_key) resp llm.complete(Write a story about a dragon who can code in Rust) print(resp)如果你的需求更明确也可以跳过档位直接指定具体的“进阶模型名”power-user model names例如phi-3-mini、mistral-7b、llama3-8b-instructllm AIBadgr(modelllama3-8b-instruct, api_keyyour_api_key) resp llm.complete(Explain quantum computing) print(resp)此外按类 docstring 的说明OpenAI 模型名也会被接受并自动映射。需要澄清的是从源码结构看AIBadgr.__init__并不会在客户端做任何模型名到具体模型的一一映射model字符串是被原样透传给api_base指向的 OpenAI 兼容端点的。换言之档位名、具体模型名与 OpenAI 模型名的“映射/兜底”解析逻辑由 AI Badgr 服务端完成客户端只需保证传入合法的模型名即可。这保持了客户端实现的极简与灵活。在 LlamaIndex 中调用chat / stream_chat / complete / stream_completeAIBadgr继承了 LlamaIndex 的LLM抽象层因此开箱即可使用标准 LLM 接口。以下四类调用均来自 集成 README 的官方示例。1. 对话补全chat将消息列表封装为ChatMessage调用chatfrom llama_index.core.llms import ChatMessage message ChatMessage(roleuser, contentTell me a joke) resp llm.chat([message]) print(resp)2. 流式对话stream_chat需要逐 token 返回时使用stream_chat遍历生成器并读取.deltamessage ChatMessage(roleuser, contentTell me a story in 250 words) resp llm.stream_chat([message]) for r in resp: print(r.delta, end)3. 纯文本补全complete不需要角色体系、直接给一个 prompt 的场景使用completeresp llm.complete(Tell me a joke) print(resp)4. 流式纯文本补全stream_complete对应complete的流式版本resp llm.stream_complete(Tell me a story in 250 words) for r in resp: print(r.delta, end)由于返回对象符合 LlamaIndexLLM的通用契约AIBadgr实例可以直接注入到更上层组件中使用——例如作为ChatEngine、QueryEngine的 LLM 后端或与 Agent/Tool 体系结合是否支持 function calling 取决于基类参数见下文“进阶参数”。源码级剖析AIBadgr 如何基于 OpenAILike 实现整个实现的代码量很小全部逻辑都在 base.py我们逐段拆解。继承关系from llama_index.llms.openai_like import OpenAILike class AIBadgr(OpenAILike):AIBadgr直接继承OpenAILike。而OpenAILike本身是 OpenAI 官方客户端的薄封装——按 openai_like 基类 docstring 的说明OpenAILike是“围绕 OpenAI 模型的薄封装使其兼容那些提供 OpenAI 兼容 API 的第三方工具”。因此整条继承链为AIBadgr → OpenAILike → OpenAIopenai SDK 封装 → LLMLlamaIndex 核心抽象正是这条链路让AIBadgr无需重新实现协议天然具备chat/stream_chat/complete/stream_complete等完整 LLM 接口。__init__环境变量回退与默认端点def __init__( self, model: str, api_key: Optional[str] None, api_base: str https://aibadgr.com/api/v1, is_chat_model: bool True, **kwargs: Any, ) - None: api_key api_key or os.environ.get(AIBADGR_API_KEY, None) api_base os.environ.get(AIBADGR_BASE_URL, api_base) super().__init__( modelmodel, api_keyapi_key, api_baseapi_base, is_chat_modelis_chat_model, **kwargs, )这段代码体现了三个关键设计API Key 的优先级显式传入的api_key优先否则回退读取环境变量AIBADGR_API_KEY两者都没有时api_key为None后续是否报错由底层 OpenAI 客户端的行为决定。端点的可配置性api_base默认指向https://aibadgr.com/api/v1但如果设置了环境变量AIBADGR_BASE_URL将以环境变量值整体覆盖默认端点。这让自建网关、代理、私有部署等场景可以无缝切换目标地址。默认走 chat 端点is_chat_modelTrue被固定为默认值OpenAILike 基类该参数默认为False即AIBadgr默认使用 chat 补全接口这与它是一个对话型服务的定位一致。继承透传的进阶参数构造函数中未显式列出的参数全部通过**kwargs透传给OpenAILike。按 OpenAILike 的参数文档你可以像下面这样按需微调模型行为llm AIBadgr( modelpremium, api_keyyour_api_key, temperature0.7, # 采样温度OpenAILike 默认 0.1 max_tokens512, # 单次生成的最大 token 数默认 None服务端决定 context_window8192, # 上下文窗口长度OpenAILike 默认 3900 max_retries5, # 失败重试次数OpenAILike 默认 3 timeout120.0, # 请求超时秒OpenAILike 默认 60.0 is_function_calling_modelTrue, # 若服务端支持 OpenAI 风格 function calling/tools )其中is_function_calling_model表示“该模型是否通过 API 支持 OpenAI 的 function calling/tools”OpenAILike 的默认值为False。需要说明的是AIBadgr构造函数并未显式设置该开关从源码可推断其沿用基类默认False如果你确实要用 tool/function calling 能力应先确认 AI Badgr 服务端支持情况再显式传入该参数开启。class_name约定classmethod def class_name(cls) - str: Get class name. return AIBadgrclass_name是 LlamaIndex LLM 体系的通用约定用于序列化、缓存与日志中的类标识。该返回与测试断言保持一致。测试与验证仓库内自带的最小验证集集成包自带的测试 tests/test_llms_aibadgr.py 可以验证上述全部关键行为且不发起真实网络请求仅做结构与参数断言test_class_name断言AIBadgr.class_name() AIBadgr并确认其 MRO 中存在OpenAILike基类test_initialization断言使用premium档位初始化后model、api_key、api_base的取值符合预期默认端点为https://aibadgr.com/api/v1传入自定义api_base如https://custom.url/api/v1时以自定义值生效。在集成包目录下可运行测试验证cd llama-index-integrations/llms/llama-index-llms-aibadgr pytest tests/test_llms_aibadgr.py使用注意事项与边界综合以上实现在实际接入时有几点值得留意先确认端点可达与 Key 有效AIBadgr客户端不做模型名本地解析、也不缓存任何元数据真正生效的是api_base指向的服务端。接入前应先用curl或最小complete调用验证 Key 与网络。环境变量与显式参数并存时以显式参数为准api_key采用“显式传参 环境变量”的优先级api_base则相反——若同时设置了AIBADGR_BASE_URL和传入api_base环境变量会覆盖显式入参这是当前实现的既定行为。成本与模型档位强绑定tier 命名的目的就是把成本/质量决策收敛到服务端客户端升级档位只需改model一个字符串无需改调用代码。作为标准 LlamaIndex LLM 使用只要通过pip install llama-index-llms-aibadgr安装并保证llama-index-core版本满足0.13.0,0.15AIBadgr实例即可用于索引查询、聊天引擎等上层框架。如果你希望深入验证或扩展可直接阅读 AIBadgr 源码、OpenAILike 基类实现 以及 llama-index-core 的 LLM 抽象以理解其完整能力边界。【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LlamaIndex 接入 AI Badgr（AIBadgr）LLM：OpenAI 兼容 LLM 的安装、初始化与调用指南
LlamaIndex 接入 AI BadgrAIBadgrLLMOpenAI 兼容 LLM 的安装、初始化与调用指南【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index本文面向希望把 AI BadgrAIBadgr接入 LlamaIndex 应用的中文开发者围绕仓库中的 aibadgr API 参考页 所声明的AIBadgr公共成员展开。AI Badgr 定位为 Budget/Utility低成本/实用型的 OpenAI 兼容服务通过 LlamaIndex 集成包llama-index-llms-aibadgr即可一键使用。读完本文你将掌握该集成的安装方式、层级化模型名体系、环境变量配置、四种同步/流式调用写法以及它如何基于OpenAILike基类工作并接受哪些可调参数。AIBadgr 是什么一条 OpenAI 兼容的“省钱/实用型”LLM 接入路径AIBadgr是 LlamaIndex 在llama_index.llms命名空间下提供的 LLM 集成类其核心定位在 base.py 的类 docstring 中写得很明确AI Badgr LLMBudget/UtilityOpenAI 兼容。它对外提供 OpenAI 兼容的 HTTP API 端点并采用“按档位tier命名模型”的设计让使用方不必关心底层具体模型即可快速获得可预测成本与质量的调用体验。在仓库中与该 API 参考页对应的资源集中在集成包目录API 参考声明docs/api_reference/api_reference/llms/aibadgr.mdmembers: - AIBadgr即该页渲染的公共 API 为AIBadgr类核心实现llama_index/llms/aibadgr/base.py包入口llama_index/llms/aibadgr/init.py集成使用文档llama-index-llms-aibadgr/README.md自动化测试tests/test_llms_aibadgr.py包元数据pyproject.toml从 pyproject.toml 可以看到该包的依赖与版本约束以当前仓库为准包名llama-index-llms-aibadgr当前仓库版本0.2.0要求 Python3.10,4.0依赖llama-index-llms-openai-like0.5.0,0.6提供 OpenAI 兼容的基类依赖llama-index-core0.13.0,0.15提供 LlamaIndex 核心LLM抽象。也就是说AIBadgr本身并不重复实现一套 LLM 协议栈而是站在OpenAILike一个面向“提供 OpenAI 兼容 API 的第三方服务”的薄封装之上只做模型与端点层面的默认化配置。这一点后面会结合源码详细拆解。安装与初始化安装按 README 的指引直接通过 pip 安装pip install llama-index-llms-aibadgr安装完成后公共导入路径为llama_index.llms.aibadgr从中导出AIBadgr见init.py 的__all__ [AIBadgr]。准备 API Key环境变量或构造参数二选一AIBadgr需要 API Key 才能发起请求。官方文档提供了两种提供方式二者等价export AIBADGR_API_KEYyour_api_key export AIBADGR_BASE_URLhttps://aibadgr.com/api/v1也可以通过环境变量文件.env等方式注入。随后在代码中即可直接初始化from llama_index.llms.aibadgr import AIBadgr from llama_index.core.llms import ChatMessage # 方式一仅传 modelapi_key 从环境变量 AIBADGR_API_KEY 自动读取 llm AIBadgr(modelpremium) # 方式二显式传入 api_key优先级高于环境变量 llm AIBadgr( api_keyyour-api-key, modelpremium, )构造函数参数一览结合 base.py 中AIBadgr.__init__的实现构造参数及其默认行为如下参数类型必填默认值说明modelstr是无模型名支持 tier 名basic/normal/premium、具体模型名如llama3-8b-instructOpenAI 模型名亦被接受api_keystr否无若未传入则回退读取环境变量AIBADGR_API_KEYapi_basestr否https://aibadgr.com/api/v1服务端点若设置了环境变量AIBADGR_BASE_URL将以环境变量值覆盖默认值is_chat_modelbool否True是否走 chat 端点AIBadgr默认开启与 OpenAILike 基类的默认值不同**kwargsAny否无其余参数透传给OpenAILike/OpenAI 客户端如temperature、max_tokens、context_window、timeout、max_retries等注意上面的“环境变量读取”逻辑是运行时在构造器内部完成的见下文源码解析因此同一进程内只要环境变量存在即可无需手动把环境变量值再传一遍。模型名体系tier 档位名、具体模型名与 OpenAI 模型名AIBadgr最有特色的设计是tier档位式模型命名便于快速按“预算/档位”选择能力级别。按 README 与 类 docstring 的说明内置三档Tier 名称对应底层模型适用场景basicphi-3-mini预算档适合低成本、轻量任务normalmistral-7b标准档premiumllama3-8b-instruct高级档README 标注为推荐默认值推荐直接使用 tier 名这样在服务端调整底层模型时无需改动客户端代码llm AIBadgr(modelpremium, api_keyyour_api_key) resp llm.complete(Write a story about a dragon who can code in Rust) print(resp)如果你的需求更明确也可以跳过档位直接指定具体的“进阶模型名”power-user model names例如phi-3-mini、mistral-7b、llama3-8b-instructllm AIBadgr(modelllama3-8b-instruct, api_keyyour_api_key) resp llm.complete(Explain quantum computing) print(resp)此外按类 docstring 的说明OpenAI 模型名也会被接受并自动映射。需要澄清的是从源码结构看AIBadgr.__init__并不会在客户端做任何模型名到具体模型的一一映射model字符串是被原样透传给api_base指向的 OpenAI 兼容端点的。换言之档位名、具体模型名与 OpenAI 模型名的“映射/兜底”解析逻辑由 AI Badgr 服务端完成客户端只需保证传入合法的模型名即可。这保持了客户端实现的极简与灵活。在 LlamaIndex 中调用chat / stream_chat / complete / stream_completeAIBadgr继承了 LlamaIndex 的LLM抽象层因此开箱即可使用标准 LLM 接口。以下四类调用均来自 集成 README 的官方示例。1. 对话补全chat将消息列表封装为ChatMessage调用chatfrom llama_index.core.llms import ChatMessage message ChatMessage(roleuser, contentTell me a joke) resp llm.chat([message]) print(resp)2. 流式对话stream_chat需要逐 token 返回时使用stream_chat遍历生成器并读取.deltamessage ChatMessage(roleuser, contentTell me a story in 250 words) resp llm.stream_chat([message]) for r in resp: print(r.delta, end)3. 纯文本补全complete不需要角色体系、直接给一个 prompt 的场景使用completeresp llm.complete(Tell me a joke) print(resp)4. 流式纯文本补全stream_complete对应complete的流式版本resp llm.stream_complete(Tell me a story in 250 words) for r in resp: print(r.delta, end)由于返回对象符合 LlamaIndexLLM的通用契约AIBadgr实例可以直接注入到更上层组件中使用——例如作为ChatEngine、QueryEngine的 LLM 后端或与 Agent/Tool 体系结合是否支持 function calling 取决于基类参数见下文“进阶参数”。源码级剖析AIBadgr 如何基于 OpenAILike 实现整个实现的代码量很小全部逻辑都在 base.py我们逐段拆解。继承关系from llama_index.llms.openai_like import OpenAILike class AIBadgr(OpenAILike):AIBadgr直接继承OpenAILike。而OpenAILike本身是 OpenAI 官方客户端的薄封装——按 openai_like 基类 docstring 的说明OpenAILike是“围绕 OpenAI 模型的薄封装使其兼容那些提供 OpenAI 兼容 API 的第三方工具”。因此整条继承链为AIBadgr → OpenAILike → OpenAIopenai SDK 封装 → LLMLlamaIndex 核心抽象正是这条链路让AIBadgr无需重新实现协议天然具备chat/stream_chat/complete/stream_complete等完整 LLM 接口。__init__环境变量回退与默认端点def __init__( self, model: str, api_key: Optional[str] None, api_base: str https://aibadgr.com/api/v1, is_chat_model: bool True, **kwargs: Any, ) - None: api_key api_key or os.environ.get(AIBADGR_API_KEY, None) api_base os.environ.get(AIBADGR_BASE_URL, api_base) super().__init__( modelmodel, api_keyapi_key, api_baseapi_base, is_chat_modelis_chat_model, **kwargs, )这段代码体现了三个关键设计API Key 的优先级显式传入的api_key优先否则回退读取环境变量AIBADGR_API_KEY两者都没有时api_key为None后续是否报错由底层 OpenAI 客户端的行为决定。端点的可配置性api_base默认指向https://aibadgr.com/api/v1但如果设置了环境变量AIBADGR_BASE_URL将以环境变量值整体覆盖默认端点。这让自建网关、代理、私有部署等场景可以无缝切换目标地址。默认走 chat 端点is_chat_modelTrue被固定为默认值OpenAILike 基类该参数默认为False即AIBadgr默认使用 chat 补全接口这与它是一个对话型服务的定位一致。继承透传的进阶参数构造函数中未显式列出的参数全部通过**kwargs透传给OpenAILike。按 OpenAILike 的参数文档你可以像下面这样按需微调模型行为llm AIBadgr( modelpremium, api_keyyour_api_key, temperature0.7, # 采样温度OpenAILike 默认 0.1 max_tokens512, # 单次生成的最大 token 数默认 None服务端决定 context_window8192, # 上下文窗口长度OpenAILike 默认 3900 max_retries5, # 失败重试次数OpenAILike 默认 3 timeout120.0, # 请求超时秒OpenAILike 默认 60.0 is_function_calling_modelTrue, # 若服务端支持 OpenAI 风格 function calling/tools )其中is_function_calling_model表示“该模型是否通过 API 支持 OpenAI 的 function calling/tools”OpenAILike 的默认值为False。需要说明的是AIBadgr构造函数并未显式设置该开关从源码可推断其沿用基类默认False如果你确实要用 tool/function calling 能力应先确认 AI Badgr 服务端支持情况再显式传入该参数开启。class_name约定classmethod def class_name(cls) - str: Get class name. return AIBadgrclass_name是 LlamaIndex LLM 体系的通用约定用于序列化、缓存与日志中的类标识。该返回与测试断言保持一致。测试与验证仓库内自带的最小验证集集成包自带的测试 tests/test_llms_aibadgr.py 可以验证上述全部关键行为且不发起真实网络请求仅做结构与参数断言test_class_name断言AIBadgr.class_name() AIBadgr并确认其 MRO 中存在OpenAILike基类test_initialization断言使用premium档位初始化后model、api_key、api_base的取值符合预期默认端点为https://aibadgr.com/api/v1传入自定义api_base如https://custom.url/api/v1时以自定义值生效。在集成包目录下可运行测试验证cd llama-index-integrations/llms/llama-index-llms-aibadgr pytest tests/test_llms_aibadgr.py使用注意事项与边界综合以上实现在实际接入时有几点值得留意先确认端点可达与 Key 有效AIBadgr客户端不做模型名本地解析、也不缓存任何元数据真正生效的是api_base指向的服务端。接入前应先用curl或最小complete调用验证 Key 与网络。环境变量与显式参数并存时以显式参数为准api_key采用“显式传参 环境变量”的优先级api_base则相反——若同时设置了AIBADGR_BASE_URL和传入api_base环境变量会覆盖显式入参这是当前实现的既定行为。成本与模型档位强绑定tier 命名的目的就是把成本/质量决策收敛到服务端客户端升级档位只需改model一个字符串无需改调用代码。作为标准 LlamaIndex LLM 使用只要通过pip install llama-index-llms-aibadgr安装并保证llama-index-core版本满足0.13.0,0.15AIBadgr实例即可用于索引查询、聊天引擎等上层框架。如果你希望深入验证或扩展可直接阅读 AIBadgr 源码、OpenAILike 基类实现 以及 llama-index-core 的 LLM 抽象以理解其完整能力边界。【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考