尧图网站建设 
LlamaIndex TextEmbed 嵌入集成把自托管高吞吐向量嵌入服务接入 RAG 流水线【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_indexLlamaIndex 通过llama-index-embeddings-textembed包对接 TextEmbed 这一高吞吐、低延迟的自托管嵌入推理服务使 RAG 应用的向量化环节可以部署在本地集群而非依赖云端 API。本文基于仓库中的 API 参考文档、集成包源码与示例 Notebook完整讲解 TextEmbed 服务的部署命令、TextEmbedEmbedding类全部构造参数、请求链路与批处理机制帮助你在 LlamaIndex 中把任意 sentence-transformers 模型挂载为生产级嵌入后端。什么是 TextEmbedTextEmbed 是一个高吞吐、低延迟的 REST 服务专门用于托管向量嵌入推理。根据集成包 READMEREADME.md的说明它的设计目标与特性包括高吞吐与低延迟面向大量并发请求场景设计灵活的模型支持可加载多种 sentence-transformers 系列模型可扩展从源码结构看服务以独立进程方式运行客户端LlamaIndex 侧只是通过 HTTP 与之通信天然支持水平扩容批处理服务端支持批量推理客户端也对应实现了按批次切分的调用逻辑OpenAI 兼容的 REST API 端点请求/响应格式与 OpenAI embeddings 接口对齐单行命令部署一条命令即可同时部署多个模型多种嵌入精度格式支持 binary、float16、float32 三种输出格式便于在检索速度与精度之间取舍图像嵌入支持除文本外服务层还支持图像嵌入模型见 base.py 顶部模块 docstring 的说明。对应的 LlamaIndex 侧封装类是TextEmbedEmbedding其 API 参考页即 textembed.md该页由 mkdocs 自动从llama_index.embeddings.textembed模块生成导出成员为TextEmbedEmbedding。安装与依赖LlamaIndex 侧的集成包为llama-index-embeddings-textembed安装命令为pip install llama-index-embeddings-textembed从 pyproject.toml 可以确认其版本与依赖边界项目取值包名llama-index-embeddings-textembed当前版本0.4.0Python 要求3.10,4.0核心依赖llama-index-core0.13.0,0.15额外依赖aiohttp异步 HTTP 调用requests由 LlamaIndex 核心传递引入用于同步调用路径。导入路径为llama_index.embeddings.textembed见 pyproject 中[tool.llamahub]段的import_path声明包入口init.py 仅导出一个类from llama_index.embeddings.textembed.base import TextEmbedEmbedding __all__ [TextEmbedEmbedding]TextEmbed 服务端本身是另一个独立项目需要单独安装并启动pip install -U textembed启动 TextEmbed 服务在服务端机器上用一条命令指定模型、工作进程数与 API Key 即可启动python -m textembed.server --models sentence-transformers/all-MiniLM-L12-v2 --workers 4 --api-key TextEmbed参数含义--models要加载的 sentence-transformers 模型示例中为sentence-transformers/all-MiniLM-L12-v212 层 MiniLM 轻量模型约 384 维输出服务端支持通过同一参数部署多个模型--workers推理工作进程数4表示用 4 个 worker 并行处理请求--api-key客户端访问时需在Authorization头中携带的 Bearer Token。服务默认监听0.0.0.0:8000暴露 OpenAI 风格的基础路径/v1。这也正是 LlamaIndex 客户端的默认base_url——源码中的常量定义为DEFAULT_URL http://0.0.0.0:8000/v1见 base.py 第 22 行。若服务部署在远端只需把base_url指向实际地址。TextEmbedEmbedding 构造参数TextEmbedEmbedding是BaseEmbedding的直接子类测试文件 test_embeddings_textembed.py 断言了issubclass(TextEmbedEmbedding, BaseEmbedding)。其构造签名与字段定义位于 base.py 第 25–69 行参数一览参数类型默认值说明model_namestr必填无默认值服务端上已部署的模型名称作为请求体中的model字段发送base_urlstrhttp://0.0.0.0:8000/v1TextEmbed 服务的基础 URL请求会发送到{base_url}/embeddingembed_batch_sizeintDEFAULT_EMBED_BATCH_SIZELlamaIndex 核心默认值为 10每批次文本数量get_text_embedding_batch会按此大小切分输入timeoutfloat60.0单次 HTTP 请求的超时秒数同步与异步路径共用callback_managerOptional[CallbackManager]NoneLlamaIndex 回调管理器用于事件追踪auth_tokenOptional[Union[str, Callable[[str], str]]]NoneBearer 鉴权令牌支持静态字符串或返回令牌的生成函数可适配会过期的动态 Token注意model_name是唯一必须显式传入的参数且必须与--models启动参数中的模型名严格一致服务端据此选择推理模型。基本用法批量生成嵌入安装客户端包并启动服务后最小可用示例与 README.md 及官方 Notebook textembed.ipynb 一致如下from llama_index.embeddings.textembed import TextEmbedEmbedding # 初始化 TextEmbedEmbedding embed TextEmbedEmbedding( model_namesentence-transformers/all-MiniLM-L12-v2, # 必须与服务端 --models 一致 base_urlhttp://0.0.0.0:8000/v1, # 服务的 /v1 端点 auth_tokenTextEmbed, # 与服务端 --api-key 对应 ) # 批量获取文本嵌入 embeddings embed.get_text_embedding_batch( [ It is raining cats and dogs here!, India has a diverse cultural heritage., ] ) print(embeddings) # 每个元素是一个 384 维以 all-MiniLM-L12-v2 为例float 向量在完整的 RAG 流程中将embed作为embedding参数传入VectorStoreIndex.from_documents(...)即可接管整个向量化环节文档分块后由get_text_embedding_batch批量转向量查询时由_get_query_embedding对问题做同样的向量化从而保证 query 与文档落在同一语义空间。底层实现请求链路与响应解析同步调用_call_api同步路径的核心实现在 base.py 第 71–101 行。其流程可以拆解为四步组装请求头固定Content-Type: application/json当auth_token存在时附加Authorization: Bearer token头token 为字符串或调用函数取到的值组装请求体{input: texts, model: self.model_name}——input为字符串列表说明服务端接受一次性批量输入客户端无需在应用层再拆成单条请求POST 到{base_url}/embedding使用requests.post并带上timeoutself.timeout即由构造参数timeout默认 60 秒控制解析与校验非 200 状态码直接抛出Exception并附带状态码与响应体便于定位服务端错误成功时取response.json()[data]列表中每个元素的embedding字段返回json_data {input: texts, model: self.model_name} with requests.post( f{self.base_url}/embedding, headersheaders, jsonjson_data, timeoutself.timeout, ) as response: if response.status_code ! 200: raise Exception( fTextEmbed responded with an unexpected status message f{response.status_code}: {response.text} ) return [e[embedding] for e in response.json()[data]]响应结构{data: [{embedding: [...]}, ...]}与 OpenAI embeddings 接口的返回格式一致这印证了 README 中“OpenAI 兼容端点”的表述。异步调用_acall_api异步路径位于 base.py 第 103–135 行用aiohttp.ClientSession实现完全对称的逻辑同样的请求体、同样的鉴权头、同样对非 200 抛异常只是通过await session.post(...)与await response.json()完成非阻塞 IO。这意味着在async def上下文中如异步 Workflow、并发索引构建直接await embed.aget_text_embedding(...)可以与其他异步任务并发执行。单个/批量接口与批处理切分类中六个抽象方法_get_query_embedding、_get_text_embedding、_get_text_embeddings及对应的_aget_*版本都只是对_call_api/_acall_api的薄封装base.py 第 137–213 行单条输入被包成单元素列表取返回列表的第一个元素。值得强调的是批次切分发生在 LlamaIndex 核心层而非本类内部。在 llama-index-core 的 base.py 中get_text_embedding_batch约第 486 行起会按self.embed_batch_size把输入文本切成若干批再逐批调用子类的_get_text_embeddingsembed_batch_size字段在基类中以DEFAULT_EMBED_BATCH_SIZE为默认值第 81–82 行附近。对 TextEmbed 这种高吞吐服务可以把embed_batch_size调大以减少 HTTP 往返次数同时配合服务端的--workers提升并发推理能力。鉴权设计auth_token的类型是Optional[Union[str, Callable[[str], str]]]即既接受静态字符串也接受一个“输入 → 令牌”的函数。从这种签名可以推断该设计用于适配需要动态生成凭证的场景例如从密钥服务换取短期 Token。在本文示例的最简单场景下直接传入与服务端--api-key相同的字符串TextEmbed即可若服务端未开启鉴权可保持None此时请求不携带Authorization头代码中该头会被置为None。验证方式与测试集成包的测试 tests/test_embeddings_textembed.py 验证的是契约层面的事实——TextEmbedEmbedding必须是BaseEmbedding的子类def test_textembed_class(): Check if BaseEmbedding is one of the base classes of TextEmbedEmbedding. assert issubclass(TextEmbedEmbedding, BaseEmbedding), ( TextEmbedEmbedding does not inherit from BaseEmbedding )这保证了该类可以无缝替换 LlamaIndex 中任何嵌入后端。更完整的端到端验证方式是在本地按上文命令启动服务后运行 README 中的示例脚本观察embeddings是否返回与输入条数一致、维度为模型输出维度的向量列表若服务未启动或 Token 错误_call_api会抛出带状态码的异常便于快速定位是连接问题还是鉴权问题。适用场景与限制结合仓库中各文件的实际内容使用本集成前需要注意以下适用前提需要自托管服务与调用云端 API 的嵌入包如 OpenAI、Cohere 集成不同TextEmbed 客户端本身不包含任何推理能力必须先部署 TextEmbed 服务端并预先加载模型客户端/服务端版本配套当前集成包版本 0.4.0要求llama-index-core0.13.0,0.15、Python 3.10安装前可参照 pyproject.toml 确认依赖边界默认地址仅限本机base_url默认http://0.0.0.0:8000/v1远端部署时必须显式覆盖错误处理策略较直接任何非 200 响应都会抛出通用Exception重试、退避等策略需要在使用方自行封装响应契约依赖解析逻辑假设响应 JSON 含data列表且每项有embedding字段这对应 TextEmbed 的 OpenAI 兼容格式。对于希望在自有基础设施上运行开源 sentence-transformers 模型、同时保留 LlamaIndex 统一嵌入抽象可替换缓存、批量、回调等能力的场景TextEmbedEmbedding是一个把“服务化推理 框架侧索引/检索”拼接起来的轻量胶水层服务端负责吞吐与模型管理客户端负责与 RAG 流水线的对接。【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LlamaIndex TextEmbed 嵌入集成：把自托管高吞吐向量嵌入服务接入 RAG 流水线
LlamaIndex TextEmbed 嵌入集成把自托管高吞吐向量嵌入服务接入 RAG 流水线【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_indexLlamaIndex 通过llama-index-embeddings-textembed包对接 TextEmbed 这一高吞吐、低延迟的自托管嵌入推理服务使 RAG 应用的向量化环节可以部署在本地集群而非依赖云端 API。本文基于仓库中的 API 参考文档、集成包源码与示例 Notebook完整讲解 TextEmbed 服务的部署命令、TextEmbedEmbedding类全部构造参数、请求链路与批处理机制帮助你在 LlamaIndex 中把任意 sentence-transformers 模型挂载为生产级嵌入后端。什么是 TextEmbedTextEmbed 是一个高吞吐、低延迟的 REST 服务专门用于托管向量嵌入推理。根据集成包 READMEREADME.md的说明它的设计目标与特性包括高吞吐与低延迟面向大量并发请求场景设计灵活的模型支持可加载多种 sentence-transformers 系列模型可扩展从源码结构看服务以独立进程方式运行客户端LlamaIndex 侧只是通过 HTTP 与之通信天然支持水平扩容批处理服务端支持批量推理客户端也对应实现了按批次切分的调用逻辑OpenAI 兼容的 REST API 端点请求/响应格式与 OpenAI embeddings 接口对齐单行命令部署一条命令即可同时部署多个模型多种嵌入精度格式支持 binary、float16、float32 三种输出格式便于在检索速度与精度之间取舍图像嵌入支持除文本外服务层还支持图像嵌入模型见 base.py 顶部模块 docstring 的说明。对应的 LlamaIndex 侧封装类是TextEmbedEmbedding其 API 参考页即 textembed.md该页由 mkdocs 自动从llama_index.embeddings.textembed模块生成导出成员为TextEmbedEmbedding。安装与依赖LlamaIndex 侧的集成包为llama-index-embeddings-textembed安装命令为pip install llama-index-embeddings-textembed从 pyproject.toml 可以确认其版本与依赖边界项目取值包名llama-index-embeddings-textembed当前版本0.4.0Python 要求3.10,4.0核心依赖llama-index-core0.13.0,0.15额外依赖aiohttp异步 HTTP 调用requests由 LlamaIndex 核心传递引入用于同步调用路径。导入路径为llama_index.embeddings.textembed见 pyproject 中[tool.llamahub]段的import_path声明包入口init.py 仅导出一个类from llama_index.embeddings.textembed.base import TextEmbedEmbedding __all__ [TextEmbedEmbedding]TextEmbed 服务端本身是另一个独立项目需要单独安装并启动pip install -U textembed启动 TextEmbed 服务在服务端机器上用一条命令指定模型、工作进程数与 API Key 即可启动python -m textembed.server --models sentence-transformers/all-MiniLM-L12-v2 --workers 4 --api-key TextEmbed参数含义--models要加载的 sentence-transformers 模型示例中为sentence-transformers/all-MiniLM-L12-v212 层 MiniLM 轻量模型约 384 维输出服务端支持通过同一参数部署多个模型--workers推理工作进程数4表示用 4 个 worker 并行处理请求--api-key客户端访问时需在Authorization头中携带的 Bearer Token。服务默认监听0.0.0.0:8000暴露 OpenAI 风格的基础路径/v1。这也正是 LlamaIndex 客户端的默认base_url——源码中的常量定义为DEFAULT_URL http://0.0.0.0:8000/v1见 base.py 第 22 行。若服务部署在远端只需把base_url指向实际地址。TextEmbedEmbedding 构造参数TextEmbedEmbedding是BaseEmbedding的直接子类测试文件 test_embeddings_textembed.py 断言了issubclass(TextEmbedEmbedding, BaseEmbedding)。其构造签名与字段定义位于 base.py 第 25–69 行参数一览参数类型默认值说明model_namestr必填无默认值服务端上已部署的模型名称作为请求体中的model字段发送base_urlstrhttp://0.0.0.0:8000/v1TextEmbed 服务的基础 URL请求会发送到{base_url}/embeddingembed_batch_sizeintDEFAULT_EMBED_BATCH_SIZELlamaIndex 核心默认值为 10每批次文本数量get_text_embedding_batch会按此大小切分输入timeoutfloat60.0单次 HTTP 请求的超时秒数同步与异步路径共用callback_managerOptional[CallbackManager]NoneLlamaIndex 回调管理器用于事件追踪auth_tokenOptional[Union[str, Callable[[str], str]]]NoneBearer 鉴权令牌支持静态字符串或返回令牌的生成函数可适配会过期的动态 Token注意model_name是唯一必须显式传入的参数且必须与--models启动参数中的模型名严格一致服务端据此选择推理模型。基本用法批量生成嵌入安装客户端包并启动服务后最小可用示例与 README.md 及官方 Notebook textembed.ipynb 一致如下from llama_index.embeddings.textembed import TextEmbedEmbedding # 初始化 TextEmbedEmbedding embed TextEmbedEmbedding( model_namesentence-transformers/all-MiniLM-L12-v2, # 必须与服务端 --models 一致 base_urlhttp://0.0.0.0:8000/v1, # 服务的 /v1 端点 auth_tokenTextEmbed, # 与服务端 --api-key 对应 ) # 批量获取文本嵌入 embeddings embed.get_text_embedding_batch( [ It is raining cats and dogs here!, India has a diverse cultural heritage., ] ) print(embeddings) # 每个元素是一个 384 维以 all-MiniLM-L12-v2 为例float 向量在完整的 RAG 流程中将embed作为embedding参数传入VectorStoreIndex.from_documents(...)即可接管整个向量化环节文档分块后由get_text_embedding_batch批量转向量查询时由_get_query_embedding对问题做同样的向量化从而保证 query 与文档落在同一语义空间。底层实现请求链路与响应解析同步调用_call_api同步路径的核心实现在 base.py 第 71–101 行。其流程可以拆解为四步组装请求头固定Content-Type: application/json当auth_token存在时附加Authorization: Bearer token头token 为字符串或调用函数取到的值组装请求体{input: texts, model: self.model_name}——input为字符串列表说明服务端接受一次性批量输入客户端无需在应用层再拆成单条请求POST 到{base_url}/embedding使用requests.post并带上timeoutself.timeout即由构造参数timeout默认 60 秒控制解析与校验非 200 状态码直接抛出Exception并附带状态码与响应体便于定位服务端错误成功时取response.json()[data]列表中每个元素的embedding字段返回json_data {input: texts, model: self.model_name} with requests.post( f{self.base_url}/embedding, headersheaders, jsonjson_data, timeoutself.timeout, ) as response: if response.status_code ! 200: raise Exception( fTextEmbed responded with an unexpected status message f{response.status_code}: {response.text} ) return [e[embedding] for e in response.json()[data]]响应结构{data: [{embedding: [...]}, ...]}与 OpenAI embeddings 接口的返回格式一致这印证了 README 中“OpenAI 兼容端点”的表述。异步调用_acall_api异步路径位于 base.py 第 103–135 行用aiohttp.ClientSession实现完全对称的逻辑同样的请求体、同样的鉴权头、同样对非 200 抛异常只是通过await session.post(...)与await response.json()完成非阻塞 IO。这意味着在async def上下文中如异步 Workflow、并发索引构建直接await embed.aget_text_embedding(...)可以与其他异步任务并发执行。单个/批量接口与批处理切分类中六个抽象方法_get_query_embedding、_get_text_embedding、_get_text_embeddings及对应的_aget_*版本都只是对_call_api/_acall_api的薄封装base.py 第 137–213 行单条输入被包成单元素列表取返回列表的第一个元素。值得强调的是批次切分发生在 LlamaIndex 核心层而非本类内部。在 llama-index-core 的 base.py 中get_text_embedding_batch约第 486 行起会按self.embed_batch_size把输入文本切成若干批再逐批调用子类的_get_text_embeddingsembed_batch_size字段在基类中以DEFAULT_EMBED_BATCH_SIZE为默认值第 81–82 行附近。对 TextEmbed 这种高吞吐服务可以把embed_batch_size调大以减少 HTTP 往返次数同时配合服务端的--workers提升并发推理能力。鉴权设计auth_token的类型是Optional[Union[str, Callable[[str], str]]]即既接受静态字符串也接受一个“输入 → 令牌”的函数。从这种签名可以推断该设计用于适配需要动态生成凭证的场景例如从密钥服务换取短期 Token。在本文示例的最简单场景下直接传入与服务端--api-key相同的字符串TextEmbed即可若服务端未开启鉴权可保持None此时请求不携带Authorization头代码中该头会被置为None。验证方式与测试集成包的测试 tests/test_embeddings_textembed.py 验证的是契约层面的事实——TextEmbedEmbedding必须是BaseEmbedding的子类def test_textembed_class(): Check if BaseEmbedding is one of the base classes of TextEmbedEmbedding. assert issubclass(TextEmbedEmbedding, BaseEmbedding), ( TextEmbedEmbedding does not inherit from BaseEmbedding )这保证了该类可以无缝替换 LlamaIndex 中任何嵌入后端。更完整的端到端验证方式是在本地按上文命令启动服务后运行 README 中的示例脚本观察embeddings是否返回与输入条数一致、维度为模型输出维度的向量列表若服务未启动或 Token 错误_call_api会抛出带状态码的异常便于快速定位是连接问题还是鉴权问题。适用场景与限制结合仓库中各文件的实际内容使用本集成前需要注意以下适用前提需要自托管服务与调用云端 API 的嵌入包如 OpenAI、Cohere 集成不同TextEmbed 客户端本身不包含任何推理能力必须先部署 TextEmbed 服务端并预先加载模型客户端/服务端版本配套当前集成包版本 0.4.0要求llama-index-core0.13.0,0.15、Python 3.10安装前可参照 pyproject.toml 确认依赖边界默认地址仅限本机base_url默认http://0.0.0.0:8000/v1远端部署时必须显式覆盖错误处理策略较直接任何非 200 响应都会抛出通用Exception重试、退避等策略需要在使用方自行封装响应契约依赖解析逻辑假设响应 JSON 含data列表且每项有embedding字段这对应 TextEmbed 的 OpenAI 兼容格式。对于希望在自有基础设施上运行开源 sentence-transformers 模型、同时保留 LlamaIndex 统一嵌入抽象可替换缓存、批量、回调等能力的场景TextEmbedEmbedding是一个把“服务化推理 框架侧索引/检索”拼接起来的轻量胶水层服务端负责吞吐与模型管理客户端负责与 RAG 流水线的对接。【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考