ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

如何快速把 OpenRAG 接入 IBM watsonx.ai:一份 IBM 用户的 RAG 模型配置完全指南

如何快速把 OpenRAG 接入 IBM watsonx.ai:一份 IBM 用户的 RAG 模型配置完全指南 如何快速把 OpenRAG 接入 IBM watsonx.ai一份 IBM 用户的 RAG 模型配置完全指南【免费下载链接】openragOpenRAG is a comprehensive, single package Retrieval-Augmented Generation platform built on Langflow, Docling, and Opensearch.项目地址: https://gitcode.com/GitHub_Trending/open/openragOpenRAG 是基于 Langflow、Docling 和 Opensearch 构建的一体化 RAG检索增强生成平台。对于已经持有 IBM 账号的团队把IBM watsonx.ai作为 OpenRAG 的模型提供方是最省心的选择你不需要自己部署本地模型开箱即用。本文面向新手带你一步步完成OpenRAG 接入 watsonx.ai的完整配置覆盖云上的 watsonx.ai 和本地私有化Cloud Pak for Data两种部署形态。一句话概括在 OpenRAG 的「设置」里填写 watsonx.ai 的端点、项目 ID 和 API Key保存后即可从模型列表中选择语言模型与向量模型开始对话与知识问答。为什么选择 IBM watsonx.aiOpenRAG 支持多种模型提供方OpenAI、Ollama、Anthropic 等而 watsonx.ai 对 IBM 生态用户有几个天然优势免自建无需 GPU、无需本地模型管理直接调用云端推理。企业级合规IBM Cloud 自带 IAM 鉴权与权限隔离适合企业环境。模型丰富提供 Llama、Mistral、Granite 等主流开源模型以及 IBM 自研模型。⚠️模型兼容性提示OpenRAG 要求语言模型支持工具调用tool calling并具备处理代理式agentic推理任务的能力。不满足条件的模型不会出现在设置与新手引导列表中。模型列表的来源见 model_providers.yaml。场景一接入云端 watsonx.ai最常用适合绝大多数 IBM Cloud 用户。核心是准备3 样东西API 端点、项目 ID、API Key。1. 获取你的凭据在 IBM Cloud 控制台准备以下信息本步在 IBM 侧完成与 OpenRAG 无关项目说明在哪获取API KeyIBM Cloud API Key控制台 → Profile → API keysProject IDwatsonx.ai 项目标识watsonx.ai 控制台 → 项目Endpoint区域端点如https://us-south.ml.cloud.ibm.com由你的部署区域决定2. 在 OpenRAG 设置中填写凭据进入 OpenRAG 的Settings设置→ 模型提供方打开 IBM watsonx.ai 卡片界面会引导你填入三字段。相关界面代码见 watsonx-settings-form.tsx。三个字段含义如下watsonx.ai API Endpoint下拉选择区域端点例如https://us-south.ml.cloud.ibm.com。watsonx Project ID填你的 watsonx.ai 项目 ID。watsonx API key填 IBM Cloud API Key。✅ 填写后保存系统会自动校验凭据并拉取可用模型列表见 iam.py负责把 API Key 交换为短期 IAM 令牌。校验通过后即可进入下一步。3. 选择语言模型与向量模型保存凭据后回到设置页分别配置语言模型LLM驱动对话与推理。向量模型Embedding负责把文档切片向量化是 RAG 检索的关键。 向量提供方需设置为watsonx相关配置项见 configuration.mdx。OpenRAG 会自动为对话与摄入两个环节分别调用所选模型。完成以上三步你的 OpenRAG 就已经能基于 watsonx.ai 进行知识问答了。场景二接入本地私有化 watsonx.aiCloud Pak for Data如果你的企业把 watsonx.ai 跑在Cloud Pak for DataCPD集群上鉴权方式与云端不同——它不使用 IBM Cloud IAM而是用ZenApiKey。凭据字段说明私有化形态在设置里提供这些字段定义见 onprem.py字段是否必填说明Cluster URL✅CPD 集群基础地址不要带/ml/v1后缀Username视情况CPD 用户名与 API Key 一起组成 ZenApiKeyAPI key视情况CPD 的 API KeyProfile and settings → API keyZen API key可选预编码的base64(username:apikey)填了它就不用上面两项Deployment space ID大多必填集群控制台 Deployments 中可查或GET /v2/spaces⚙️关键区别OpenRAG 会直接询问集群本身它部署了哪些模型GET /ml/v1/foundation_model_specs并据此填充选择器而不是依赖预置清单。因此集群没部署的模型绝不会出现。模型列表拉取逻辑见 fetch_models。证书信任自签名 CA 必读CPD 集群通常挂在内部或自签名 CA 之后直接调用会因证书校验失败而报错。官方推荐的做法是设置SSL_CERT_FILE环境变量指向证书包# 将 certifi 的公共根证书与集群 CA 合并为一个包 cat $(python -m certifi) cluster-ca.crt /etc/ssl/certs/openrag-ca.pem export SSL_CERT_FILE/etc/ssl/certs/openrag-ca.pem⚠️ 注意SSL_CERT_FILE会替换而非追加根证书所以务必把公共根证书也拼进去否则会破坏对公网模型提供方的访问。详细说明见 onprem.py 顶部注释。常见问题排查遇到问题时可对照 troubleshoot.mdx 的 IBM watsonx.ai 专项模型不在列表里说明该模型不支持 tool calling或已被 IBM 下架下架清单见 model_providers.yaml。校验失败 / 401检查 API Key、Project ID 与端点是否匹配私有化场景确认已填 space ID。SSL 证书报错按上文配置SSL_CERT_FILE。回答质量差换用更大、更适合代理式 RAG 的模型过小或专为别的任务训练的模型会返回低质量或格式错误的回答。小结部署形态鉴权方式关键凭据适用人群云端 watsonx.aiIBM Cloud IAMAPI Key Project ID 端点绝大多数 IBM Cloud 用户私有化 CPDZenApiKey集群 URL 用户名/API Key space ID企业本地部署最快上手路径云端用户只需在设置里填入端点、项目 ID、API Key 三项保存并校验通过再选好语言与向量模型即可开始使用 watsonx.ai 驱动的 RAG 问答。 需要查看各环境变量含义时请查阅 configuration.mdx模型提供方可见性由 model_providers.yaml 统一控制。【免费下载链接】openragOpenRAG is a comprehensive, single package Retrieval-Augmented Generation platform built on Langflow, Docling, and Opensearch.项目地址: https://gitcode.com/GitHub_Trending/open/openrag创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表