ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

RocketRide 的 llm_deepseek 节点:在管道中接入 DeepSeek 云端、Ollama 本地与 OpenRouter 模型

RocketRide 的 llm_deepseek 节点:在管道中接入 DeepSeek 云端、Ollama 本地与 OpenRouter 模型 【免费下载链接】rocketride-serverHigh-performance AI pipeline engine with a C core and 50 Python-extensible nodes. Build, debug, and scale LLM workflows with 13 model providers, 8 vector databases, and agent orchestration, all from your IDE. Includes VS Code extension, TypeScript/Python SDKs, and Docker deployment.项目地址https://gitcode.com/gh_mirrors/ro/rocketride-server点击查看免费下载llm_deepseek是 RocketRide 高性能 AI 管道引擎中的一个标准 LLM 节点它基于 DeepSeek 官方提供的 OpenAI 兼容 API将deepseek-reasoner、deepseek-chat、DeepSeek V3/V4 系列以及 R1 蒸馏模型以统一的llminvoke 连接形式接入管道供 Agent 与其它需要大模型的节点直接调用。读完本文你将掌握该节点的完整配置方式30 个预设 Profile 的含义与选择、三种部署形态DeepSeek 云 API、Ollama 本地、OpenRouter的认证与端点要求以及它在保存时的云模型探测校验机制与底层源码实现。节点是什么一个 LLM 提供者两种使用方式该节点向管道提供 DeepSeek 语言模型作为llminvoke 连接可供 Agent 和任何需要 LLM 的节点消费同时它也能通过 lane 直接使用——送入一个问题得到一段生成的回答。节点注册信息见 services.jsonprotocol为llm_deepseek://classType为[llm]capabilities为[invoke]register为filter表明它是一个以过滤/调用方式参与管道数据流的 LLM 驱动节点。Lanes一条直通问答 laneLane inLane outDescriptionquestionsanswersSend a question directly, receive a generated answer在services.json中lanes 定义为questions: [answers]即管道数据从questionslane 进入、经模型推理后从answerslane 输出。该配置还附带内置冒烟测试test字段使用cloud-reasonerProfile向questions发送What is 22?断言answers输出包含Mock LLM response验证节点在管道中的基本问答链路。底层实现LangChain ChatOpenAI 客户端节点建立在LangChain 的ChatOpenAI客户端之上DeepSeek 暴露 OpenAI 兼容 API因此同一节点可对接 DeepSeek 云端点、本地 Ollama 服务或 OpenRouter。核心实现在 deepseek.py 的Chat类deepseek.py#L34-L73继承ai.common.chat中的ChatBase见 packages/ai/src/ai/common/chat.py负责统一的 token 管理、配置加载与输入校验构造时通过Config.getNodeConfig读取节点配置请求统一使用temperature 0保证输出的确定性适合作为 Agent 推理与管道数据处理的稳定底座max_tokens固定为所选 Profile 的 output-token 上限self._modelOutputTokens防止单次生成突破预算生成的聊天对象写入bag[chat]供节点实例IInstance继承ai.common.llm_base.LLMBase见 IInstance.py在_question中经_chat()调用。实例层的请求转发逻辑可参考 packages/ai/src/ai/common/llm_base.pyLLMBase._question从IGlobal._chat取出聊天实例通过 contextvar 传递 stop 序列并支持on_chunk/on_finish/on_reasoning_chunk流式回调因此该节点同样具备流式输出与思考链reasoning透传能力。Profiles30 个预设模型配置默认 ProfileCloud Reasonercloud-reasoner。每个 Profile 封装了 model、model source、上下文与输出 token 上限以及适用的端点多数情况下用户只需提供对应的 API Key。主表默认可见的 5 个 ProfileProfileModelContext tokensOutput tokensCloud Reasoner(default)deepseek-reasoner128,0004,096DeepSeek: DeepSeek V4 Prodeepseek-v4-pro1,048,576384,000DeepSeek: DeepSeek V4 Flashdeepseek-v4-flash1,048,576384,000DeepSeek: DeepSeek V3.2deepseek-v3.2163,84065,536DeepSeek: DeepSeek V3.2 Expdeepseek-v3.2-exp163,84065,536其余 25 个模型折叠区ProfileModelContext tokensOutput tokensCloud Chatdeepseek-chat163,84016,384DeepSeek R1 1.5B (deepseek-r1-1_5b)deepseek-r1:1.5b128,0004,096DeepSeek R1 7B (deepseek-r1-7b)deepseek-r1:7b128,0004,096DeepSeek R1 8B (deepseek-r1-8b)deepseek-r1:8b128,0004,096DeepSeek R1 14B (deepseek-r1-14b)deepseek-r1:14b128,0004,096DeepSeek R1 32B (deepseek-r1-32b)deepseek-r1:32b128,0004,096DeepSeek R1 70B (deepseek-r1-70b)deepseek-r1:70b128,0004,096DeepSeek R1 671B (deepseek-r1-671b)deepseek-r1:671b128,0004,096DeepSeek V3 (deepseek-v3)deepseek-v3128,0004,096DeepSeek: DeepSeek V3 0324deepseek-chat-v3-0324163,840147,456DeepSeek: DeepSeek V3.1deepseek-chat-v3.1163,840144,900DeepSeek: R1deepseek-r164,00016,000DeepSeek: R1 0528deepseek-r1-0528163,84032,768DeepSeek: R1 Distill Llama 70Bdeepseek-r1-distill-llama-70b8,1927,372DeepSeek: R1 Distill Qwen 32Bdeepseek-r1-distill-qwen-32b32,76832,768TNG: DeepSeek R1T2 Chimeradeepseek-r1t2-chimera163,840163,840Nex AGI: DeepSeek V3.1 Nex N1deepseek-v3.1-nex-n1131,072163,840DeepSeek: DeepSeek V3.1 Terminusdeepseek-v3.1-terminus163,84032,768DeepSeek: DeepSeek V3.2 Specialedeepseek-v3.2-speciale163,840163,840deepseek-v4-flash-0731deepseek-v4-flash-07311,310,720131,072deepseek-v4-flash-0731-batchdeepseek-v4-flash-0731:batch1,048,576943,718deepseek-v4-flash-latestdeepseek-v4-flash-latest1,310,720393,216deepseek-v4-flash-vision-expdeepseek-v4-flash-vision-exp1,048,576384,000deepseek-v4-pro-0813deepseek-v4-pro-08131,048,576384,000deepseek-v4-pro-0813-batchdeepseek-v4-pro-0813:batch1,048,576943,718这些 Profile 的完整定义在 services.json 的preconfig.profiles段 中可以从源码看到每个 Profile 的真实字段model、modelSourcemanual或openrouter、modelTotalTokens、modelOutputTokens、serverbase、apikey以及部分 OpenRouter Profile 附带的capabilities.reasoning: true标记如deepseek-v3.1、deepseek-r1等用于启用推理链能力和已下架模型的deprecated/migration提示如deepseek-r1-distill-qwen-32b、deepseek-r1t2-chimera等标注 Model no longer listed in OpenRouter。三类模型的来源划分Cloud profiles如cloud-reasoner、cloud-chat使用 DeepSeek APIserverbase固定为https://api.deepseek.com/v1Local profilesdeepseek-r1:*、deepseek-v3等以deepseek-r1-1_5b形式命名的本地条目使用 Ollama 兼容端点OpenRouter profilesV3/V4 系列与 R1 系列等使用 OpenRouter 凭据modelSource为openrouter。配置Endpoint 与认证Endpoint本地 Profile 使用 OpenAI 兼容的serverbase默认值为http://localhost:11434/v1Ollama且所选模型必须已ollama pull到本地。若端点留空节点启动时会抛出DeepSeek serverbase is required.见 deepseek.py#L56-L58。Cloud 与 OpenRouter Profile 自带端点无需手动设置。认证DeepSeek 云 ProfileAPI Key 必须以sk-开头其它格式会在启动时报Invalid DeepSeek API key format。源码中的判定条件是if api.deepseek in serverbase and not apikey.startswith(sk-)deepseek.py#L64-L65即仅对指向api.deepseek的云端点做格式强校验OpenRouter Profile需要 OpenRouter API Key本地 Profile无需任何凭据节点自动提供占位符sk-local-dummy-key以满足 OpenAI 客户端对 api_key 参数的非空要求deepseek.py#L61。Save-time validation保存时的云模型探测校验管道保存时IGlobal.validateConfig见 IGlobal.py#L41-L105会对仅限deepseek-reasoner和deepseek-chat两个云模型执行 1-token 探测使用官方openaiSDK 向https://api.deepseek.com/v1源码常量DEEPSEEK_BASE_URL发起一次max_tokens1的chat.completions.create请求消息内容为最小探测提示Hi常量VALIDATION_PROMPT。校验遵循以下行为约定仅当配置的 model 恰为上述两个云模型时才发起探测所有本地Ollama与 OpenRouter Profile 在保存时被有意跳过——本地服务配置错误只会在运行时暴露这是产品层面的设计决策探测失败不阻断保存而是以 warning 形式呈现并完整保留 HTTP 状态、错误类型与错误消息例如Error 401: authentication_error - ...错误格式化逻辑_format_errorIGlobal.py#L128-L146优先从APIStatusError的响应体中提取 provider 的error.type与error.message拼出Error status: type - message格式并将空白规范化为单行无结构化信息时直接回退到原始异常文本除APIStatusError外还分别捕获AuthenticationError、RateLimitError、APIConnectionError与OpenAIError统一格式化外层再兜底一层通用异常保护。因此把节点接入管道后的最佳实践是先保存触发云模型探测校验确认 Key 与端点无误而本地模型则应在运行管道前用ollama pull确保模型就绪并确认http://localhost:11434/v1可达。Schema 与依赖节点暴露的配置字段如下由文档生成器自动维护见 README 中的ROCKETRIDE:GENERATED:PARAMS段| Field | Type | Description | Default | ||---|---|---|---| |deepseek.profile|string|ModelDeepseek LLM model |cloud-reasoner| |model|string|ModelDeepseek model | |deepseek.profile通过services.json的fields段关联到各 Profile并在shape中以 Pipe 分组的表单呈现选择不同 Profile 时UI 依据conditional规则动态显示对应的 apikey / serverbase / modelSource 字段。运行时依赖声明在 requirements.txtopenailangchain-openailangchain-corelangchain这些依赖在beginGlobal阶段通过depends()按需加载与ChatBase提供的统一 LLM 抽象配合让同一份管道定义可以在不同模型后端之间无缝切换。快速上手建议在管道画布中拖入llm_deepseek节点服务协议llm_deepseek://注册类型 filter路径nodes.llm_deepseek按部署形态选择 Profile云端推理选默认cloud-reasoner对话场景可选cloud-chat本地隐私场景选对应的deepseek-r1:*本地 Profile追求长上下文与推理能力的场景可选 V4 系列 OpenRouter Profile依据认证规则填入 API Key云/OpenRouter本地 Profile 留空即可保存管道触发云模型探测校验确认无 warning 后通过questionslane 发送问题、从answerslane 读取回答或将其作为llm连接挂载给 Agent 节点使用。赞分享【免费下载链接】rocketride-serverHigh-performance AI pipeline engine with a C core and 50 Python-extensible nodes. Build, debug, and scale LLM workflows with 13 model providers, 8 vector databases, and agent orchestration, all from your IDE. Includes VS Code extension, TypeScript/Python SDKs, and Docker deployment.项目地址https://gitcode.com/gh_mirrors/ro/rocketride-server点击查看免费下载相关推荐RocketRide llm_vision_ollama 节点实战用本地 Ollama 视觉模型在管道中实现私有化图像理解RocketRide llm_vision_ollama 节点实战用本地 Ollama 视觉模型在管道中实现私有化图像理解 llm_vision_ollama如何快速上手AI智能体管理平台3种高效部署Hermes Studio方案对比如何快速上手AI智能体管理平台3种高效部署Hermes Studio方案对比 你是否曾为管理多个AI聊天机器人而感到头疼面对复杂的配置文件和分散的会话记录RocketRide llm_minimax 节点实战指南MiniMax 云端 API 与本地 vLLM/MLX 部署的 OpenAI 兼容接入RocketRide llm_minimax 节点实战指南MiniMax 云端 API 与本地 vLLM/MLX 部署的 OpenAI 兼容接入 Rocket上一篇三步极速转换B站缓存视频m4s转MP4的完整指南下一篇5分钟掌握系统依赖修复Visual C AIO工具完全指南创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表