把 Grok Bot 接入 Link 实现随处购物听上去像是一条简单的自动化规则用户把商品链接发给机器人机器人回一段基于大模型生成的购物建议。真正落地时这条链路涉及链接归一化、页面信息提取、模型调用、超时处理、安全校验和平台接入每一步都可能成为线上问题的来源。这篇内容围绕一个最小可运行案例展开用 Python 实现一个 Grok Bot 服务接收任意电商商品链接解析商品标题、描述、价格、图片等页面信息再调用 Grok 的 API 生成结构化购物分析最后把结果返回给用户。理解这套链路之后你可以把它接入企业 IM 机器人、网页端客服、内部购物助手或者作为独立的比价服务使用。1. 先理解 Grok Bot 与 Link 接入要解决什么问题1.1 什么是 Grok BotGrok Bot 是指基于 Grok 模型能力构建的自动化对话机器人。它不只是一个聊天窗口而是一段可以嵌入工作流的服务程序接收用户输入调用模型接口把模型输出再返回给用户。和传统关键词机器人不同Grok Bot 的优势是语言理解能力。你可以让它分析商品链接背后的内容而不是让它匹配“价格”“优惠”这类固定词。它能根据页面标题、描述、规格参数生成类似购物助手的人工判断比如“这台设备重量偏重但接口齐全适合桌面使用不适合频繁携带”。在构建 Bot 时Grok 通常通过官方 API 接入。开发者需要准备 API Key并把请求发送到兼容 OpenAI 协议的接口地址。项目落地前要登录 xAI 控制台确认当前可用的模型标识和接口地址因为模型名称和版本会随官方更新而变化。1.2 Link 在这条链路里不是简单超链接而是一条数据管道传统场景里Link 只是用户发给机器人的一个字符串。机器人要么直接忽略要么套一个固定模板回复。真正的 Link 接入要做三件事把链接解析成可访问的请求目标。从目标页面提取结构化商品信息。把提取结果作为上下文交给大模型让模型基于真实页面内容做分析。也就是说Link 是 Bot 的数据入口。Grok 本身不知道页面里写了什么它只知道模型中训练过的知识。如果你直接把一个商品链接丢给模型模型可能生成一段看起来正确、但和实际价格规格完全无关的回复。先解析页面再让模型分析才能避免模型凭空想象。1.3 随处购物的完整处理链路“随处购物”可以拆成两个能力维度第一个维度是入口随处。用户可以在不同聊天工具、网页插件、甚至企业内部系统里把商品链接发给同一个 Bot。只要 Bot 提供了 HTTP 接口各平台都能通过回调或 Webhook 把消息转发进来。第二个维度是流程完整。Bot 收到链接后不能只回一句“已收到”而是要把购物决策链路走完识别链接、提取信息、判断商品价值、输出购买建议。这样用户不需要跳转到购物 App 再手动搜索在聊天窗口里就能完成商品信息的初步筛选。下面是一个最小闭环的处理顺序用户发送商品链接。Bot 校验链接格式拒绝非 http/https 协议。展开短链接去掉跟踪参数得到规范化地址。抓取商品页面 HTML。从页面中提取标题、描述、价格、图片等字段。把提取结果组装成上下文调用 Grok API。Grok 返回购物分析。Bot 把分析结果返回给用户。这条链路每一步都可能失败链接无效、页面未抓到、字段为空、模型超时、参数被截断。后面所有实现都围绕这条链路展开。2. 环境准备与项目骨架2.1 Python 环境与依赖整个示例使用 Python 3.10 以上版本。依赖越少越好核心只需要四组能力Web 服务FastAPI 和 Uvicorn。网络请求requests。HTML 解析BeautifulSoup。Grok API 调用openai SDK因为 xAI 提供的 API 兼容 OpenAI 协议。先把依赖写入 requirements.txtfastapi0.110.0 uvicorn0.29.0 requests2.31.0 beautifulsoup44.12.3 openai1.23.0 python-dotenv1.0.1安装命令pip install -r requirements.txt如果国内网络环境安装慢可以使用国内 PyPI 镜像pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple这里的版本号只是示例。实际项目落地前要确认这些依赖和你选用的 Python 版本兼容尤其要注意 openai SDK 在 1.x 版本以后接口变化较大。2.2 配置 API Key 和基础参数不要把 Grok API Key 硬编码在代码里。放进 .env 文件并使用 python-dotenv 加载。.env 示例GROK_API_KEYyour_grok_api_key GROK_BASE_URLhttps://api.x.ai/v1 GROK_MODELgrok-2 PORT8000 REQUEST_TIMEOUT20 CACHE_TTL600 USER_AGENTMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36参数说明参数含义常见值注意事项GROK_API_KEY调用 Grok API 的身份凭证官方控制台生成不要提交到 GitGROK_BASE_URLAPI 接口地址https://api.x.ai/v1以官方文档为准GROK_MODEL模型标识grok-2 或其他官方标识登录控制台确认REQUEST_TIMEOUT页面抓取超时时间20 秒太短容易超时太长容易拖垮服务CACHE_TTL页面解析结果缓存时间600 秒降低重复抓取频率USER_AGENT请求头标识浏览器 UA某些站点拒绝无 UA 请求注意这里写的GROK_MODELgrok-2只是配置文件示例。不同时期官方提供的模型标识不一样有的版本可能命名为 grok-3、grok-4 或带日期后缀。正确做法是登录官方控制台查看对应代码示例里的 model 字段照着填。2.3 项目目录结构为了不把代码全部塞进一个文件按职责拆分模块grok-bot-link/ ├── .env ├── requirements.txt ├── config.py ├── security.py ├── link_resolver.py ├── page_parser.py ├── grok_client.py ├── prompt.py ├── main.py └── mock_server.py每个文件只负责一件事config.py 读取配置。security.py 校验链接防止 SSRF。link_resolver.py 展开短链接和清理跟踪参数。page_parser.py 从 HTML 提取商品信息。grok_client.py 调用 Grok API。prompt.py 组装分析提示词。main.py 提供 HTTP 服务。mock_server.py 提供本地商品页用于端到端验证。3. 实现 Link 解析模块3.1 链接归一化展开短链接、去掉跟踪参数用户发来的链接往往是 t.cn、s.click 这类短链还附带 utm_source、spm 等跟踪参数。直接抓取短链虽然也能拿到页面但目标站点可能会执行多次跳转导致请求超时。先做链接归一化能提高抓取成功率也方便后续缓存去重。短链接展开的核心是跟踪重定向import requests from urllib.parse import urlparse, urlunparse, parse_qsl, urlencode TRACKING_PARAMS { utm_source, utm_medium, utm_campaign, utm_term, utm_content, spm, scm, ref, referrer, from, } def clean_tracking_params(url: str) - str: parsed urlparse(url) query [ (k, v) for k, v in parse_qsl(parsed.query) if k.lower() not in TRACKING_PARAMS ] return urlunparse(parsed._replace(queryurlencode(query))) def expand_short_url(url: str, timeout: int 10) - str: headers {User-Agent: Mozilla/5.0} resp requests.head(url, allow_redirectsTrue, timeouttimeout, headersheaders) return resp.url这里需要注意几个坑有些站点不支持 HEAD 请求会返回 404 或空响应。遇到这种情况可以退化成 GET 请求只读取响应头不消费完整响应体。短链展开结果如果仍是同一个短链说明目标站点可能通过 JS 跳转HTTP 层无法拿到最终地址。此时只能基于当前地址继续抓取页面依靠 meta refresh 或 JS 渲染再处理。清理跟踪参数时不要影响电商平台必需的 spm 参数。如果去掉后页面发生跳转或降级要针对具体平台做白名单保留。3.2 抓取商品页元信息商品页的标题、描述、价格通常不在页面正文里而是在meta标签的 og: 属性或 JSON-LD 结构化数据中。电商平台面向爬虫和社交分享场景会把这些字段放在 meta 标签里方便微博、微信等平台生成分享卡片。用 meta 标签提取比直接解析商品标题 DOM 更稳定。页面抓取函数import requests from bs4 import BeautifulSoup from urllib.parse import urljoin def fetch_html(url: str, timeout: int 20) - str: headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept-Language: zh-CN,zh;q0.9,en;q0.8, } resp requests.get(url, timeouttimeout, headersheaders) resp.raise_for_status() if resp.encoding is None: resp.encoding resp.apparent_encoding return resp.text有些站点返回的是 gzip 压缩内容requests 默认会自动解压不需要手动处理。但要注意编码问题如果页面 Header 里没有 charsetrequests 默认按 ISO-8859-1 解码中文会乱码。通过apparent_encoding修正编码或直接根据 HTML 里meta charsetutf-8设置编码。3.3 提取结构化商品信息提取逻辑分成两步第一步读取meta propertyog:xxx标签。 第二步解析 JSON-LD 结构化数据它包含更规范的offers、price、currency字段。实现代码import json from bs4 import BeautifulSoup def _meta_content(soup, prop): tag soup.find(meta, attrs{property: prop}) or soup.find(meta, attrs{name: prop}) if tag and tag.get(content): return tag[content].strip() return def _parse_jsonld_offer(node, info): offers node.get(offers) if not offers: return info if isinstance(offers, list): offers offers[0] if isinstance(offers, dict): price offers.get(price) or offers.get(lowPrice) currency offers.get(priceCurrency) if price: info[price] price if currency: info[currency] currency return info def _parse_jsonld(data, info): if isinstance(data, list): for item in data: info _parse_jsonld(item, info) return info if isinstance(data, dict): if data.get(type) Product: if data.get(name): info[title] data[name] if data.get(description): info[description] data[description] if data.get(image): image data[image] if isinstance(image, list) and image: image image[0] if isinstance(image, dict): image image.get(url, ) info[image] image info _parse_jsonld_offer(data, info) return info def extract_product_info(html: str, page_url: str) - dict: soup BeautifulSoup(html, html.parser) info { url: page_url, title: _meta_content(soup, og:title) or (soup.title.string.strip() if soup.title else ), description: _meta_content(soup, og:description), image: _meta_content(soup, og:image), price: None, currency: None, } script soup.find(script, attrs{type: application/ldjson}) if script and script.string: try: data json.loads(script.string) info _parse_jsonld(data, info) except json.JSONDecodeError: pass price _meta_content(soup, product:price:amount) if price: info[price] price info[currency] _meta_content(soup, product:price:currency) return info这个提取函数覆盖了最常见的三种页面结构只有 og 标签的基础页面。带 JSON-LD 的规范电商页面。og 标签和 JSON-LD 混合的老式页面。如果目标平台有自己的页面结构可以在extract_product_info里加入平台适配分支比如京东、天猫页面的价格在特定span或者动态接口里。原始材料没有给出具体平台这里先以标准 meta 标签方案处理。4. 接入 Grok 生成购物建议4.1 调用 Grok APIGrok 提供的接口兼容 OpenAI 协议所以可以直接使用 openai 的 Python SDK只需要把base_url指向 Grok 的接口地址。import os from openai import OpenAI _client OpenAI( api_keyos.getenv(GROK_API_KEY), base_urlos.getenv(GROK_BASE_URL), ) def analyze_product(info: dict) - str: prompt build_prompt(info) resp _client.chat.completions.create( modelos.getenv(GROK_MODEL), messages[ { role: system, content: 你是一个严谨的购物助手。你只能基于用户提供的页面信息做分析 不能编造页面里不存在的价格、规格、品牌和库存数据。 如果信息不足请明确指出哪些字段缺失。, }, { role: user, content: prompt, }, ], temperature0.3, max_tokens600, ) return resp.choices[0].message.content这里有两个关键参数要解释temperature 设置成 0.3降低生成随机性。购物分析需要确定性不要让同样的链接每次返回不同结论。max_tokens 设置成 600限制回复长度。购物建议一般不需要长篇大论600 token 足够覆盖商品摘要、优缺点和购买判断。如果请求返回 401代表 API Key 错误返回 429代表触发了限流。这些错误要在服务层做兜底不能直接把异常堆栈抛给用户。4.2 构造商品分析提示词提示词是 Grok Bot 输出质量的关键。不要把整个 HTML 塞给模型那样浪费 token而且模型容易抓不住重点。应该只传提取好的结构化字段。def build_prompt(info: dict) - str: return f 请根据下面的商品页面信息生成一份简短购物分析。 商品链接{info.get(url, )} 商品标题{info.get(title, 未提取到)} 商品描述{info.get(description, 未提取到)} 商品价格{info.get(currency, )} {info.get(price, 未提取到)} 商品图片{info.get(image, 未提取到)} 要求 1. 先概括这个商品的核心定位。 2. 列出页面信息中值得注意的点包括价格合理性、功能特征、可能的隐藏成本。 3. 给出明确结论值得、观望、还是不建议购买。 4. 如果信息缺失直接说明缺失项不要推测。 5. 回复控制在 200 字以内。 提示词设计上有几个原则明确告诉模型“不要编造”。要求模型区分“页面信息”和“推测信息”。设置输出格式避免模型回复漫无边际。限定字数控制最终回复在聊天窗口里的可读性。4.3 组合响应保留原文与结构化结论模型返回的是纯文本分析。用户可能希望确认 Bot 分析的到底是不是自己发的那件商品。所以最终回复里要包含三部分解析到的原始商品信息。Grok 的分析结论。原始链接方便用户点击核对。这部分在 main.py 中组装def build_response(info: dict, analysis: str) - dict: return { original_url: info.get(url), product: { title: info.get(title), description: info.get(description), price: info.get(price), currency: info.get(currency), image: info.get(image), }, analysis: analysis, }这样做的好处是即使 Grok 分析出现偏差用户也能从原始商品信息里发现问题而不是把误判全部归因于 Bot。5. 用 FastAPI 把 Bot 暴露为服务5.1 定义接收 Link 的接口FastAPI 服务是 Bot 的核心入口。用户发链接、IM 平台回调、前端网页请求最终都会调用同一个接口。接口设计成 POST 请求输入只有 url 和可选的 user_id。from fastapi import FastAPI, HTTPException from pydantic import BaseModel import config import security import link_resolver import page_parser import grok_client app FastAPI(titleGrok Bot Link Service) class LinkRequest(BaseModel): url: str user_id: str | None None class LinkResponse(BaseModel): original_url: str normalized_url: str product: dict analysis: str app.post(/api/link, response_modelLinkResponse) def handle_link(req: LinkRequest): raw_url req.url.strip() if not security.is_safe_url(raw_url): raise HTTPException(status_code400, detail链接不合法) normalized_url link_resolver.expand_short_url(raw_url) normalized_url link_resolver.clean_tracking_params(normalized_url) try: html page_parser.fetch_html(normalized_url, timeoutconfig.REQUEST_TIMEOUT) except Exception as exc: raise HTTPException(status_code502, detailf页面抓取失败: {exc}) info page_parser.extract_product_info(html, normalized_url) if not info.get(title): raise HTTPException(status_code422, detail未能从页面提取到商品信息) analysis grok_client.analyze_product(info) return build_response(info, analysis)接口的职责边界很清晰校验、归一化、抓取、解析、分析、返回。任何一步失败都返回明确错误信息不让用户看到裸异常。5.2 接入 IM 平台回调真实 Bot 不会只提供 HTTP 接口。用户是在聊天工具里发链接所以需要把聊天工具的消息事件转发到/api/link。接入方式是平台相关的。常见做法是在 IM 开放平台创建机器人拿到回调地址和密钥。平台收到用户消息后把消息内容 POST 到你的后端回调地址。后端从消息文本里提取 URL再调用/api/link。拿到分析结果后调用平台 API 把消息发送回会话。回调接口可以做成一个轻量转发层from fastapi import Request app.post(/api/im/callback) async def im_callback(request: Request): body await request.json() text body.get(text, ) conversation_id body.get(conversation_id, ) url extract_url_from_text(text) if not url: return {ok: False, reason: no_url} link_result handle_link(LinkRequest(urlurl)) send_message(conversation_id, link_result) return {ok: True}要注意handle_link是同步函数在 FastAPI 的 async 回调里直接调用会阻塞事件循环。生产环境要么把handle_link改成异步要么把它扔到线程池要么用任务队列异步处理。最简单的方式是用 FastAPI 的run_in_threadpool或者直接把这个函数声明成普通 sync 路由FastAPI 会自动放到线程池执行。5.3 启动与验证主服务启动命令uvicorn main:app --host 0.0.0.0 --port 8000本地验证接口使用 curlcurl -X POST http://127.0.0.1:8000/api/link \ -H Content-Type: application/json \ -d {url:https://example.com/product/123}如果直接请求外部链接受网络环境影响可以先启动本地 mock 商品页服务。mock_server.pyfrom fastapi import FastAPI from fastapi.responses import HTMLResponse mock FastAPI() mock.get(/product/123) def product(): return HTMLResponse( html head meta propertyog:title content测试机械键盘 87 键 / meta propertyog:description content这是一段用于本地验证的商品描述。 / meta propertyog:image contenthttps://cdn.example.com/keyboard.png / meta propertyproduct:price:amount content299 / meta propertyproduct:price:currency contentCNY / title测试机械键盘/title /head body h1测试商品页面/h1 /body /html , media_typetext/html; charsetutf-8)启动 mockuvicorn mock_server:mock --host 127.0.0.1 --port 9000然后请求主服务curl -X POST http://127.0.0.1:8000/api/link \ -H Content-Type: application/json \ -d {url:http://127.0.0.1:9000/product/123}注意正常情况下security.is_safe_url应该拒绝内网地址。本地调试时有两种处理方式一种是在配置里临时关闭安全校验另一种是给安全校验函数加一个allow_private参数仅本地开发打开。生产环境必须保持内网拦截开启。6. 常见问题与排查路径6.1 链接解析返回空内容现象接口正常返回但商品 title、description 都是空字符串。可能原因目标页面是纯 JS 渲染服务端返回的 HTML 里没有商品信息。页面使用 iframe 嵌套商品数据在子 frame 中。目标站点根据 User-Agent 判断来源对非浏览器请求返回空壳页面。提取逻辑只适配了 meta 标签目标页面用的是自定义字段。排查顺序先用 curl 抓原始 HTML确认响应里是否存在商品名称。检查 HTML 里是否存在meta propertyog:title。检查 JSON-LD 是否存在且 JSON 是否合法。确认页面是否发生了验证码跳转或登录跳转。解决方案对 JS 渲染页面引入 Playwright 无头浏览器。对 iframe 页面解析所有 iframe src递归抓取子页面。调整 User-Agent 为真实浏览器。针对特定平台增加解析插件。6.2 Grok API 调用失败或超时现象页面解析成功但接口返回 500 或超时。可能原因API Key 失效。base_url 配置错误请求打到了不存在的地址。model 参数和账号可用的模型不匹配。账号余额不足。单次请求内容过长超过模型上下文限制。排查方式打开日志观察错误状态码和异常信息。2025-01-15 10:00:01 ERROR grok request failed: 401 Invalid API key 2025-01-15 10:00:02 ERROR grok request failed: 404 model not found 2025-01-15 10:00:03 ERROR grok request failed: 429 rate limit exceeded处理建议401 检查 API Key 是否复制完整。404 检查 model 名称是否照抄官方文档最新标识。429 降低调用频率增加本地重试和退避。超时问题建议把max_tokens调小并增加 API 调用侧的 timeout 参数。6.3 页面抓取被目标站点拦截现象抓取返回 403、418或者页面内容明显是验证码页面。可能原因请求头缺少 cookie 或 User-Agent。请求频率过高IP 被限流。目标站点有反爬规则禁止非浏览器客户端。解决方案降低抓取频率同一个链接短时间内只抓一次。使用本地缓存避免重复请求。页面需要登录的走平台开放接口而不是网页抓取。不要绕过验证码不要尝试破解签名接口。这里要特别强调合规性只抓取公开可访问的页面尊重目标站点的 robots.txt 和用户协议。如果目标站点明确禁止抓取应该改用官方开放 API或者放弃该平台。6.4 模型误判与幻觉现象Grok 给出了商品页面上不存在的价格、功能或品牌信息。原因提示词约束不够模型把训练知识当成了页面内容。解决方式在 system 消息里明确要求“只根据页面信息分析”。让模型优先复述页面原文再给出判断。增加缺失信息提示比如“以下字段未提取到请基于现有信息分析”。降低 temperature减少自由发挥。幻觉问题无法完全消除只能通过提示词和字段供给来控制。如果页面信息本身不完整模型很容易补全想象所以要教会模型承认“不知道”。7. 最佳实践与可复用清单7.1 学习环境与生产环境的差异本地跑通这个项目只需要几分钟但生产环境要额外处理很多问题。下表整理了主要差异关注点本地学习环境生产环境API Key放 .env 即可放密钥管理服务运行时注入链接安全可允许内网地址必须拦截私网、回环和元数据地址抓取缓存内存字典即可Redis 缓存设置 TTL慢速抓取同步请求Celery 或独立队列任务日志print 输出结构化日志记录耗时和错误码限流无按用户 IP 或 user_id 限流部署Uvicorn 单进程Gunicorn Uvicorn Worker监控手动 curl接口成功率、耗时、错误率告警生产环境的另一个重点是超时控制。页面抓取和 Grok API 调用都是外部依赖必须设置超时和重试策略否则一个慢请求会拖满整个 Worker。7.2 可复用部署前检查清单上线前把下面清单逐项过一遍[ ] 确认 GROK_API_KEY 已配置且没有提交到 Git 仓库。[ ] 确认 GROK_BASE_URL 和 GROK_MODEL 与官方文档一致。[ ] 确认安全校验函数拦截了 localhost、127.0.0.1、公网云元数据地址。[ ] 确认 URL 协议白名单只允许 http 和 https。[ ] 确认短链接展开有超时时间且 HEAD 失败时能降级为 GET。[ ] 确认抓取请求设置了 User-Agent 和 Accept-Language。[ ] 确认响应编码处理正确中文不会乱码。[ ] 确认接口对异常输入返回 400 或 422而不是 500。[ ] 确认 Grok API 调用增加了 timeout 参数。[ ] 确认重复链接有缓存不会频繁抓取目标站点。[ ] 确认日志中不记录完整 API Key 和用户敏感信息。7.3 扩展方向当前示例是最小闭环实际产品可以在三个方向继续演进。第一个方向是商品信息增强。当前只提取了标题、描述和价格缺少品牌、规格、售后政策、发货时间等字段。可以针对主流电商平台增加独立解析器或接入平台开放接口获取更规范的商品数据。第二个方向是用户状态管理。如果把 user_id 存下来Bot 就能记住用户历史咨询过的商品在用户第二次发送同款链接时主动提示“这个商品你之前看过当时价格是 299 元目前未降价”。这类能力需要引入数据库和缓存。第三个方向是触发方式扩展。当前只能在用户主动发链接时响应。可以增加定时任务或订阅机制例如用户设定目标价格后Bot 定期抓取链接当价格降到阈值时主动推送通知。无论怎么扩展核心链路都保持不变链接归一化、页面解析、上下文组装、模型分析、结果回传。先把这条链路做稳再往上面叠加业务能力是更稳妥的开发顺序。