尧图网站建设 
Midscene 浏览器自动化快速上手指南3 步跑通第一个零代码任务【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene 是一个 AI 驱动的 GUI Agent用一句自然语言就能替你完成浏览器自动化与移动端操作写测试也不用拼代码。如果你是测试、开发或运营正被重复的网页操作消耗时间接下来 10 分钟可以跑通你的第一个任务。它是什么一个看得懂屏幕的自动化引擎一句话定位Midscene 像人一样看屏幕靠元素的长相和位置找到目标再完成点击、输入、滚动全程不需要你写 CSS 选择器或 XPath——页面布局改了你的指令通常依然有效。 对测试同学把提交订单并确认出现成功页写成断言Midscene 用视觉判断界面是否真的符合预期。 对开发同学先在 Playground 里验证自然语言指令再原样换成aiAct、aiQuery等 API 调进你的 Playwright 或 Puppeteer 脚本。 对非技术同学完全不碰代码在 Chrome 扩展面板里输入一句话浏览器就开始干活。三分钟上手 从 0 到第一条自然语言指令第一步构建扩展需先安装 pnpmgit clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install cd apps/chrome-extension pnpm run build构建完成后dist目录里就是完整的扩展文件。第二步装进 Chrome打开chrome://extensions/右上角开启开发者模式。点击加载已解压的扩展程序选中apps/chrome-extension/dist目录。第三步配置模型。Midscene 靠多模态模型看懂屏幕你需要准备一个带视觉理解能力的 API Key把下面这组配置整体粘贴到扩展设置页并保存export MIDSCENE_MODEL_BASE_URLhttps://ark.cn-beijing.volces.com/api/v3 export MIDSCENE_MODEL_API_KEYyour-api-key export MIDSCENE_MODEL_NAMEdoubao-seed-2-1-turbo-260628 export MIDSCENE_MODEL_FAMILYdoubao-seed把your-api-key换成你自己的密钥即可想用千问、GLM、Gemini 等其他模型去模型配置文档里抄对应那一段。图扩展装好后的 Midscene 侧边栏在这里输入指令即可驱动当前页面完整任务演示 自动填完一张供应商询盘表单任务设定某设备供应商官网有个询盘表单要填公司名称、联系邮箱和留言再点提交。在 Chrome 里打开表单页点工具栏的 Midscene 图标打开面板。在输入框写入指令填写联系表单公司名输入 Acme 科技邮箱输入 opsexample.com留言写想预约产品演示然后点击提交按钮。点运行。Midscene 先截图理解页面定位出三个输入框和提交按钮再逐个填入、最后点击提交。你会看到表单被完整填写并提交。点开执行报告可以逐步回看每一步的截图和它当时聚焦的元素哪里填错、点偏了一眼就能定位。同一句指令稍作改写还能变成下一条从列表页提取全部商品字段的aiQuery指令——验证过的话术就是你能直接复用的脚本。进阶能力三个把自动化范围扩大的玩法Bridge 模式用本地终端脚本接管桌面 Chrome扩展面板适合手动下指令要把自动化嵌进脚本就用 Bridge 模式本地终端脚本附着到你正在用的 Chrome 上直接复用 cookies、插件和登录态也就是自动化圈说的人在回路man-in-the-loop。脚本跑到哪你在浏览器里看到哪随时可以手动接管。import { AgentOverChromeBridge } from midscene/web/bridge-mode; const agent new AgentOverChromeBridge(); await agent.connectNewTabWithUrl(https://example.com); await agent.ai(type AI 101 and hit Enter);终端里执行tsx demo.ts扩展会弹出确认窗口点 Allow 后 Chrome 打开新标签页交给脚本控制。图Bridge 模式下本地脚本与桌面 Chrome 并行工作你能在浏览器里实时观察脚本进展Playground把难调的指令放到画面里磨指令写得别扭时先在 Playground 里试左侧控制面板改措辞、重跑右侧实时预览目标页面确认效果后再定稿省得在完整流程里反复试错。图Playground 分左右两栏左边输入并调整指令右边实时回显页面执行状态移动端支持同一套自然语言开进 AndroidWeb 只是入口之一。Android 设备通过 USB 连上电脑、按平台文档启动 Playground 后打开设置应用并连接 Wi-Fi这类指令和网页上是同一套执行体验断言、取数 API 也全部通用。图Android Playground 左侧显示设备信息右侧展示同一套自然语言指令在真机上的执行情况常见坑与下一步报 Cannot access a chrome-extension:// URL of different extension别的扩展往页面里注入了脚本和 Midscene 冲突。用开发者工具找到对应扩展 ID到chrome://extensions/禁用它再刷新页面。本地 Ollama 模型报 403设置环境变量OLLAMA_ORIGINS*允许扩展访问本地模型服务然后重新连接。元素找不到、点错位置把指令拆细比如点击搜索框输入关键词按回车分步描述执行前先等页面完全加载。配完模型没反应检查配置是否整段粘贴并保存、API Key 是否有效可以先用描述一下当前页面这类最简指令验证链路。下一步建议官方快速开始模型配置、扩展安装与首次体验全流程apps/site/docs/zh/quick-start.mdxBridge 模式完整说明与故障排查apps/site/docs/zh/bridge-mode.mdx【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Midscene 浏览器自动化快速上手指南：3 步跑通第一个零代码任务
Midscene 浏览器自动化快速上手指南3 步跑通第一个零代码任务【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene 是一个 AI 驱动的 GUI Agent用一句自然语言就能替你完成浏览器自动化与移动端操作写测试也不用拼代码。如果你是测试、开发或运营正被重复的网页操作消耗时间接下来 10 分钟可以跑通你的第一个任务。它是什么一个看得懂屏幕的自动化引擎一句话定位Midscene 像人一样看屏幕靠元素的长相和位置找到目标再完成点击、输入、滚动全程不需要你写 CSS 选择器或 XPath——页面布局改了你的指令通常依然有效。 对测试同学把提交订单并确认出现成功页写成断言Midscene 用视觉判断界面是否真的符合预期。 对开发同学先在 Playground 里验证自然语言指令再原样换成aiAct、aiQuery等 API 调进你的 Playwright 或 Puppeteer 脚本。 对非技术同学完全不碰代码在 Chrome 扩展面板里输入一句话浏览器就开始干活。三分钟上手 从 0 到第一条自然语言指令第一步构建扩展需先安装 pnpmgit clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install cd apps/chrome-extension pnpm run build构建完成后dist目录里就是完整的扩展文件。第二步装进 Chrome打开chrome://extensions/右上角开启开发者模式。点击加载已解压的扩展程序选中apps/chrome-extension/dist目录。第三步配置模型。Midscene 靠多模态模型看懂屏幕你需要准备一个带视觉理解能力的 API Key把下面这组配置整体粘贴到扩展设置页并保存export MIDSCENE_MODEL_BASE_URLhttps://ark.cn-beijing.volces.com/api/v3 export MIDSCENE_MODEL_API_KEYyour-api-key export MIDSCENE_MODEL_NAMEdoubao-seed-2-1-turbo-260628 export MIDSCENE_MODEL_FAMILYdoubao-seed把your-api-key换成你自己的密钥即可想用千问、GLM、Gemini 等其他模型去模型配置文档里抄对应那一段。图扩展装好后的 Midscene 侧边栏在这里输入指令即可驱动当前页面完整任务演示 自动填完一张供应商询盘表单任务设定某设备供应商官网有个询盘表单要填公司名称、联系邮箱和留言再点提交。在 Chrome 里打开表单页点工具栏的 Midscene 图标打开面板。在输入框写入指令填写联系表单公司名输入 Acme 科技邮箱输入 opsexample.com留言写想预约产品演示然后点击提交按钮。点运行。Midscene 先截图理解页面定位出三个输入框和提交按钮再逐个填入、最后点击提交。你会看到表单被完整填写并提交。点开执行报告可以逐步回看每一步的截图和它当时聚焦的元素哪里填错、点偏了一眼就能定位。同一句指令稍作改写还能变成下一条从列表页提取全部商品字段的aiQuery指令——验证过的话术就是你能直接复用的脚本。进阶能力三个把自动化范围扩大的玩法Bridge 模式用本地终端脚本接管桌面 Chrome扩展面板适合手动下指令要把自动化嵌进脚本就用 Bridge 模式本地终端脚本附着到你正在用的 Chrome 上直接复用 cookies、插件和登录态也就是自动化圈说的人在回路man-in-the-loop。脚本跑到哪你在浏览器里看到哪随时可以手动接管。import { AgentOverChromeBridge } from midscene/web/bridge-mode; const agent new AgentOverChromeBridge(); await agent.connectNewTabWithUrl(https://example.com); await agent.ai(type AI 101 and hit Enter);终端里执行tsx demo.ts扩展会弹出确认窗口点 Allow 后 Chrome 打开新标签页交给脚本控制。图Bridge 模式下本地脚本与桌面 Chrome 并行工作你能在浏览器里实时观察脚本进展Playground把难调的指令放到画面里磨指令写得别扭时先在 Playground 里试左侧控制面板改措辞、重跑右侧实时预览目标页面确认效果后再定稿省得在完整流程里反复试错。图Playground 分左右两栏左边输入并调整指令右边实时回显页面执行状态移动端支持同一套自然语言开进 AndroidWeb 只是入口之一。Android 设备通过 USB 连上电脑、按平台文档启动 Playground 后打开设置应用并连接 Wi-Fi这类指令和网页上是同一套执行体验断言、取数 API 也全部通用。图Android Playground 左侧显示设备信息右侧展示同一套自然语言指令在真机上的执行情况常见坑与下一步报 Cannot access a chrome-extension:// URL of different extension别的扩展往页面里注入了脚本和 Midscene 冲突。用开发者工具找到对应扩展 ID到chrome://extensions/禁用它再刷新页面。本地 Ollama 模型报 403设置环境变量OLLAMA_ORIGINS*允许扩展访问本地模型服务然后重新连接。元素找不到、点错位置把指令拆细比如点击搜索框输入关键词按回车分步描述执行前先等页面完全加载。配完模型没反应检查配置是否整段粘贴并保存、API Key 是否有效可以先用描述一下当前页面这类最简指令验证链路。下一步建议官方快速开始模型配置、扩展安装与首次体验全流程apps/site/docs/zh/quick-start.mdxBridge 模式完整说明与故障排查apps/site/docs/zh/bridge-mode.mdx【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考