ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

5分钟零代码上手:把 Midscene Chrome 扩展变成你的 AI 浏览器操作员

5分钟零代码上手:把 Midscene Chrome 扩展变成你的 AI 浏览器操作员 5分钟零代码上手把 Midscene Chrome 扩展变成你的 AI 浏览器操作员【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene Chrome 扩展是一款即装即用的 AI 浏览器自动化工具你用自然语言输入指令它就能替你点击、输入、提取页面数据不用写一行 JavaScript5 分钟就能跑通第一个自动化。还在为浏览器脚本头疼回想一下你上次给网页写自动化脚本先找class再等动画加载页面一改版选择器全得重新排查。哪怕只是每天把页面上的价格抓下来这种小事也得先写一堆定位代码。要是能用一句大白话说清楚呢这正是 Midscene 想做的事。认识你的新 AI 浏览器操作员Midscene 是一个开源的 GUI Agent 项目它不读页面的 DOM 结构而是直接从截图里看出按钮位置再动手执行。对三类人特别有用被选择器折磨的测试工程师想快速验证流程的开发者需要定期收集页面数据的办公党。一句话说需求四种能力装好后你会在侧边栏里得到三种指令类型直接输入即可点、输、滚aiAct点击搜索框输入车次回车。提取结构化数据aiQuery获取前 5 趟车的出发时间、到达时间和票价。验证页面状态aiAssert页面显示暂无余票。同一套视觉引擎还能驱动 Android、iOS 和桌面设备并不只限于浏览器三步装好就能跑装扩展Chrome 商店搜 Midscene点添加到 Chrome。访问不了商店的话从项目 Releases 下载安装包用加载已解压的扩展程序手动装注意手动装不会自动更新。配模型点侧边栏设置图标按模板填模型配置一共四个变量——模型地址、API Key、名称和 familyMIDSCENE_MODEL_API_KEYyour-api-key # 你的模型服务商密钥 MIDSCENE_MODEL_NAMEdoubao-seed-2-1-turbo-260628跑第一条指令打开任意网页在右侧侧边栏输入指令点运行浏览器就会自己动起来。想让脚本接管你的浏览器默认情况下扩展只在当前页面里干活。如果你在扩展面板里开启Bridge 模式本地终端里的脚本就能直接接管桌面 Chrome——而且复用的是你已登录的 cookie 和页面状态等于真人替身在操作。先装依赖midscene/web然后写脚本const agent new AgentOverChromeBridge(); await agent.connectCurrentTab(); // 附着到你当前激活的标签页 await agent.aiAct(输入目的地点击查询);脚本运行后扩展会弹出确认窗点 Allow 即完成连接。跨机器远程访问只要在 Bridge 模式面板填一下服务器地址详见桥接模式文档。五分钟通勤查票不再手查走一个完整例子。场景每天早上你要查次日杭州东到上海虹桥的高铁票价发到团队群。传统做法用 Midscene编写打开页面 → 等表格加载 → 逐个字段定位输入查询明日车次提取前 5 个的票价维护页面改版选择器失效全量返工页面仍可被模型识别通常不用改校验再写一段断言代码追加页面显示票价来验证第一次跑通之后这活儿就交给浏览器了。装好了没反应现象运行报Cannot access a chrome-extension:// URL of different extension。解法有其他扩展向页面注入了脚本在冲突——在开发者工具里找chrome-extension://开头的 iframe记下扩展 ID到chrome://extensions/禁用对应扩展后刷新页面。现象本地 Ollama 模型返回 403。解法设置环境变量OLLAMA_ORIGINS*允许扩展访问。现象点击位置偏移或点错元素。解法先升级到最新版本图标按钮在指令里改用视觉描述比如页面右上角的人形头像图标而不是功能描述。现象桥接脚本要上传本地文件却没权限。解法在扩展详情页开启 Allow access to file URLs 后重新连接。今天就跑通你的第一个自动化任务挑一个你天天打开的页面跑一遍搜索 提取组合拳。试试 Bridge 模式把脚本接到你真实登录的浏览器上。侧边栏验证过的指令直接搬进 Playwright 脚本放进测试流程。通读快速开始文档把三种 API 吃透。第一次自动化往往比你想象的更容易。现在就打开浏览器说出你的第一条指令吧【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表