ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

UI-TARS 桌面版:AI 看屏幕,替你点鼠标

UI-TARS 桌面版:AI 看屏幕,替你点鼠标 UI-TARS 桌面版AI 看屏幕替你点鼠标【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop输入打开浏览器查一下这个项目未关闭的 issue列出前 5 条然后等。浏览器自己翻页、筛选、读取几分钟后一份带截图的任务报告生成链接自动进了剪贴板。这就是 UI-TARS 桌面版 的日常一句话驱动的 GUI 自动化背后是视觉语言模型 在替你盯屏幕、想动作、点鼠标。它是什么会看屏幕的本地 Agent一句话定位UI-TARS 桌面版 是基于 UI-TARS 视觉模型的开源桌面应用你负责说人话它负责看屏幕、动手操作。适合谁被重复点击拖慢的办公用户想把界面流程自动化、又不想写脚本的开发者。任务以前现在打开网页、筛选 issue、记录标题10 次以上点击3~5 分钟一句话等待执行按日期整理下载文件夹逐个拖拽约 20 分钟一句话自动建子文件夹跨平台比价来回切标签页核对一句话结果并排返回安装、权限与第一条指令第 1 步装应用并给权限。macOS 把 UI TARS 拖进 Applications然后在系统设置 → 隐私与安全性里开启辅助功能和屏幕录制两项权限——少一项它要么看不见屏幕要么动不了鼠标。Windows 首次启动会弹不识别的发布者提示点仍要运行继续即可。第 2 步接模型。打开设置页VLM 提供商二选一火山方舟的 Doubao-1.5-UI-TARS或 Hugging Face 自部署的 UI-TARS-1.5-7B。填入 Base URL 与 API KeyBase URL 以/v1/结尾提供商选项必须和所选模型对应否则动作解析会出错。第 3 步发指令。新建会话先选场景本地计算机操作或本地浏览器操作。浏览器模式要求本机装有 Chrome、Edge 或 Firefox官方文档建议单显示器环境多屏可能导致部分任务失败。三条指令今天就能跑指令 1整理下载文件夹把下载文件夹里的 .png 和 .jpg按创建日期移到设计素材的月份子文件夹它替你做的扫描目录 → 识别图片 → 建月份子文件夹 → 批量移动。几十张图过去逐个拖要约 20 分钟现在一句话。指令 2查项目动态打开浏览器搜索 UI-TARS-desktop 的未关闭 issue按创建时间列出前 5 条标题它替你做的启动浏览器 → 进入 GitHub → 搜索并筛选 → 读取列表 → 把标题写回对话框。指令 3跨站比价对比 iPhone 16 在 Amazon 和 Apple 官网的到手价它替你做的开两个标签页 → 各自搜索 → 提取价格 → 并排给结论。它是怎么看懂屏幕的把整个循环想成眼睛、大脑、手。眼睛操作器周期性截图。本地模式截整个桌面浏览器模式截当前标签页。大脑视觉语言模型同时看截图和你的指令决定下一步——点哪里、输入什么还是任务已完成。手packages/ui-tars/action-parser/把模型输出的动作文本解析成真实坐标packages/ui-tars/operators/里的操作器nut-js 桌面、browser 浏览器、adb 安卓执行点击与输入新截图再喂回大脑直到任务结束。这一圈就是 UTIO 数据流代码上是 monorepo 分层pnpm-workspace.yaml统一管理所有包智能体与模型层在multimodal/agent-tars/桌面应用、操作器、动作解析器各自独立新增平台操作器不需要动核心。进阶玩法换模型、免费额度、任务报告免费额度。v0.2.0 起内置远程计算机/浏览器操作点击即可接管远端环境首次使用送 30 分钟免费额度右上角有倒计时。注意官方远程服务已于 2025-08-20 停用之后需参照 docs/quick-start.md 把 Agent 部署到火山引擎自己的环境。换模型。设置页随时切换提供商从火山方舟切到 Hugging Face 自部署的 UI-TARS-1.5-7B 都可以Base URL 和模型名去对应平台的端点页面核对别手抄。任务报告。每个任务结束自动生成任务报告逐步动作记录、关键截图、完整操作视频都在里面报告链接自动复制到剪贴板可上传分享方便复盘或排查哪一步失败了。指令怎么写才稳模糊说法 → 具体说法整理文件 → 把桌面所有 PDF 移到文档文件夹按修改日期排序给对象和判定条件查 issue → 搜索项目未关闭 issue按创建时间取前 5 条标题长任务拆短句打开浏览器 → 访问页面 → 提取前 10 条 → 存成 Markdown每句单独发上下文写全在 VS Code 设置里打开自动保存延迟 500 毫秒别抢方向盘任务运行期间别动鼠标键盘目标窗口保持前台单显示器最稳边界与路线图先说边界免得踩坑目前仅支持单显示器多屏可能导致任务失败docs/quick-start.md 明确标注浏览器操作依赖本机 Chrome、Edge 或 Firefox本地操作需要自备 VLM云端 API 或 Hugging Face 自部署二选一官方安装文档只覆盖 macOS 与 Windows路线图方面项目迭代很快v0.2.02025-06带来远程操作器Agent TARS CLI v0.3.02025-11加入流式输出、事件流查看器和 AIO 沙箱整个 stack 正朝终端、Web UI 与 MCP 工具集成扩展。三步开始克隆仓库git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop按 docs/quick-start.md 完成安装与模型配置从整理下载文件夹这类低风险任务发出第一条指令跑通再看报告项目完全开源CONTRIBUTING.md 写明了参与方式修 bug、补文档、提建议都可以直接上手。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表