UI-TARS Desktop 安装与使用指南用自然语言控制你的电脑【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop把文件拖来拖去、在网页表单里逐项填数据、逐条核对搜索结果——这类重复的鼠标键盘操作往往占用半天工时。想用脚本自动化又得查元素、写选择器界面一改版脚本就失效换台电脑还得重新适配。UI-TARS Desktop 就是为了解决这个问题它是基于字节跳动开源 UI-TARS 视觉语言模型的桌面 GUI Agent你用一句话描述任务它自己看屏幕、点鼠标、敲键盘。它目前内置两种本地操作器Computer Operator 直接操控本机窗口Browser Operator 驱动浏览器执行任务。整个流程是你说 → 它截图思考 → 它点击输入 → 实时反馈不需要写代码下载桌面应用、配好模型地址就能用。和传统 GUI 自动化差在哪对比项传统做法脚本 / 坐标自动化UI-TARS Desktop操作方式写代码硬编码元素坐标或选择器自然语言一句话界面改版后脚本失效要重新维护模型重新识别屏幕继续执行上手门槛需要熟悉自动化框架零代码会打字就能用系统支持常需针对不同系统写多套脚本同一应用支持 macOS / Windows过程记录手动截图、记日志自动生成逐步截图可导出 HTML 报告执行位置只能操作本地本地电脑、本地浏览器也支持远程操作器从零到跑通环境要求系统macOS 或 Windows桌面应用当前覆盖这两端使用 Browser Operator 需已安装 Chrome、Edge 或 Firefox目前仅支持单显示器环境多显示器可能导致部分任务失败从源码构建需要 Node.js 20.x 以上和 pnpm 9.x安装与首次启动最省事的方式是直接装桌面应用macOS 可用 Homebrew 一行命令brew install --cask ui-tars也可以从源码跑起来四步完成git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop cd UI-TARS-desktop pnpm install pnpm dev:ui-tarsmacOS 下把 UI TARS 图标拖进 Applications 文件夹即可完成安装装好后首次打开 macOS要到「系统设置 → 隐私与安全性」里给它开两个权限辅助功能模拟鼠标键盘和屏幕录制读取屏幕内容。不开这两个权限模型既看不见屏幕也动不了鼠标任务会卡在第 0 步。配置 VLM 模型服务应用本身不带模型需要指向一个 UI-TARS 推理服务。打开设置页选 VLM Provider例如 Hugging Face 部署的 UI-TARS-1.5或火山引擎的豆包-1.5-UI-TARS填三项Base URL、API Key、Model Name保存后点「Check Model Availability」验证连通性。两个常见坑Base URL 必须以/v1/结尾Provider 必须选与模型匹配的选项否则动作解析会失败。VLM 设置界面Provider、Base URL、API Key、Model Name 四项填完即可保存️ 核心功能走查首次启动选择使用场景进入应用后会看到两个入口Computer Operator控制本机和 Browser Operator控制浏览器。点「Use Local Computer」或「Use Local Browser」即可进入对应任务页左侧是任务列表和历史记录右侧是实时画面区域。首页两个入口左侧使用本地电脑右侧使用本地浏览器一行指令跑任务过程实时可见在输入框直接输入自然语言指令并发送。执行期间右侧面板会按步骤展示截图、模型的动作和结果你可以随时点 Terminate 中止任务不用担心它失控。任务执行界面左侧输入自然语言指令右侧实时显示屏幕截图预设配置一键导入模型地址、语言、报告存储等设置可以打包成一个 YAML 预设文件支持从本地文件或远程 URL 导入导入后设置自动生效。团队里换机器、换成员时不用再手动抄一遍配置。导入预设文件成功后VLM 配置自动填充右上角弹出导入成功提示远程操作器除本地外它还提供远程 Computer / Browser Operator无需部署环境即可在云端环境中执行任务界面右上角有免费时长的倒计时和 Terminate 按钮。Remote Browser Operator在云端浏览器环境中执行任务右上角显示免费时长倒计时 场景实战示例 1查 GitHub 项目的最新 issueBrowser Operator你输入「帮我看看 GitHub 上 UI-TARS-Desktop 项目最新的 open issue 是什么」它做了什么截图识别浏览器页面 → 移动到搜索框 → 输入项目名 → 点击进入仓库 → 打开 issue 列表你得到什么右侧逐步截图 最终回复直接告诉你最新 issue 的标题和状态示例 2修改 VS Code 的自动保存设置Computer Operator你输入「在 VS Code 设置里打开自动保存并把延迟设为 500 毫秒」它做了什么打开 VS Code → 进入设置页 → 找到 auto save 选项 → 依次修改两项值你得到什么设置即时生效全程操作留痕可导出成 HTML 报告存档或分享示例 3网页比价Browser Operator你输入「帮我在电商网站对比 iPhone 的价格」它做了什么打开浏览器 → 按默认搜索引擎检索 → 逐个页面读取价格信息你得到什么整理后的价格对比结果过程截图可随时回溯️ 踩坑速查高频问题原因解法macOS 上点了任务没反应缺系统权限系统设置 → 隐私与安全性开启「辅助功能」和「屏幕录制」重开应用模型连通性检查失败Base URL 或 Key 不对确认 Base URL 以/v1/结尾Key 与 Model Name 和部署端一致任务动作解析异常Provider 选错UI-TARS-1.5 必须选「Hugging Face for UI-TARS-1.5」不能选通用 OpenAI 兼容项多显示器下任务失败当前仅支持单屏把任务窗口和 Agent 放在同一主显示器内执行Browser Operator 入口不可用没装浏览器安装 Chrome、Edge 或 Firefox 后重启应用写在最后UI-TARS Desktop 把说人话就能操作电脑从演示效果变成了可日常安装、可留痕、可分享的桌面工具配置模型是唯一必须做的功课。先去跑一遍上面「查最新 issue」的例子看看它在你屏幕上怎么一步步思考。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考