尧图网站建设 
UI-TARS GUI 自动化教程视觉模型如何看懂屏幕并执行点击【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是字节跳动 Seed 团队开源的多模态 GUI Agent。它根据截图识别屏幕元素输出点击、输入等可执行动作。仓库附带动作解析库与部署文档支持本地与云端接入。项目定位UI-TARS 建立在视觉语言模型之上通过强化学习让模型先用 Thought 推理、再输出 Action完成桌面、浏览器与手机应用中的 GUI 任务。它适合希望用模型驱动操作替代脚本的自动化工程师和研究人员。README 同时说明边界在模糊或不熟悉的环境中模型可能误判元素或采取次优动作大规模任务需要可观算力开源的 7B 模型未针对游戏场景优化。核心能力从截图到动作核心能力分三层模型负责理解与推理提示词模板决定动作空间解析库负责坐标还原。截图理解与动作输出模型接收截图、任务指令与历史动作输出「Thought: 推理 Action: 动作」两行格式。架构图中的感知模块覆盖元素描述、密集说明、转换说明、问答与 Set-of-Mark 等能力为浏览器导航、办公软件交互和文件管理这类桌面任务提供基础。跨平台动作空间选择codes/ui_tars/prompt.py 内置 COMPUTER_USE、MOBILE_USE 与 GROUNDING 三套提示词模板。COMPUTER_USE 面向 Windows、Linux、macOS 桌面支持单击、双击、右键、拖拽、快捷键、输入与滚动MOBILE_USE 面向手机或 Android 模拟器额外提供 long_press、open_app、press_home、press_backGROUNDING 只输出动作不带推理适合轻量任务与评测。桌面自动化选前者移动端选后者。动作解析与坐标换算基于 Qwen 2.5 VL 的模型用绝对坐标定位元素而截图进入模型前会经过智能缩放因此解析时必须传回原始截图尺寸与 factor 才能还原真实点击位置。ui-tars 包的 parse_action_to_structure_output 把模型输出转成结构化动作parsing_response_to_pyautogui_code 再生成可直接运行的 pyautogui 脚本支持 click、type、hotkey、drag、scroll 等。解析前可以先用原图对照下图中红点是模型输出坐标经过还原后落在 1920x1080 截图上的实际位置。安装与模型部署最短路径两条命令。先装解析库pip install ui-tars # or uv pip install ui-tars模型本体按 README_deploy.md 部署在 Hugging Face Inference Endpoints 导入 UI-TARS 1.5 7B硬件选 GPU L40S 1GPU 48G文档同时推荐 Nvidia L4、A100并加入环境变量 CUDA_GRAPHS0 与 PAYLOAD_LIMIT8000000分别用于避免部署失败和大图请求失败。这是运行 7B 模型的最低硬件要求README 的 Limitations 也提醒大规模或长时间任务会消耗更多算力。第一次使用从截图到点击脚本端点部署完成后第一次跑通通常按三步走。第一步把截图与任务发给端点原始响应形如Thought: …换行Action: click(start_box(177,549))README_deploy 中的预期输出仓库的 data/test_messages.json 也提供了现成的多轮消息示例。第二步用解析函数还原坐标注意 factor1000 与原始截图宽高from ui_tars.action_parser import parse_action_to_structure_output response Thought: Click the button\nAction: click(start_box(100,200)) parsed_dict parse_action_to_structure_output( response, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl )返回的是结构化动作列表包含 action_type、action_inputs、thought 等字段再把它交给 parsing_response_to_pyautogui_code即可得到可执行的自动化脚本。使用建议与常见问题点击位置不准先检查是否按原始截图宽高传入 origin_resized_width/height。Qwen 2.5 VL 使用绝对坐标缩放后漏还原会让点击偏移README_coordinates.md 有完整还原与可视化示例。7B 与完整模型怎么选型README 报告 UI-TARS-1.5 在 OSWorld100 步取得 42.5、ScreenSpot-V2 取得 94.2模型规模对比表中 7B 版在同一基准为 27.5且提示 7B 未针对游戏场景优化。以通用桌面任务为目标选 7B 即可追求更高分数可联系官方获取研究准入。成本预估云端部署以 48G L40S 实例为基准README 指出长时间扩展场景的算力开销更高。建议先用小任务端到端跑通再评估是否扩容。小结UI-TARS 把「截图进、动作出」拆成了清晰的链路模型负责理解与推理ui-tars 包负责解析与脚本生成。下一步建议先读完 README_deploy.md 把端点跑起来再查看 codes/ui_tars/ 的源码理解坐标换算细节。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 UI-TARS GUI 自动化教程：视觉模型如何看懂屏幕并执行点击
UI-TARS GUI 自动化教程视觉模型如何看懂屏幕并执行点击【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是字节跳动 Seed 团队开源的多模态 GUI Agent。它根据截图识别屏幕元素输出点击、输入等可执行动作。仓库附带动作解析库与部署文档支持本地与云端接入。项目定位UI-TARS 建立在视觉语言模型之上通过强化学习让模型先用 Thought 推理、再输出 Action完成桌面、浏览器与手机应用中的 GUI 任务。它适合希望用模型驱动操作替代脚本的自动化工程师和研究人员。README 同时说明边界在模糊或不熟悉的环境中模型可能误判元素或采取次优动作大规模任务需要可观算力开源的 7B 模型未针对游戏场景优化。核心能力从截图到动作核心能力分三层模型负责理解与推理提示词模板决定动作空间解析库负责坐标还原。截图理解与动作输出模型接收截图、任务指令与历史动作输出「Thought: 推理 Action: 动作」两行格式。架构图中的感知模块覆盖元素描述、密集说明、转换说明、问答与 Set-of-Mark 等能力为浏览器导航、办公软件交互和文件管理这类桌面任务提供基础。跨平台动作空间选择codes/ui_tars/prompt.py 内置 COMPUTER_USE、MOBILE_USE 与 GROUNDING 三套提示词模板。COMPUTER_USE 面向 Windows、Linux、macOS 桌面支持单击、双击、右键、拖拽、快捷键、输入与滚动MOBILE_USE 面向手机或 Android 模拟器额外提供 long_press、open_app、press_home、press_backGROUNDING 只输出动作不带推理适合轻量任务与评测。桌面自动化选前者移动端选后者。动作解析与坐标换算基于 Qwen 2.5 VL 的模型用绝对坐标定位元素而截图进入模型前会经过智能缩放因此解析时必须传回原始截图尺寸与 factor 才能还原真实点击位置。ui-tars 包的 parse_action_to_structure_output 把模型输出转成结构化动作parsing_response_to_pyautogui_code 再生成可直接运行的 pyautogui 脚本支持 click、type、hotkey、drag、scroll 等。解析前可以先用原图对照下图中红点是模型输出坐标经过还原后落在 1920x1080 截图上的实际位置。安装与模型部署最短路径两条命令。先装解析库pip install ui-tars # or uv pip install ui-tars模型本体按 README_deploy.md 部署在 Hugging Face Inference Endpoints 导入 UI-TARS 1.5 7B硬件选 GPU L40S 1GPU 48G文档同时推荐 Nvidia L4、A100并加入环境变量 CUDA_GRAPHS0 与 PAYLOAD_LIMIT8000000分别用于避免部署失败和大图请求失败。这是运行 7B 模型的最低硬件要求README 的 Limitations 也提醒大规模或长时间任务会消耗更多算力。第一次使用从截图到点击脚本端点部署完成后第一次跑通通常按三步走。第一步把截图与任务发给端点原始响应形如Thought: …换行Action: click(start_box(177,549))README_deploy 中的预期输出仓库的 data/test_messages.json 也提供了现成的多轮消息示例。第二步用解析函数还原坐标注意 factor1000 与原始截图宽高from ui_tars.action_parser import parse_action_to_structure_output response Thought: Click the button\nAction: click(start_box(100,200)) parsed_dict parse_action_to_structure_output( response, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl )返回的是结构化动作列表包含 action_type、action_inputs、thought 等字段再把它交给 parsing_response_to_pyautogui_code即可得到可执行的自动化脚本。使用建议与常见问题点击位置不准先检查是否按原始截图宽高传入 origin_resized_width/height。Qwen 2.5 VL 使用绝对坐标缩放后漏还原会让点击偏移README_coordinates.md 有完整还原与可视化示例。7B 与完整模型怎么选型README 报告 UI-TARS-1.5 在 OSWorld100 步取得 42.5、ScreenSpot-V2 取得 94.2模型规模对比表中 7B 版在同一基准为 27.5且提示 7B 未针对游戏场景优化。以通用桌面任务为目标选 7B 即可追求更高分数可联系官方获取研究准入。成本预估云端部署以 48G L40S 实例为基准README 指出长时间扩展场景的算力开销更高。建议先用小任务端到端跑通再评估是否扩容。小结UI-TARS 把「截图进、动作出」拆成了清晰的链路模型负责理解与推理ui-tars 包负责解析与脚本生成。下一步建议先读完 README_deploy.md 把端点跑起来再查看 codes/ui_tars/ 的源码理解坐标换算细节。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考