如何看懂界面再动手Open Computer Use 的 get_app_state、截图与 element_index 使用教程【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-useOpen Computer Useopen-computer-use是一个开源的 Computer Use 服务为 Codex Computer Use 提供开源替代方案它把屏幕截图、无障碍树accessibility tree和元素定位封装成 MCP 工具让 AI 助手能在 macOS、Linux、Windows 上看懂界面再动手。本文带你掌握其中最核心的三件套——get_app_state获取应用状态、截图、element_index元素索引几行命令就能让 AI 稳定地点击、输入、滚动而不是靠猜坐标瞎点。为什么 AI 要先看再操作传统桌面自动化最大的坑是盲打坐标屏幕一变点就点空了。Open Computer Use 的思路和官方 Codex Computer Use 一致——每一步操作前先调用get_app_state它会一次性返回返回内容作用 截图PNG让 AI看见窗口当前长什么样 无障碍树以缩进文本列出窗口、按钮、输入框等控件 element_index每个可交互元素被编号后续操作直接引用编号这套先观测、后行动的模式正是 SKILL.md 中官方工作流的核心规则使用element_index前必须先跑一次get_app_state跨会话或界面大变化后不要复用旧索引。三步完成安装与权限准备npm i -g open-computer-use open-computer-use doctor # 检查权限macOS 需授予辅助功能和屏幕录制 ocu call list_apps # ocu 是同一命令的短别名macOS 需要 14.0 或更高版本Windows / Linux 无需额外授权。doctor会在缺少权限时自动弹出引导界面。详细安装说明见 installation.md。读懂 get_app_state一份返回里的三层信息一条命令即可拍下某个应用的完整状态open-computer-use call get_app_state --args {app:TextEdit}以 Finder 为例真实返回长这样节选自仓库内实测样本 tool-call-samples-2026-04-17.mdAppcom.apple.finder (pid 1106) Window: open-codex-computer-use, App: Finder. 0 standard window open-codex-computer-use, Secondary Actions: Raise 1 split group 2 scroll area 3 outline sidebar 4 row (selectable, expanded) Value: Favorites 25 scroll area 26 outline Description: list view, ID: ListView注意几个数字前缀——0、26、4——它们就是element_index。工具定义里get_app_state还支持三个可选参数见 ToolDefinitions.swifttext_limit文本默认截断为 500 字符结尾会带...。要看聊天记录、邮件正文等长文本时传text_limit: 1000或max。max_tree_nodes/max_tree_depth无障碍树默认渲染 1200 个节点、64 层深度。长网页、大表格看不全时调大它们即可例如{app:Google Chrome,max_tree_nodes:3000,max_tree_depth:96}。截图本身有体积保护结果 PNG 会被限制在约 900KB 内、最长边 1280px见 AccessibilitySnapshot.swift保证传输给 AI 时不会爆上下文。element_index 的正确打开方式拿到状态后操作工具直接引用元素编号而不是像素坐标# 点击索引为 1 的元素 open-computer-use call click --args {app:TextEdit,element_index:1} # 给可编辑控件直接赋值比逐字输入更快更稳 open-computer-use call set_value --args {app:TextEdit,element_index:2,value:Draft}四条黄金习惯来自 usage.md 的Choosing Targets动作前紧跟一次get_app_state索引只在同一次进程会话内有效页面跳转、弹窗出现、操作失败后重新拍状态优先用元素动作坐标点击只作兜底可编辑控件优先用set_value比type_text更可靠。 小提示click还支持click_methodaccessibility/app_post/sky_click/global来精细控制点击路径新手保持默认auto即可。多步任务让序列复用同一份 element_index单独调用call时每次都是新进程索引不共享。所以 Open Computer Use 提供了序列模式——一个进程内连跑多个工具天然复用最新的状态open-computer-use call --calls [ {tool:get_app_state,args:{app:TextEdit}}, {tool:set_value,args:{app:TextEdit,element_index:2,value:Hello}}, {tool:get_app_state,args:{app:TextEdit}}, {tool:click,args:{app:TextEdit,element_index:36}} ]仓库里就放了一个现成示例 textedit-overlay-seq.json演示set_value → 拍状态 → click → 再拍状态的节奏open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5如果接入 MCP 客户端Codex、Claude Code、Gemini CLI 等配置只有几行AI 会自动遵循先get_app_state再操作的节奏配置样例见 usage.md。常见翻车场景与排查症状可能原因解决办法get_app_state找不到应用名字拼错 / 应用未运行先跑ocu call list_apps用返回的名称或 bundle id快照是空的窗口被最小化、隐藏或缺屏幕录制权限把窗口恢复可见重跑doctor文本结尾是...触发了 500 字符默认截断传text_limit: 1000或max重拍点击没反应索引过期重新get_app_state再点完整的排查清单含 Windows/Linux 会话问题见 troubleshooting.md。延伸阅读项目总览与快速开始README.md工具定义9 个工具的完整参数说明ToolDefinitions.swift快照与树预算实现AccessibilitySnapshot.swift官方工具调用实测样本tool-call-samples-2026-04-17.md使用与排障参考usage.md / troubleshooting.md记住一句话就够了先拍状态认准编号再动手。把get_app_state当成每轮操作前的读屏element_index当成元素的门牌号AI 的桌面自动化就从看运气变成了稳执行。【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考