有人逆向了Codex 的 Computer Use，可操作 macOS / Windows 桌面软件的工具，使得任意模型都可以控制桌面——而且它不靠截图硬点坐标，而是先读 app 的无障碍树、看懂界面再动手，视觉只当兜底。

1、大多数"computer use"是靠截图硬点的 = 把屏幕丢给视觉模型、让它猜按钮在哪、再点坐标，又贵又慢又脆。
2、pi-computer-use 反过来做：先读 app 的无障碍树（ax-first），看懂了按钮和文字再动手，视觉只当兜底：

它走的是先读无障碍 API：让 agent 直接拿到窗口里的按钮、文字、控件这些结构化信息，看懂之后再 click / type / scroll；只有在支持的模型上，视觉才作为回退补上。macOS 走一个 helper app（要授权 Accessibility + Screen Recording），Windows 直接用平台无障碍 API。

它定位自己不是来替代 app API 或 MCP 的——有可靠直连作者建议就先用直连，computer use 只在"屏幕上那个 app 是唯一入口"时才上。作为 Pi 扩展，它补的是"让 agent 能操作那些没有 API 的老软件"这块能力，更像生态补全件，不是独立产品。

一句话：computer use 的可靠性，拼的从来不是模型多会看截图，而是它肯不肯先读 UI 的结构——pi-computer-use 把赌注押在了后者。

github：http://t.cn/AXKohyJA

#pi #ComputerUse #AI桌面自动化 #无障碍树 #开源