DC娱乐网

agent-desktop 方向: 办公 Agent / Computer Us

agent-desktop
方向: 办公 Agent / Computer Use

项目介绍

给 AI Agent 提供桌面应用操作能力的跨平台工具。它读取操作系统无障碍树,将可操作元素转换为引用,让上层 Agent 执行点击、输入、再次观察等步骤;自身不包含模型。

核心功能和特性

Rust CLI 与 C 库共用核心,通过平台适配器访问 macOS AX、Windows UI Automation 和 Linux AT-SPI。
桌面快照返回结构化 JSON 与绑定快照的元素引用,界面变化后可提示引用过期或目标歧义。
支持分区域读取复杂界面,以及窗口、会话、等待和批量命令。
默认使用无障碍接口操作;需要物理输入时按平台能力选择 headed 模式。
提供 stdio MCP 服务和匹配工具版本的 Agent 指南。

应用场景

让办公 Agent 操作具备无障碍信息的原生软件和文件管理器。
把桌面步骤接入研究、资料整理或数据录入流程。
研究结构化界面观察、元素定位与动作结果核查。