Astra 的 Computer Use 能力是如何实现的？

本文编译自 Browserbase 增长工程师 Kyle Jeong 对 Astra Computer Use 能力的分析，原文发布于他的个人博客。过去三年，他们团队一直在努力把 AI Computer Use 的能力用于实际业务。

2024 年 10 月，Anthropic 随 Claude 3.5 Sonnet 一起推出了 Computer Use 能力。他们采用的是纯视觉路线，也就是说，模型通过截图来判断如何与电脑屏幕交互。模型以像素为基础进行后训练，并以 JSON 格式返回像素坐标和动作，例如：

"type":"click",

"x":156,

"y":50

}

要理解 Astra 为什么不同，我们得先回到 5.6 模型家族，聊聊 Codex／ChatGPT 的 harness。Computer Use 既是 harness 的工程问题，也是模型的研究问题：模型决定做什么，harness 负责执行。要把 Computer Use 做好，这两个问题都需要解决。

Astra 的架构相当简单：

"type": "function_call",

"name": "exec_js",

"call_id": "call_123",

"arguments": "{"code":"await page.getByRole('searchbox').fill('browser automation'); ..."}"

}

本地服务（名为 CodexComputerUseIPC-5）负责执行操作。执行封装层会把所选元素转换为原生元素 ID（如果模型选择使用坐标，也可以转换为坐标），随后通过原生管道传输 JSON-RPC 消息，并借助请求 ID 匹配请求、完成执行。

"risk_level":"high",

"user_authorization":"low",

"outcome":"deny",

"rationale":"..."

}

安全审查会参考多方面的信息：AI 准备执行的操作及其参数、对话记录中的相关依据（包括用户授权）、主任务的运行环境与权限设置、代码执行环境（REPL）中已有的记录和图像，以及审批请求和申请理由。审查器在不拿到完整的无障碍树的情况下即可完成。

•授予权限：是否针对所授予的权限及接收方获得了明确授权。

相比 GPT 5.6，Astra 多了一道审查，但速度反而更快。归功于更聪明的模型，需要的交互轮次更少。

Astra 确实很惊艳，但还能发现有一些缺点。Astra 可能在观察环节出错，拿到不完整的无障碍树状态、细节不足的截图，或者已经过时的画面。在观察与执行动作之间，界面状态也可能发生变化。有些应用中的无障碍树会频繁改变，导致操作失效。

Computer Use 才刚刚开始变得好用。我们见证了它从连琐碎任务都频频失败，进步到在《我的世界》中比一个十岁孩子更快挖到钻石。人们终于开始意识到，可以把多少工作交给 AI。

【开源免费】字节工作流产品扣子两大核心业务：Coze Studio（扣子开发平台）和 Coze Loop（扣子罗盘）全面开源，而且采用的是 Apache 2.0 许可证，支持商用！

项目地址：https://github.com/coze-dev/coze-studio

项目地址：https://github.com/n8n-io/n8n

在线使用：https://n8n.io/（付费）

项目地址：https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file

项目地址：https://github.com/AndersonBY/vector-vein?tab=readme-ov-file