How Computer Use works

核心概念：工具使用与计算机操作的实现 (Core Concepts: Tool Use and Implementation of Computer Operations)

• 工具使用流程 (Tool Use Flow):
• 请求包含：用户消息 (User Message) + 工具模式 (Tool Schema)。
• Clod 分析用户消息，决定是否使用特定工具。
• Clod 回复包含：工具使用部分 (Tool Use Part)，指定工具名称和输入参数。
• 外部服务器执行代码（开发者编写），接收参数并执行操作。
• 服务器将结果发送回 Clod，包含在工具结果部分 (Tool Result Part)。

• 计算机操作的实现 (Implementation of Computer Use):
• 计算机操作（Computer Use）本质上是基于上述工具系统实现的。
• 发送给 Clod 的工具模式非常精简，但后端会将其扩展成一个包含所有可调用动作（如鼠标移动、点击、截图等）的复杂结构。
• Clod 决定使用工具后，开发者需要提供一个执行环境来满足其请求。

• 执行环境 (Execution Environment):
• 为了模拟计算机环境，需要设置一个执行程序（例如，一个运行在 Docker 容器中的程序）。
• 该程序负责接收 Clod 的工具请求，并执行程序级别的按键和鼠标移动。
• 执行完成后，将操作结果反馈给 Clod。

• 总结 (Summary):
• Clod 本身不直接操作计算机。
• 计算机操作是通过工具系统实现的，开发者负责提供实际的计算和操作环境。

• 上手资源 (Getting Started):
• Anthropic 提供了参考实现 (Reference Implementation)，这是一个预先配置好的 Docker 容器。
• 设置要求：获取 Docker 实现 + 拥有本地 AWS 配置文件。
• 通过简单的 Docker 命令即可开始测试 Clod 的计算机操作功能。

Takeaways

• 计算机操作本质上是通过工具系统实现的，Clod 本身不直接操作计算机。
• 工具使用流程为：用户消息 + 工具模式 → Clod 分析并回复工具使用部分 → 外部服务器执行代码 → 服务器返回工具结果。
• 执行环境（如 Docker 容器）负责接收 Clod 的工具请求，并执行程序级别的按键和鼠标移动。
• 后端系统将精简的工具模式扩展为包含所有可调用动作（如点击、截图）的复杂结构。