How computer use works

🤖 工具使用与计算机使用的核心概念 (Core Concepts of Tool Use and Computer Use)

一、工具使用的基本流程 (Basic Tool Use Flow)

• 请求构成 (Request Composition): 使用工具的请求包含两部分：用户消息 (User Message) + 工具模式 (Tool Schema)。
• 执行流程 (Execution Flow):
• 发送请求给 Claude。
• Claude 分析消息，决定是否需要使用工具。
• Claude 返回工具使用响应 (Tool Use Response)，包含工具ID、名称和所需输入。
• 外部服务器执行相应的代码/操作。
• 将执行结果作为工具结果 (Tool Result) 返回给 Claude。
• Claude 根据结果进行总结或回复。

二、计算机使用的实现机制 (Implementation Mechanism of Computer Use)

• 核心原理 (Core Principle): 计算机使用功能是通过工具系统 (Tool System) 实现的，Claude 并非直接操作计算机。
• 模式转换 (Schema Transformation):
• 我们发送给 Claude 的工具模式非常简单。
• 在后台，这个简单模式会被扩展 (Expanded) 成一个更复杂的结构。
• 这个复杂结构告知 Claude 它可以调用动作函数 (Action Functions)，例如：鼠标移动 (mouse move)、左键点击 (left click)、截图 (screenshot) 等。
• 执行环节 (Execution Phase):
• 当 Claude 发出工具使用请求时，开发者（或系统）负责实际执行该请求。
• 模拟环境： 为了模拟计算环境，通常会设置一个 Docker 容器，该容器负责程序化地执行按键和鼠标移动。
• 执行完成后，将操作结果反馈给 Claude。

三、上手指南 (Getting Started)

• 参考实现 (Reference Implementation): Anthropic 提供了现成的 Docker 容器参考实现。
• 简化设置： 用户只需运行简单的 Docker 命令，即可获得包含执行程序化操作代码的接口，无需从零开始构建环境。

Takeaways

• 工具请求由用户消息和工具模式构成，执行是一个包含请求、分析、工具响应、外部执行和工具结果的循环过程。
• Claude 并非直接操作计算机，而是通过工具系统间接实现功能。
• 简单的工具模式在后台会被扩展成复杂的动作函数（例如鼠标移动、左键点击等）。
• 实际的程序化操作和环境模拟由外部系统（如 Docker 容器）负责执行，并将结果反馈给 Claude。