How computer use works

🤖 Schlüsselkonzepte: Tool Use und Computer Use

**1. Funktionsweise von Tool Use (Werkzeugnutzung):**

• Anfrage: Der Benutzer sendet eine Nachricht an Claude zusammen mit einem Tool Schema.
• Tool Schema: Beschreibt zusätzliche Funktionalitäten (z. B. get_weather).
• Entscheidung: Claude analysiert die Benutzeranfrage und entscheidet, ob ein Tool benötigt wird.
• Tool Use: Claude antwortet mit einem tool use Teil, der eine ID, einen Namen und die benötigten Eingaben (Input) enthält.
• Ausführung: Der Server führt den Code aus (z. B. holt das Wetter).
• Rückmeldung: Das Ergebnis wird als tool result an Claude zurückgesendet, damit es die Antwort generieren kann.

**2. Funktionsweise von Computer Use (Computer-Nutzung):**

• Implementierung: Computer Use basiert auf dem exakt gleichen Tool-System.
• Spezial-Schema: Es wird ein sehr kleines, spezielles Tool Schema an Claude gesendet.
• Expansion: Dieses kleine Schema wird intern zu einer viel größeren Struktur erweitert, die Claude mitteilt, dass es Aktionen wie mouse_move, left_click oder screenshot ausführen kann.
• Aktionsausführung: Claude sendet einen tool use Teil zurück.
• Entwicklerrolle: Der Entwickler muss die Anfrage erfüllen. Um eine Computer-Umgebung zu simulieren, wird ein Programm (z. B. in einem Docker Container) bereitgestellt, das Tastendrücke und Mausbewegungen programmatisch ausführt.
• Fazit: Claude manipuliert den Computer nicht direkt; die Computer-Nutzung wird über das Tool-System implementiert und die Umgebung wird vom Entwickler bereitgestellt.

**3. Start mit Computer Use:**

• Referenzimplementierung: Anthropic bietet eine fertige Docker-Implementierung an.
• Funktion: Dieser Container empfängt Tool-Anfragen von Claude und führt programmatische Mausbewegungen und Tastendrücke aus.
• Vorgehen: Einfache Ausführung des Docker-Befehls, um die Schnittstelle zu testen.

Takeaways

• Tool Use funktioniert über ein Tool Schema, das Claude analysiert und eine tool use Anfrage sendet, deren Ergebnis (tool result) zur finalen Antwort genutzt wird.
• Computer Use ist eine Spezialform des Tool-Systems, bei der ein kleines Schema intern zu Aktionen wie mouse_move oder screenshot erweitert wird.
• Claude manipuliert den Computer nicht direkt; die Ausführung der Aktionen erfolgt immer über eine vom Entwickler bereitgestellte Umgebung (z. B. ein Docker Container).
• Der Einstieg in Computer Use kann mithilfe einer fertigen Docker-Implementierung von Anthropic getestet werden.