How Computer Use works

Studiennotizen: Funktionsweise von Tool Use und Computer Use

• Grundprinzip von Tool Use:
• Um ein Tool zu nutzen, wird eine Anfrage an Clod gesendet, die eine Benutzerbotschaft und ein Tool Schema enthält.
• Das Tool Schema beschreibt die zusätzliche Funktionalität (z. B. get_weather).
• Clod analysiert die Benutzerbotschaft und entscheidet, ob ein Tool benötigt wird.
• Clod antwortet mit einem tool use Teil, der eine Tool Use ID, einen Namen und die benötigten Eingaben (Input) enthält.
• Der Server (Entwickler-Code) empfängt diese Eingaben und führt die Aktion aus.
• Das Ergebnis wird als tool result Teil an Clod zurückgesendet.

• Prozess-Zusammenfassung (Tool Use):
• Anfrage (Frage + Tool-Liste) an Clod senden.
• Clod entscheidet sich für die Tool-Nutzung.
• Code wird ausgeführt (aufgrund der Tool-Anforderung).
• Ergebnis an Clod zurücksenden.

• Implementierung von Computer Use:
• Computer Use folgt exakt demselben Fluss wie Tool Use.
• Der Schlüssel liegt in einem speziellen Tool Schema, das Clod mitteilt, dass es eine action function aufrufen kann (z. B. mouse_move, left_click, screenshot).
• Clod sendet einen tool use Teil zurück, wenn es eine Aktion wünscht.
• Rolle des Entwicklers: Clod manipuliert den Computer nicht direkt. Entwickler müssen die Umgebung bereitstellen.
• Simulationsumgebung: Ein Docker-Container wird eingerichtet, der programmatisch Tastendrücke und Mausbewegungen ausführt, wenn Clod diese anfordert.
• Nach der Ausführung wird das Ergebnis an Clod zurückgesendet.

• Start mit Computer Use:
• Anthropic stellt eine Referenzimplementierung (Docker-Container) bereit.
• Voraussetzungen: Docker-Installation und ein lokales AWS-Profil.
• Die Implementierung empfängt Tool-Anfragen und führt programmatische Aktionen innerhalb des Containers aus.

Takeaways

• Tool Use basiert auf einem Zyklus: Anfrage (Benutzer + Tool Schema) → Clod entscheidet → Server führt Aktion aus → Ergebnis an Clod zurück.
• Computer Use ist eine spezielle Form von Tool Use, bei der das Tool Schema Aktionen wie mouse_move oder left_click definiert.
• Clod manipuliert den Computer nicht direkt; der Entwickler muss die Umgebung (z. B. ein Docker-Container) bereitstellen, um die angeforderten Aktionen auszuführen.
• Der Prozess beginnt mit der Übermittlung einer Anfrage an Clod, die die verfügbaren Tools auflistet.