How computer use works

Notes de cours : Utilisation des Outils et Utilisation d'un Ordinateur (Computer Use)

**I. Principes de base de l'utilisation des outils (Tool Use)**

• Définition : Pour utiliser un outil, on envoie une requête à Claude comprenant un message utilisateur et un schéma d'outil (tool schema).
• Schéma d'outil : Ce schéma décrit la fonctionnalité supplémentaire que l'on souhaite exposer à Claude (ex. : get_weather).
• Flux d'exécution :
• Message utilisateur → Claude détermine qu'il ne peut pas répondre seul.
• Claude répond avec une partie "tool use" (ID, nom de l'outil, entrée requise).
• Le serveur exécute le code correspondant (développé par l'utilisateur).
• Le serveur renvoie le résultat à Claude via une partie "tool result".

**II. Implémentation de l'utilisation d'un ordinateur (Computer Use)**

• Principe clé : L'utilisation d'un ordinateur est implémentée en utilisant le système d'outils.
• Mécanisme :
• On envoie à Claude un schéma d'outil spécial et très petit.
• Ce schéma est ensuite étendu en une structure beaucoup plus grande qui indique à Claude qu'il peut appeler des fonctions d'action (ex. : mouse_move, left_click, screenshot).
• Rôle du développeur :
• Le développeur doit exécuter la requête de l'outil de Claude.
• Pour simuler un environnement informatique, on utilise un programme (souvent dans un conteneur Docker) qui exécute les frappes de clavier et les mouvements de souris demandés par Claude.
• Conclusion : Claude ne manipule pas directement l'ordinateur ; le système d'outils permet cette interaction.

**III. Démarrage**

• Anthropic fournit une implémentation de référence (conteneur Docker) qui contient le code nécessaire pour recevoir les requêtes de Claude et exécuter les actions informatiques.
• Il suffit d'exécuter une commande Docker pour accéder à cette interface et tester la fonctionnalité.

Takeaways

• L'utilisation d'un outil repose sur l'envoi d'une requête comprenant un message utilisateur et un schéma d'outil (tool schema).
• Le flux d'exécution est séquentiel : Message utilisateur → Claude (identification de l'outil) → Serveur (exécution du code) → Claude (réception du résultat).
• L'utilisation d'un ordinateur est implémentée en étendant un schéma d'outil spécial en fonctions d'action (ex. : mouse_move, left_click).
• Claude ne manipule pas directement l'ordinateur ; le développeur doit exécuter les requêtes de l'outil via un programme externe (souvent un conteneur Docker) qui simule l'environnement.
• Anthropic fournit une implémentation de référence (conteneur Docker) pour tester l'interaction entre Claude et les actions informatiques.