How Computer Use works

Notes de cours : Utilisation des Outils et Utilisation de l'Ordinateur (Computer Use)

• Flux d'utilisation des outils (Tool Use) :
• Requête initiale : Envoi à Clod d'un message utilisateur + un schéma d'outil (Tool Schema) décrivant la fonctionnalité disponible (ex. : météo).
• Décision de Clod : Clod identifie qu'il ne peut pas répondre seul et décide d'utiliser l'outil.
• Demande d'outil : Clod répond avec une partie "tool use" (ID, nom, entrée nécessaire).
• Exécution : Le serveur exécute le code correspondant à la demande de Clod.
• Résultat : Le serveur renvoie le résultat à Clod via une partie "tool result".

• Implémentation de l'utilisation de l'ordinateur (Computer Use) :
• L'utilisation de l'ordinateur est implémentée en utilisant exactement le même système d'outils.
• Mécanisme : Un schéma d'outil initial, très petit, est envoyé à Clod. Ce schéma est ensuite transformé en une structure beaucoup plus grande.
• Actions possibles : Cette structure large permet à Clod d'appeler des fonctions d'action (ex. : mouvement de souris, clic gauche, capture d'écran).

• Rôle du développeur :
• Lorsque Clod demande l'utilisation d'un outil, c'est au développeur de satisfaire cette requête.
• Pour simuler l'environnement informatique, il faut mettre en place un environnement (ex. : un conteneur Docker) capable d'exécuter les actions demandées (touches, mouvements de souris) de manière programmatique.

• Synthèse :
• Clod ne manipule pas directement l'ordinateur.
• L'utilisation de l'ordinateur est un système d'outils où nous fournissons l'environnement d'exécution.

• Démarrage (Getting Started) :
• Anthropic fournit une implémentation de référence (Docker container) pour simplifier le processus.
• Prérequis : Avoir Docker installé et un profil AWS local.
• Une simple commande Docker permet d'accéder à l'interface et de tester la fonctionnalité.

Takeaways

• Le flux d'utilisation des outils suit un cycle : requête initiale → décision de Clod → demande d'outil → exécution par le serveur → retour du résultat.
• L'utilisation de l'ordinateur est implémentée en utilisant le même système d'outils, permettant à Clod d'appeler des fonctions d'action (ex. : clic, mouvement de souris).
• Le rôle du développeur est de fournir l'environnement d'exécution (ex. : conteneur Docker) capable de satisfaire les requêtes d'outils de Clod.
• Clod ne manipule pas directement l'ordinateur ; l'utilisation de l'ordinateur est un système d'outils où l'environnement d'exécution est fourni par l'extérieur.