The batch tool

📝 Notes de Cours : Gestion des Appels d'Outils Multiples

**I. Problématique des Appels d'Outils (Tool Use)**

• Capacité théorique : Un message d'assistant peut contenir plusieurs blocs d'utilisation d'outils (tool use blocks) pour exécuter des opérations en parallèle (ex: calculer 10+10 et 30+30 simultanément).
• Problème pratique : En réalité, les modèles (comme Claude) ont souvent du mal à générer plusieurs blocs d'utilisation d'outils dans une seule réponse, même lorsque la tâche est clairement parallélisable (ex: définir deux rappels distincts).

**II. La Solution : L'Implémentation d'un Outil de Lot (Batch Tool)**

• Principe : Utiliser un "outil de lot" (batch tool) pour contourner la tendance du modèle à ne générer qu'un seul appel d'outil.
• Mécanisme : Au lieu de demander au modèle d'appeler directement plusieurs outils individuels, on l'incite à appeler le batch tool.
• Fonctionnement du Batch Tool :
• Il est défini comme un outil simple, similaire aux autres outils existants.
• Il accepte en entrée une liste d'objets (invocations).
• Chaque objet décrit un autre outil que le modèle souhaite exécuter, ainsi que ses arguments.

**III. Logique d'Implémentation (Côté Système)**

• Objectif : Transformer l'appel unique au batch tool en une exécution parallèle des outils demandés.
• Processus de traitement :
• Le système reçoit l'appel au batch tool contenant la liste des invocations.
• Le code itère (par boucle) sur chaque invocation de la liste.
• Pour chaque invocation :
• Le nom de l'outil et ses arguments sont extraits.
• Les arguments (souvent encodés en JSON) sont décodés.
• L'outil approprié est exécuté (en utilisant une fonction comme run_tool).
• Le résultat de l'exécution est collecté.
• Le système retourne la liste agrégée des résultats de tous les outils exécutés.

**IV. Résultat**

• En fournissant cette abstraction de haut niveau (le batch tool), on force le modèle à planifier les tâches en parallèle, ce qui permet d'obtenir l'exécution simultanée de plusieurs actions dans un seul cycle de réponse.

Takeaways

• Les modèles ont souvent du mal à générer plusieurs appels d'outils simultanément, même lorsque la tâche est parallélisable.
• Le "outil de lot" (batch tool) est utilisé pour contourner cette limitation en forçant le modèle à planifier les tâches en parallèle.
• Au lieu d'appeler plusieurs outils, le modèle appelle le batch tool en fournissant une liste d'invocations d'outils.
• Le système doit traiter cet appel en itérant sur la liste des invocations pour exécuter chaque outil individuellement et collecter les résultats.