Fine grained tool calling

📝 Notes de Cours : Utilisation des Outils en Streaming

**I. Concepts de Base du Streaming**

• Streaming API : Permet de recevoir les réponses de l'API en temps réel, sous forme de fragments (chunks) successifs plutôt qu'une réponse unique.
• Événement Clé : L'utilisation des outils en streaming nécessite la gestion de l'événement input JSON event.
• Propriétés de l'événement input JSON :
• partial JSON : Un fragment du JSON représentant une partie des arguments de l'outil.
• snapshot : La somme cumulative de tous les fragments JSON reçus jusqu'à ce moment.

**II. Le Problème de la Latence (Délai)**

• Comportement par Défaut : Bien que le texte s'affiche en streaming, les arguments des outils arrivent souvent en un seul bloc après un long délai.
• Mécanisme de Validation : L'API Anthropic met en mémoire (buffer) les fragments JSON. Elle attend de valider le JSON complet contre le schéma fourni (ex: attendre une paire clé-valeur complète comme abstract).
• Conséquence : Cette étape de validation bloque l'envoi des données, provoquant le délai observé.

**III. Solution : Fine Grained Tool Calling**

• Fonction : Cette fonctionnalité désactive l'étape de validation du JSON au niveau de l'API.
• Avantages :
• Permet un flux de sortie plus traditionnel (chunk par chunk) pour les entrées d'outils.
• Permet de traiter les données de l'outil (ex: word count) beaucoup plus rapidement, sans attendre la génération complète du texte.
• ⚠️ Mise en Garde (Crucial) : Puisque la validation est désactivée, le code côté serveur doit impérativement inclure une gestion des erreurs robuste pour traiter d'éventuels JSON invalides.
• Modification du Schéma : Le champ meta a été modifié : il est désormais une chaîne de caractères (string) au lieu d'un objet.
• Comparaison des Flux :
• Streaming par Défaut : Délai dû à l'étape de validation de l'API.
• Streaming Granulaire (Fine-grained) : Offre une expérience de streaming plus classique.

Takeaways

• La Streaming API reçoit les réponses sous forme de fragments (chunks) successifs plutôt qu'une réponse unique.
• Le comportement par défaut introduit un délai car l'API met en mémoire (buffer) et valide le JSON complet contre le schéma.
• Le Fine Grained Tool Calling désactive cette étape de validation de l'API pour permettre un flux de sortie plus rapide (chunk par chunk).
• Étant donné que la validation est désactivée, le code côté serveur doit impérativement inclure une gestion des erreurs robuste pour traiter les JSON potentiellement invalides.