Prompt caching in action

📝 Notes de Révision : Mise en Cache de Prompt (Prompt Caching)

Objectif Principal

• Réutiliser les entrées identiques (schémas d'outils, prompt système, messages) pour économiser des jetons (tokens) et accélérer les requêtes.

Mécanismes de Mise en Cache

• Activation : La fonction chat doit être modifiée pour activer la mise en cache par défaut pour les schémas d'outils et le prompt système.
• Mise en Cache des Outils (Tool Schemas) :
• Ajouter un champ cache control de type ephemeral au schéma d'outil.
• Bonne Pratique : Cloner la liste des outils avant de modifier le dernier schéma pour garantir la robustesse, même si l'ordre des outils change.
• Mise en Cache du Prompt Système (System Prompt) :
• Remplacer le prompt système par un bloc de texte spécifique.
• Ce bloc doit inclure : type: text, text: system, et cache control: ephemeral.

Ordre de Priorité du Cache

• Le système traite les entrées dans cet ordre : Outils → Prompt Système → Messages.

Comportement du Cache

• Lecture du Cache (Cache Read) : Se produit lorsque toutes les entrées (outils, prompt système, messages) sont identiques à une requête précédente.
• Écriture du Cache (Cache Write) : Se produit lorsque l'une des entrées change (ex: modification d'un outil ou du prompt système), invalidant ainsi l'entrée précédente.
• Lecture Partielle : Si une seule partie des entrées change (ex: seul le prompt système est modifié), le système lit les parties stables du cache (ex: les outils) et écrit uniquement la nouvelle partie (ex: le prompt système).

Takeaways

• L'objectif de la mise en cache de prompt est de réutiliser les entrées identiques (outils, prompt système, messages) pour économiser des jetons et accélérer les requêtes.
• L'activation de la mise en cache nécessite d'ajouter le champ cache control: ephemeral aux schémas d'outils et au prompt système.
• La lecture du cache se produit lorsque toutes les entrées sont identiques à une requête précédente, tandis que l'écriture se déclenche dès qu'une entrée change.
• Le système permet une lecture partielle du cache, réutilisant les parties stables des entrées même si une seule composante est modifiée.