Prompt caching in action

📝 Notes de Révision : Mise en Cache des Prompts (Prompt Caching)

Objectif Principal

• Utiliser le prompt caching pour réutiliser des entrées identiques (schémas d'outils, prompt système, messages) afin d'économiser des jetons (tokens) et d'améliorer l'efficacité.

Mécanismes de Mise en Cache

• Ciblage des Données : Le caching doit être activé pour les schémas d'outils (tool schemas) et le prompt système.
• Mise en Cache des Outils :
• Il est nécessaire d'ajouter un champ cache control au dernier schéma d'outil.
• La valeur recommandée est ephemeral.
• Bonne Pratique : Cloner la liste des outils et le dernier schéma avant d'y ajouter le champ de contrôle pour éviter de modifier la liste originale.
• Mise en Cache du Prompt Système :
• Le prompt système doit être remplacé par un bloc de texte contenant :
• type: text
• text: Le contenu du prompt système.
• cache control: ephemeral.

Comportement du Cache

• Ordre de Caching : Les éléments sont mis en cache dans cet ordre : Outils → Prompt Système → Messages.
• Lecture du Cache (Cache Read) : Si une requête est identique (ex. : changement du message utilisateur, mais outils et prompt système identiques), le système lit les données du cache.
• Écriture du Cache (Cache Write) : Si une entrée change (ex. : modification d'un outil ou du prompt système), le cache est invalidé et le système écrit la nouvelle entrée.
• Lecture/Écriture Partielle : Si un seul composant change (ex. : ajout du prompt système), le système effectue une lecture partielle du cache (pour les outils inchangés) et une nouvelle écriture (pour le prompt système).

Points Clés à Retenir

• Le caching est utile pour tout contenu identique : liste de messages, schémas d'outils ou prompt système.
• Changer même légèrement un outil ou le prompt système entraîne l'invalidation du cache correspondant.

Takeaways

• Le prompt caching permet de réutiliser des entrées identiques (outils, prompt système, messages) pour économiser des jetons et améliorer l'efficacité.
• Pour les schémas d'outils, il est nécessaire d'ajouter le champ cache control avec la valeur ephemeral au dernier schéma.
• Le prompt système doit être remplacé par un bloc de texte spécifique incluant le champ cache control: ephemeral.
• Tout changement, même mineur, dans un outil ou le prompt système entraîne l'invalidation du cache correspondant.