Rules of prompt caching

📝 Notes d'étude : Mise en cache des invites (Prompt Caching)

Concept de base

• Principe : Le prompt caching est un processus en deux phases.
• Requête initiale : CLOD traite le message et enregistre tout le travail effectué dans un cache temporaire.
• Requête de suivi : Si le message est identique, CLOD récupère le travail déjà sauvegardé au lieu de le retraiter.
• Utilité : Idéal pour les contenus envoyés de manière répétée.
• Persistance : Le cache est temporaire et ne dure que cinq minutes.

Activation et Implémentation

• Statut par défaut : Le prompt caching n'est pas activé par défaut.
• Activation manuelle : Il faut ajouter manuellement un "cache breakpoint" (point de rupture de cache) à un bloc de message.
• Format de texte (Longhand) : Pour ajouter le champ de contrôle de cache, le bloc de texte doit être écrit en "long form" (au lieu de la forme courte).
• Structure requise : Champ de contenu → Liste → Dictionnaire (Type: "text" → Champ de texte).

Portée et Conditions du Cache

• Champ du cache : Le cache inclut tout le contenu traité jusqu'au breakpoint.
• Condition de suivi : La requête de suivi doit contenir un contenu identique jusqu'au breakpoint pour que le cache soit utilisé.
• Éléments éligibles : Les breakpoints peuvent être placés sur :
• Blocs de messages (User, Assistant, etc. )
• Schémas d'outils (Tool Schemas)
• Prompts système
• Autres types de blocs (images, résultats d'outils, etc. )

Règles importantes

• Ordre de traitement : Les éléments sont traités dans cet ordre : Outils → Prompt Système → Messages.
• Limitation : Un maximum de quatre breakpoints peuvent être ajoutés.
• Taille minimale : Il existe une longueur minimale de contenu de 1024 jetons (tokens) pour que le contenu soit enregistré dans le cache.

Takeaways

• Le prompt caching enregistre le travail d'une requête initiale pour le réutiliser lors d'une requête de suivi si le contenu est strictement identique jusqu'au point de rupture (breakpoint).
• Il n'est pas activé par défaut et nécessite l'ajout manuel d'un "cache breakpoint" en utilisant une structure de texte en "long form".
• Pour que le cache fonctionne, le contenu doit atteindre une taille minimale de 1024 jetons et il est limité à un maximum de quatre breakpoints.
• Le cache est temporaire et ne conserve les données que pendant cinq minutes.