Rules of prompt caching

Notes d'étude : Mise en cache de Prompt (Prompt Caching)

Concept de base

• Fonctionnement : La première requête envoie le contenu à CLOD, qui traite l'information et enregistre le travail effectué dans un cache temporaire.
• Réutilisation : Si une requête ultérieure contient exactement le même message, CLOD récupère le travail déjà enregistré dans le cache au lieu de le retraiter.
• Durée du cache : Le cache est temporaire et ne persiste que pendant une heure.
• Utilité : Idéal pour les applications qui envoient de manière répétée le même contenu à CLOD.

Mise en œuvre technique

• Activation : Le système n'est pas activé par défaut. Il faut ajouter manuellement un "cache breakpoint" (point de rupture de cache) à un bloc.
• Format de contenu : Pour utiliser le contrôle du cache, il est nécessaire d'utiliser la "forme longue" (list contenant un dictionnaire avec type et text) pour définir les champs de contenu, car la forme courte ne permet pas d'y ajouter le champ de contrôle.
• Portée du cache (Bloc de message) : Tout le contenu de la requête, jusqu'au point de rupture de cache inclus, est mis en cache.
• Condition de succès : La requête de suivi doit contenir un contenu identique jusqu'au point de rupture de cache. Toute modification invalide le cache pour cette section.

Emplacement des points de rupture de cache

• Les points de rupture peuvent être placés sur divers types de blocs, pas seulement les messages :
• Blocs de messages (utilisateur, assistant, etc. )
• Blocs d'images
• Utilisation d'outils (Tool use) et résultats d'outils (Tool result)
• Schémas d'outils (Tool schemas)
• Prompts système (System prompts)
• Ordre de traitement : Les éléments sont traités dans l'ordre suivant : Outils → Prompt système → Messages.
• Multiples points de rupture : Jusqu'à quatre points de rupture peuvent être ajoutés. Cela permet de cibler et de mettre en cache des parties spécifiques de la requête (ex: les outils et le prompt système, mais pas les messages).

Contrainte de contenu

• Longueur minimale : Pour qu'un contenu soit mis en cache, il doit atteindre un minimum de 1024 jetons.

Takeaways

• Le cache de prompt évite le retrait de traitement si une requête ultérieure est strictement identique à une requête précédente.
• L'activation nécessite l'ajout manuel d'un "cache breakpoint" à un bloc spécifique.
• Le point de rupture peut être placé sur divers types de blocs (messages, outils, prompts système, etc. ) pour cibler le cache.
• Pour être mis en cache, le contenu doit atteindre un minimum de 1024 jetons et la requête de suivi doit être identique jusqu'au point de rupture.