Rules of prompt caching

Notes d'étude : Le Cache de Prompt (Prompt Caching)

• Concept de base : Le cache de prompt permet de sauvegarder le travail effectué par le modèle lors d'une requête initiale.
• Mécanisme :
• Phase 1 (Initial Request) : Le modèle traite le message et enregistre le résultat dans un cache temporaire.
• Phase 2 (Follow-up Request) : Si une requête ultérieure est identique, le modèle récupère le travail déjà enregistré dans le cache au lieu de le retraiter.
• Durée de vie : Le cache est temporaire et ne persiste que pendant cinq minutes.
• Utilisation idéale : Lorsque vous envoyez de manière répétée le même contenu au modèle.
• Activation : Le cache n'est pas activé par défaut ; il doit être explicitement contrôlé.
• Contrôle : On utilise un nouveau type de partie de message appelé "cache point".
• Fonction du "Cache Point" : Il indique au modèle de mettre en cache tout le travail effectué sur le texte jusqu'à ce point dans le message.
• Portée du cache : Le cache peut stocker le travail effectué sur plusieurs messages, parties ou messages d'assistant.
• Exigence minimale : Il faut un minimum de 1024 jetons (tokens) de contenu avant le cache point pour que le modèle enregistre effectivement le travail.
• Application étendue : Le cache n'est pas limité aux parties de texte ; il peut être appliqué aux listes de définitions d'outils (schémas JSON) et aux prompts système.
• Cas d'usage fréquent : Le cache est souvent utilisé pour les éléments stables comme les outils et les prompts système, car ils changent rarement entre les requêtes.

Takeaways

• Le cache de prompt sauvegarde le travail du modèle lors d'une requête initiale pour éviter le retrait lors de requêtes ultérieures identiques.
• Il n'est pas activé par défaut et doit être contrôlé explicitement en utilisant un "cache point".
• Il est particulièrement utile pour les éléments stables, tels que les prompts système et les définitions d'outils (schémas JSON).
• Le cache est temporaire (durée de cinq minutes) et nécessite un minimum de 1024 jetons de contenu avant le point de cache.