Prompt caching in action

📝 Notes de Cours : Mise en Cache de Prompts (Prompt Caching)

Objectif : Optimiser les requêtes en utilisant la mise en cache pour réduire les coûts et accélérer le traitement.

Concepts Clés :

• Seuil de Cache : Le prompt total (y compris les schémas d'outils) doit dépasser le seuil minimum de 1 024 jetons pour bénéficier du cache.
• Mécanisme d'Activation :
• Ajouter un cache_point de type default au prompt système.
• Créer une variable tools_with_cache en concaténant les schémas d'outils avec un cache_point de type default.
• Inclure le champ usage de la réponse pour inspecter l'activité de cache.
• Comportement du Cache :
• Première Requête : Résultat en cache_write (le modèle analyse et stocke l'information).
• Requêtes Suivantes : Résultat en cache_read (le modèle utilise l'analyse préexistante).
• Conditions d'Invalidation du Cache :
• Changement du Prompt Système : Si le contenu avant le cache_point est modifié, le cache est invalidé et une nouvelle écriture (cache_write) est nécessaire.
• Changement du Message Utilisateur : Si seul le contenu après le cache_point est modifié, le cache est conservé (cache_read).
• Expiration : Les entrées de cache sont automatiquement effacées après une période définie (ex : 5 minutes).
• Avantages :
• Réduction des coûts de génération.
• Amélioration de la vitesse de réponse.
• Particulièrement utile pour les prompts système et les schémas d'outils longs.

Takeaways

• Le prompt total doit dépasser 1 024 jetons pour bénéficier de la mise en cache.
• L'activation du cache passe par l'ajout d'un cache_point de type default au prompt système.
• La première requête génère un résultat en cache_write, tandis que les requêtes suivantes utilisent cache_read.
• Le cache est invalidé si le contenu du prompt avant le cache_point est modifié.