Prompt caching

Notes de cours : Le Cache de Prompt (Prompt Caching)

• Objectif du Cache de Prompt :
• Accélérer la réponse de Claude.
• Diminuer le coût de la génération de texte.

• Processus d'une Requête Normale (Sans Cache) :
• Envoi du message → Claude effectue un travail interne intensif (création de structures de données, calculs) uniquement sur le texte d'entrée.
• Génération de la réponse → Claude envoie la réponse.
• Nettoyage → Claude jette tout le travail et les calculs effectués sur le message d'entrée.

• Le Problème des Requêtes de Suivi :
• Lors d'une conversation, si un message initial est répété dans une requête de suivi, Claude doit refaire tout le travail d'analyse, car les calculs précédents ont été jetés.

• Principe du Cache de Prompt :
• Au lieu de jeter le travail d'analyse initial, ce travail est stocké dans un cache temporaire.
• Si le même message d'entrée est reçu plus tard, Claude peut accéder au cache et réutiliser le travail d'analyse précédemment effectué.

• Avantage :
• Réutilisation du travail déjà accompli → Accélération significative du processus de génération de texte.

Takeaways

• Le cache de prompt a pour objectif d'accélérer la réponse et de diminuer le coût de génération.
• Dans une requête normale, le travail d'analyse intensif est effectué puis jeté, ce qui est problématique pour les requêtes de suivi.
• Le principe du cache est de stocker ce travail d'analyse initial dans un cache temporaire.
• La réutilisation du travail déjà accompli permet une accélération significative du processus de génération de texte.