Prompt caching

Notes de cours : Le Prompt Caching

• Définition : Le prompt caching est une technique utilisée pour accélérer la réponse de Clod et réduire le coût de la génération de texte.
• Processus d'une Requête Normale :
• Clod reçoit le message d'entrée.
• Clod effectue un grand nombre de calculs et crée des structures de données internes uniquement sur le texte d'entrée.
• Clod génère le texte de sortie.
• Après la réponse, Clod jette tout le travail et les calculs effectués (ils sont perdus).
• Le Problème (Requêtes de Suivi) :
• Lors d'une requête de suivi, si le message initial est répété, Clod ne se souvient pas du travail précédent car il a été jeté.
• Clod doit refaire tous les calculs, ce qui est inefficace.
• Le Principe du Prompt Caching :
• Au lieu de jeter le travail après la première requête, Clod stocke (met en cache) tous les résultats de l'analyse interne.
• Si une requête de suivi contient le même message d'entrée, Clod consulte son cache.
• Clod réutilise l'analyse déjà effectuée au lieu de la refaire.
• Avantage Principal : Réutiliser le travail déjà accompli permet d'accélérer considérablement le processus de génération de texte.

Takeaways

• Le prompt caching est une technique visant à accélérer la réponse de Clod et à réduire le coût de génération de texte.
• Normalement, Clod jette tous ses calculs internes après avoir généré une réponse, ce qui rend les requêtes de suivi inefficaces.
• Le principe est de stocker (mettre en cache) les résultats de l'analyse interne de Clod au lieu de les jeter.
• Lors d'une requête de suivi, Clod réutilise l'analyse déjà effectuée, évitant ainsi de refaire tous les calculs.
• L'avantage principal est d'accélérer considérablement le processus de génération de texte.