Prompt caching in action

Studieopmerkingen: Prompt Caching

Wat is Prompt Caching?

• Prompt Caching is een techniek om de kosten en de snelheid van LLM-aanroepen te verlagen door statische delen van de prompt (zoals systeem-prompts en tool-schema's) op te slaan in een cache.
• Dit is vooral nuttig wanneer de prompt of de schema's langer zijn dan de minimale drempelwaarde van 1. 024 tokens.

Implementatie en Mechanisme

• Doel: De chat functie aanpassen om caching in te schakelen.
• Wat te Cachen:
• Systeem-prompt: Moet standaard gecacht worden, aangezien deze vaak consistent blijft.
• Tool Schemas (Hulpmiddel-schema's): De lijst met tools moet altijd worden gecacht.
• Hoe: Voeg een nieuw onderdeel toe aan de prompt met het type cache point (cachepunt).
• Monitoring: Gebruik het usage veld in de respons om te controleren of er een cache read (data uit cache gehaald) of cache write (data naar cache opgeslagen) plaatsvindt.

Caching Logica

• Eerste aanvraag (Nieuwe inhoud): Er vindt een cache write plaats, omdat de LLM de inhoud (bijv. de systeem-prompt) voor het eerst analyseert en opslaat.
• Vervolg aanvraag (Identieke inhoud): Er vindt een cache read plaats, omdat de LLM de reeds verwerkte informatie uit de cache haalt.
• Verandering in Systeem-prompt/Tools: Elke wijziging in de systeem-prompt of de tool-schema's dwingt een nieuwe cache write af.
• Verandering in Gebruikersbericht: Als alleen het gebruikersbericht (na het cachepunt) verandert, blijft er een cache read plaatsvinden, omdat de statische delen nog in de cache zijn.
• Tijdsbeperking: Cache-entries verlopen automatisch na een bepaalde periode (bijv. 5 minuten) zonder nieuwe aanvraag.

Voordelen

• Kostenbesparing: Minder tokens hoeven opnieuw verwerkt te worden.
• Snelheid: De tekstgeneratie verloopt sneller.

Takeaways

• Prompt Caching verlaagt de kosten en verhoogde de snelheid van LLM-aanroepen door statische delen van de prompt op te slaan.
• De belangrijkste elementen die gecacht moeten worden zijn de systeem-prompt en de tool-schema's.
• Bij de eerste aanvraag vindt een 'cache write' plaats; bij identieke vervolgvragen wordt een 'cache read' uitgevoerd.
• Het primaire voordeel is een significante kostenbesparing doordat minder tokens opnieuw verwerkt hoeven te worden.