Prompt caching in action

Studieopmerkingen: Prompt Caching

• Doel van Prompt Caching: Het automatisch opslaan en hergebruiken van identieke invoer (prompts, tool schemas, system prompts) om tokens te besparen en de responstijd te verkorten.
• Implementatie Tools:
• Om een lijst met tools te cachen, moet de laatste tool schema in de lijst worden aangepast.
• Voeg een veld cache control toe aan de tool schema met de waarde ephemeral.
• Aanbevolge methode: Maak een kopie van de tools-lijst, clone de laatste tool schema, voeg het cache-veld toe, en vervang vervolgens de laatste element in de kopie. Dit voorkomt onbedoelde wijzigingen bij het aanpassen van de tools-lijst.
• Implementatie System Prompt:
• De chatfunctie moet worden aangepast om een specifieke cache breakpoint te definiëren voor de system prompt.
• Dit wordt gedaan door de system prompt te wrappen in een tekstblok met het type text en de cache control ingesteld op ephemeral.
• Caching Volgorde: De volgorde waarin de caching wordt toegepast is cruciaal:
• Tools → System Prompt → Berichten (Messages).
• Cache Gedrag:
• Cache Creatie: Bij de eerste aanvraag (zonder cache) worden de invoercomponenten (tools, prompt) opgeslagen in de cache.
• Cache Lezen: Bij een identieke, opeenvolgende aanvraag worden de tokens uit de cache gelezen in plaats van opnieuw te worden verwerkt.
• Cache Invalidering: Als elke component van de cache (tools, system prompt, of berichten) wordt gewijzigd, wordt de cache ongeldig gemaakt.
• Gedeeltelijke Cache Operaties:
• Als slechts één component verandert (bijvoorbeeld de system prompt), zal het systeem de cache lezen voor de ongewijzigde componenten (tools) en tegelijkertijd de nieuwe component (system prompt) opslaan (cache write).

Takeaways

• Prompt Caching slaat identieke invoer (tools, system prompts) op om tokens te besparen en de responstijd te verkorten.
• Implementatie vereist het toevoegen van cache control: ephemeral aan de betreffende componenten (bijv. laatste tool schema of system prompt).
• De cruciale volgorde van caching is: Tools → System Prompt → Berichten.
• De cache wordt ongeldig gemaakt als elke component (tools, system prompt, of berichten) wordt gewijzigd.