Prompt caching in action

Studieopmerkingen: Prompt Caching

• Doel van Prompt Caching: Het automatisch inschakelen van caching voor tool schemas en systeem-prompts om redundant verwerking te voorkomen bij identieke inputs.
• Implementatie Tool Schemas:
• Voeg een cache control veld toe aan de laatste tool schema.
• Stel het type in op ephemeral.
• Aanbevolge methode: Maak een volledige kopie van de tools-lijst, clone de laatste tool, voeg het cache-veld toe, en vervang vervolgens de laatste tool in de kopie. Dit voorkomt problemen bij het wijzigen van de volgorde van de tools.
• Implementatie Systeem-prompt:
• Vervang de tekst van de systeem-prompt door een gestructureerd tekstblok (dictionary).
• Dit blok moet de volgende velden bevatten: type: text, text: [de systeem-prompt], en cache control: ephemeral.
• Caching Mechanisme en Volgorde:
• Een enkele aanvraag kan meerdere cache-breakpoints bevatten.
• De standaard volgorde van caching is: Tools → Systeem-prompt → Berichten (Messages).
• Cache Gedrag:
• Cache Schrijven (Cache Write): Bij de eerste aanvraag (of na een wijziging) worden de inputs (tools/prompts) opgeslagen in de cache.
• Cache Lezen (Cache Read): Bij opeenvolgende aanvragen met identieke inputs, leest het model de data uit de cache, wat de verwerkingskosten verlaagt.
• Invalidatie: Als er enige wijziging wordt aangebracht in de cached input (bijv. een tool schema wordt aangepast), wordt de cache ongeldig gemaakt en vindt er een nieuwe cache schrijf-actie plaats.
• Gedeeltelijke Caching: Als de tools identiek blijven, maar de systeem-prompt verandert, vindt er een gedeeltelijke cache-lezing (voor de tools) en een nieuwe cache-schrijf-actie (voor de prompt) plaats.
• Wanneer gebruiken: Prompt caching is zeer nuttig wanneer je identieke content (messages, tool schemas of systeem-prompts) herhaaldelijk naar het model stuurt.

Takeaways

• Prompt caching voorkomt redundant verwerking door inputs (tools of prompts) die identiek zijn over meerdere aanvragen op te slaan en te hergebruiken.
• Caching wordt ingeschakeld door het veld cache control: ephemeral toe te voegen aan tool schemas en de gestructureerde systeem-prompt.
• Bij identieke opeenvolgende aanvragen leest het model de data uit de cache (Cache Read), wat de verwerkingskosten verlaagt.
• Elke wijziging in de cached input (bijvoorbeeld een aangepast tool schema) maakt de cache ongeldig en vereist een nieuwe cache-schrijf-actie.
• De standaard volgorde van caching is Tools → Systeem-prompt → Berichten.