Rules of prompt caching

Prompt Caching: Belangrijke Concepten

• Kernprincipe: Prompt caching slaat het verwerkte werk van een initiële aanvraag op. Bij identieke vervolgverzoeken wordt de opgeslagen data uit de cache geladen in plaats van opnieuw te verwerken.
• Duur: De cache is tijdelijk en wordt slechts 5 minuten bewaard.
• Gebruik: Meest nuttig bij het herhaaldelijk sturen van dezelfde content naar de AI.
• Activering: Caching is niet standaard ingeschakeld. Het moet handmatig worden ingeschakeld door een 'cache breakpoint' toe te voegen aan een blok.
• Implementatievereiste: Om de cache control te gebruiken, moet de tekst in de 'long form' (lijst/dictionary structuur) worden geschreven, niet in de shorthand.
• Bereik van Caching: De cache slaat alle content op tot en met het breakpoint.
• Toepasbare Blokken: Cache breakpoints kunnen worden toegepast op:
• Message blocks
• Image blocks
• Tool use / Tool results
• Tool schemas
• System prompts
• Verwerkingsvolgorde: De data wordt intern verwerkt in deze volgorde: Tools → System Prompt → Messages.
• Meerdere Breakpoints: Er kunnen maximaal vier (4) verschillende cache breakpoints worden toegevoegd.
• Minimum Vereiste: Er is een minimale contentlengte van 1024 tokens om content daadwerkelijk in de cache te kunnen opslaan.

Takeaways

• Prompt caching slaat verwerkt werk op bij identieke aanvragen om herverwerking te voorkomen.
• Caching is niet standaard ingeschakeld en vereist handmatige activatie door een 'cache breakpoint' toe te voegen.
• De cache is tijdelijk (max 5 minuten) en vereist een minimale contentlengte van 1024 tokens.
• Cache breakpoints kunnen worden toegepast op verschillende blokken zoals Messages, Image blocks, Tools en System prompts.