Rules of prompt caching

Prompt Caching: Belangrijkste Concepten

• Definitie: Prompt caching slaat het verwerkingsresultaat van een initiële aanvraag op. Bij identieke toekomstige aanvragen wordt dit opgeslagen werk hergebruikt in plaats van opnieuw te worden verwerkt.
• Doel: Het is het meest nuttig wanneer je herhaaldelijk dezelfde inhoud naar het model stuurt.
• Duur: Het opgeslagen werk is tijdelijk en wordt slechts vijf minuten bewaard.
• Activering: Prompt caching is standaard uitgeschakeld en moet worden ingeschakeld door het gebruik van een nieuw berichtgedeelte: de cache point.
• Werking van een Cache Point:
• Een cache point geeft aan dat alle verwerking van de tekst vóór dit punt moet worden opgeslagen (gecache).
• Alles na het cache point wordt niet opgeslagen.
• Voorwaarde voor Caching: Het caching-systeem werkt alleen als de inhoud vóór het cache point in de opvolgende aanvragen identiek is.
• Bereik: Cache points zijn niet beperkt tot één bericht of één tekstgedeelte; ze kunnen werk opslaan dat is gedaan op meerdere berichten, delen en assistentberichten.
• Minimum Vereiste: Er moet minimaal 1024 tokens aan inhoud vóór een cache point zijn om het werk daadwerkelijk te kunnen opslaan.
• Toepassingsgebieden: Cache points kunnen worden gebruikt op:
• Berichtdelen (message parts).
• Tool-definitielijsten (bijvoorbeeld JSON-schema's).
• Systeem-prompts.
• Strategisch Gebruik: Caching van tools en systeem-prompts is vaak effectief omdat deze lange, stabiele stukken tekst zijn die zelden veranderen tussen aanvragen.

Takeaways

• Prompt caching slaat het verwerkingsresultaat van identieke aanvragen op om herverwerking te voorkomen.
• De caching wordt geactiveerd door een 'cache point', waarbij alleen de tekst vóór dit punt wordt opgeslagen.
• Voor caching werkt de inhoud vóór het cache point in opvolgende aanvragen strikt identiek.
• Het systeem is tijdelijk (maximaal 5 minuten) en vereist minimaal 1024 tokens vóór het cache point.