Rules of prompt caching

Prompt Caching in CLOD

Kernconcept:

• Doel: Prompt caching slaat de verwerking van identieke prompts op om toekomstige verzoeken te versnellen en rekenkracht te besparen.
• Werking (Twee Fasering):
• Initiële Verzoek: De eerste aanvraag wordt verwerkt door CLOD, en het resultaat wordt opgeslagen in een tijdelijke cache.
• Vervolgverzoek: Bij een identieke prompt zoekt CLOD in de cache naar reeds verwerkt werk en gebruikt dit, waardoor herverwerking wordt vermeden.
• Beperking: De opgeslagen data blijft slechts één uur beschikbaar.

Implementatie en Gebruik:

• Niet standaard ingeschakeld: Caching moet handmatig worden ingeschakeld door een 'cache breakpoint' toe te voegen aan een blok binnen een bericht.
• Noodzaak van 'Long Form': Om de cache control te kunnen toevoegen, moet de tekst in de 'long form' (een lijst met een dictionary die een type en tekstveld bevat) worden geschreven, in plaats van de 'short form' (een directe string).
• Bereik van Caching:
• Een cache breakpoint slaat alle inhoud op tot en met dat specifieke blok.
• Vervolgverzoeken moeten identieke inhoud hebben tot het breakpoint om de cache te gebruiken.
• Cache breakpoints kunnen over meerdere berichten en blokken heen worden geplaatst.
• Toepassingsgebieden: Cache breakpoints kunnen worden toegepast op:
• Tekstblokken (User/Assistant messages).
• Tool Schemas.
• System Prompts.
• Andere blokken (bijv. afbeeldingen, tool-use).

Belangrijke Aandachtspunten:

• Structuur van CLOD: De interne volgorde van CLOD is: Tools → System Prompt → Berichten.
• Meerdere Breakpoints: Je kunt tot vier verschillende cache breakpoints toevoegen.
• Cache Invalidering: Het wijzigen van een eerdere prompt (bijv. het eerste gebruikersbericht) kan de cache voor latere elementen ongeldig maken.
• Minimum Lengte: Er is een minimale inhoud van 1024 tokens vereist om content daadwerkelijk in de cache op te slaan.

Takeaways

• Prompt caching slaat identieke prompts op om toekomstige verzoeken te versnellen en rekenkracht te besparen.
• Caching vereist een handmatig 'cache breakpoint' en moet worden toegepast in de 'long form' (niet de 'short form').
• Om de cache te gebruiken, moeten vervolgverzoeken identieke inhoud hebben en is een minimum van 1024 tokens nodig om data op te slaan.
• De opgeslagen data is slechts één uur beschikbaar, en het wijzigen van een eerdere prompt kan de cache ongeldig maken.