Rules of prompt caching

Prompt Caching: Schlüsselkonzepte

• Grundprinzip:
• Beim ersten Request verarbeitet CLOD die Eingabe und speichert die Ergebnisse in einem temporären Cache.
• Bei identischen Folge-Requests lädt CLOD die gespeicherte Arbeit aus dem Cache, anstatt sie neu zu verarbeiten.
• Nutzung und Dauer:
• Am nützlichsten bei wiederholtem Senden desselben Inhalts.
• Der Cache ist temporär und wird nach 5 Minuten gelöscht.
• Aktivierung:
• Prompt Caching ist nicht standardmäßig aktiviert.
• Es muss manuell durch das Hinzufügen eines "Cache Breakpoint" zu einem Block aktiviert werden.
• Implementierung (Longform):
• Um das Cache Control Feld zu nutzen, muss der Textblock in der "Longform" (detaillierte Struktur: Content → List → Dictionary) geschrieben werden. Die Kurzform erlaubt keine Platzierung des Cache Control Feldes.
• Cache-Bereich und Bedingungen:
• Der Cache umfasst alle Inhalte bis und einschließlich des Breakpoints.
• Der nachfolgende Request muss bis zum Breakpoint identisch sein; selbst kleine Änderungen führen zur Cache-Invalidierung.
• Platzierungsmöglichkeiten:
• Cache Breakpoints können an verschiedenen Blocktypen platziert werden:
• Nachrichten (User, Assistant etc. )
• Tool Schemas
• System Prompts
• Image Blocks, Tool Use, Tool Results
• Verarbeitungshierarchie:
• Die Inhalte werden in dieser Reihenfolge verarbeitet: Tools → System Prompt → Nachrichten.
• Ein Breakpoint auf einem frühen Element (z. B. Tool Schema) cached nur diesen Teil, nicht die nachfolgenden Nachrichten.
• Mehrere Breakpoints:
• Es können maximal vier verschiedene Cache Breakpoints hinzugefügt werden.
• Diese Breakpoints definieren verschiedene Cache-Punkte innerhalb des gesamten Requests.
• Mindestanforderung:
• Es gibt eine Mindestinhaltlänge für das Caching: ≥ 1024 Tokens.

Takeaways

• Prompt Caching speichert Ergebnisse für identische Folge-Requests, um die erneute Verarbeitung zu vermeiden.
• Es ist nicht standardmäßig aktiviert und muss manuell durch das Hinzufügen eines "Cache Breakpoint" in der Longform implementiert werden.
• Der Cache ist temporär (5 Minuten) und erfordert eine Mindestinhaltlänge von 1024 Tokens.
• Der nachfolgende Request muss bis zum Breakpoint absolut identisch sein; selbst kleine Änderungen führen zur Cache-Invalidierung.