Rules of prompt caching

Prompt Caching: Wichtige Konzepte

Grundprinzip und Funktionsweise

• Zweiphasiger Prozess:
• Initial Request: Claude verarbeitet die erste Nachricht und speichert die gesamte Arbeitsleistung in einem temporären Cache.
• Follow-up Request: Bei identischen, späteren Anfragen greift Claude auf den gespeicherten Cache zu und muss die Verarbeitung nicht erneut durchführen.
• Nutzen: Besonders nützlich, wenn dasselbe oder ähnliches Content wiederholt an Claude gesendet wird.
• Persistenz: Der Cache ist temporär und wird nur für eine Stunde gespeichert.

Implementierung und Aktivierung

• Nicht Standard: Prompt Caching ist nicht standardmäßig aktiviert.
• Aktivierung: Man muss manuell einen „Cache Breakpoint“ (Cache-Stopppunkt) in einem Block der Nachricht hinzufügen.
• **Long Form vs. Short Form:** Um den cache control Befehl zu verwenden, muss der Text in der „Long Form“ (detaillierte Struktur: Content → Liste → Dictionary → Type/Text) definiert werden, da die Short Form keinen Platz für diesen Befehl bietet.
• Gültigkeitsbereich: Der Cache speichert die gesamte Verarbeitung des Requests bis und einschließlich des Breakpoints.

Bedingungen und Platzierung

• Identität erforderlich: Die nachfolgende Anfrage muss den Inhalt bis zum Breakpoint exakt wiedergeben. Jede Änderung führt zur Ungültigkeit des Caches für diesen Abschnitt.
• Platzierungsmöglichkeiten: Cache Breakpoints können an fast jedem Block platziert werden:
• Nachrichten-Blöcke (User/Assistant)
• Tool Schemas
• System Prompts
• Image Blocks, Tool Use, Tool Results
• Reihenfolge der Verarbeitung: Die Inhalte werden intern in dieser Reihenfolge zusammengeführt: Tools → System Prompt → Nachrichten.
• Mehrere Breakpoints: Es können bis zu vier Cache Breakpoints hinzugefügt werden, um verschiedene Teile des Prompts (z. B. Tools und System Prompt) zu cachen, während andere Teile (z. B. Nachrichten) sich ändern können.

Technische Einschränkungen

• Mindestlänge: Um überhaupt gecacht werden zu können, muss der Inhalt mindestens 1024 Tokens lang sein.

Takeaways

• Prompt Caching ist ein zweiphasiger Prozess: Zuerst wird die Anfrage verarbeitet und der Cache gespeichert; bei identischen Folgeanfragen wird der Cache direkt genutzt.
• Die Aktivierung ist nicht standardmäßig erfolgt und erfordert die manuelle Platzierung eines „Cache Breakpoints“ in der „Long Form“.
• Für die Nutzung ist die nachfolgende Anfrage bis zum Breakpoint exakt identisch mit der ursprünglichen Anfrage sein müssen.
• Um gecacht werden zu können, muss der Inhalt mindestens 1024 Tokens lang sein.