Prompt caching in action

📝 Lernnotizen: Prompt Caching

Ziel: Prompt Caching für System-Prompts und Tool Schemas standardmäßig in der Chat-Funktion aktivieren.

**1. Grundlagen des Prompt Caching**

• Zweck: Reduzierung der Token-Nutzung bei wiederholten Anfragen mit identischem Inhalt (System-Prompt, Tool Schemas, Nachrichten).
• Caching-Reihenfolge: Tools → System-Prompt → Nachrichten (Messages).
• Cache-Typ: Es wird der Typ ephemeral verwendet.

**2. Implementierung für Tool Schemas**

• Anforderung: Das cache control-Feld muss dem letzten Tool Schema hinzugefügt werden.
• Best Practice (Sicherheitsmaßnahme): Anstatt das letzte Element direkt zu modifizieren, sollte die gesamte Liste der Tools geklont werden. Anschließend wird das letzte Tool Schema in dieser Kopie modifiziert und das Original ersetzt.
• Vorteil: Verhindert Probleme, falls die Reihenfolge der Tool Schemas später geändert wird.

**3. Implementierung für System-Prompts**

• Anforderung: Der System-Prompt muss als Textblock mit einem spezifischen Cache-Kontrollfeld definiert werden.
• Struktur: Ein Dictionary, das folgende Felder enthält:
• type: text
• text: [Der eigentliche System-Prompt]
• cache control: ephemeral

**4. Caching-Mechanismen und Verhalten**

• Cache Creation (Cache Write): Tritt beim ersten Senden von Tool Schemas oder System-Prompts auf. Die Tokens werden in den Cache geschrieben.
• Cache Read: Tritt bei nachfolgenden Anfragen auf, wenn die Eingabedaten (Tools/Prompt) identisch sind. Die Tokens werden aus dem Cache gelesen.
• Cache Invalidation (Ungültigkeit):
• Änderung des Tool Schemas → Cache wird ungültig.
• Änderung des System-Prompts → Cache wird ungültig.
• Teilweise Änderung: Wenn nur der System-Prompt geändert wird, aber die Tools gleich bleiben, erfolgt ein Cache Read (für die Tools) und ein Cache Write (für den neuen Prompt).

**5. Zusammenfassung**

• Prompt Caching ist essenziell, wenn Inhalte (Tools, Prompts, Nachrichten) identisch bleiben.
• Die korrekte Implementierung stellt sicher, dass die Cloud die wiederkehrenden, großen Prompts effizient aus dem Cache liest, anstatt sie bei jeder Anfrage neu zu verarbeiten.

Takeaways

• Prompt Caching reduziert die Token-Nutzung bei wiederholten Anfragen mit identischem Inhalt (System-Prompt, Tool Schemas, Nachrichten).
• System-Prompts müssen als Textblock definiert werden und das Feld cache control: ephemeral enthalten.
• Für Tool Schemas muss das cache control-Feld hinzugefügt werden; zur Sicherheit sollte die gesamte Tool-Liste geklont und ersetzt werden.
• Änderungen am Tool Schema oder System-Prompt führen zur Ungültigkeit (Invalidation) des Caches.