Prompt caching in action

Studiennotizen: Prompt-Caching

Definition und Zweck

• Prompt-Caching: Ein Mechanismus, der die Wiederverwendung von Eingaben (Prompts) ermöglicht, die identisch sind, um die benötigte Token-Anzahl und die Rechenzeit zu reduzieren.
• Ziel: Vermeidung unnötiger Neuberechnungen, wenn dieselben Systemanweisungen oder Werkzeuge (Tools) erneut verwendet werden.

Implementierung und Komponenten

• Cache-Breakpoint: Ein spezifischer Punkt in der Anfrage, an dem die Caching-Logik angewendet wird.
• Zu cachende Elemente:
• Tool Schemas (Liste der verfügbaren Werkzeuge).
• System Prompt (Die Hauptanweisung an das Modell).
• Nachrichten (User Messages).
• Cache-Steuerung: Die Funktion erfordert das Hinzufügen eines cache control Feldes zu den Eingabedaten.
• Spezifische Implementierung (Tools):
• Um das Tool Schema zu cachen, muss das letzte Schema in der Tool-Liste dupliziert werden.
• Das Feld cache control wird auf dem duplizierten Schema gesetzt (z. B. ephemeral).
• Best Practice: Eine Kopie der gesamten Tool-Liste zu erstellen, bevor das letzte Element modifiziert wird, um Code-Robustheit zu gewährleisten.
• Spezifische Implementierung (System Prompt):
• Der System Prompt wird in ein Dictionary verpackt, das folgende Felder enthält: type: text, text: system (der Prompt selbst) und cache control: ephemeral.

Cache-Verhalten und Logik

• Caching-Reihenfolge: Die Caching-Priorität erfolgt in dieser Reihenfolge: Werkzeuge → System Prompt → Nachrichten.
• Cache-Treffer (Cache Hit): Wenn die Eingaben (Tools, System Prompt, Nachrichten) identisch sind, wird der Inhalt aus dem Cache gelesen (Cache Read).
• Cache-Invalidierung (Cache Miss):
• Änderungen an jedem der cachebaren Komponenten (Tool Schema, System Prompt, Nachricht) führen zur Invalidierung des Caches.
• Bei einer Änderung wird der Cache neu geschrieben (Cache Write).
• Gleichzeitige Operation: Wenn sich nur der System Prompt ändert, aber die Tools gleich bleiben, findet gleichzeitig ein Cache Read (für die Tools) und ein Cache Write (für den neuen Prompt) statt.

Takeaways

• Prompt-Caching reduziert Token-Anzahl und Rechenzeit durch die Wiederverwendung identischer Eingaben.
• Die wichtigsten cachebaren Elemente sind Tool Schemas, System Prompts und Nachrichten.
• Die Caching-Priorität erfolgt in der Reihenfolge: Werkzeuge → System Prompt → Nachrichten.
• Jede Änderung an einem cachebaren Element führt zur Cache-Invalidierung und einem Cache Write.