Prompt caching in action

Studiennotizen: Prompt-Caching

**I. Grundlagen und Voraussetzungen**

• Definition: Prompt-Caching speichert die Analyse und Verarbeitung von Eingaben (Prompts) des Modells, um zukünftige Anfragen zu beschleunigen und Kosten zu senken.
• Schwellenwert: Caching wird typischerweise aktiviert, wenn die Gesamtgröße des Prompts (z. B. Prompt + Tool Schemas) den Mindestschwellenwert (z. B. 1. 024 Tokens) überschreitet.
• Ziel: Reduzierung der Generierungskosten und Verbesserung der Geschwindigkeit bei wiederkehrenden Anfragen.

**II. Implementierung des Caching**

• System Prompt Caching:
• Füge einen speziellen cache_point Teil mit dem Typ default zur Liste der Prompt-Teile hinzu.
• Dies stellt sicher, dass die Systemanweisung bei jeder Anfrage gecacht wird.
• Tool Schemas Caching:
• Die Liste der Tool Schemas muss mit einem cache_point Teil versehen werden.
• Die gesamte Tool-Liste wird als gecachte Einheit an das Modell übergeben.
• Überwachung:
• Die usage-Eigenschaft der Antwort wird verwendet, um zu prüfen, ob und wie viele Tokens aus dem Cache gelesen oder geschrieben wurden.

**III. Caching-Mechanismen (Verhalten)**

• Cache Write (Schreiben):
• Tritt bei der ersten Anfrage für einen bestimmten Prompt-Inhalt auf.
• Das Modell analysiert den Inhalt und speichert das Ergebnis im Cache.
• Cache Read (Lesen):
• Tritt bei nachfolgenden Anfragen auf, solange der Inhalt des System Prompts unverändert ist.
• Das Modell nutzt die bereits im Cache gespeicherte Analyse, anstatt den gesamten Prompt neu zu verarbeiten.
• Veränderungen:
• Ändert sich der System Prompt, erfolgt ein neuer cache_write.
• Ändert sich nur der Benutzer-Input (aber der System Prompt bleibt gleich), wird weiterhin ein cache_read ausgelöst.
• Cache-Lebensdauer:
• Gecachte Einträge werden nach einer bestimmten Zeit (z. B. 5 Minuten) automatisch gelöscht.

**IV. Vorteile**

• Kostenreduktion: Weniger Tokens müssen neu generiert werden.
• Geschwindigkeit: Die Verarbeitung ist schneller, da die initiale Analyse übersprungen wird.

Takeaways

• Prompt-Caching speichert die Analyse von Prompts, um Kosten zu senken und die Geschwindigkeit bei wiederkehrenden Anfragen zu erhöhen.
• Die Aktivierung wird typischerweise durch die Überschreitung eines Mindestschwellenwerts (z. B. 1. 024 Tokens) der Gesamtgröße des Prompts ausgelöst.
• System Prompts und Tool Schemas müssen mit einem cache_point versehen werden, um als gecachte Einheiten zu fungieren.
• Ein cache_write findet bei der ersten Anfrage statt; ein cache_read ist nur möglich, solange der System Prompt unverändert bleibt.