Rules of prompt caching

Studiennotizen: Prompt Caching

Definition und Funktionsweise

• Kernidee: Prompt Caching speichert die Verarbeitung (das "Arbeit") des Modells bei einer initialen Anfrage.
• Prozess:
• Initial Request: Das Modell verarbeitet die Nachricht und speichert das Ergebnis im temporären Cache.
• Follow-up Request: Bei identischer Nachricht wird das gespeicherte Ergebnis aus dem Cache geladen, anstatt die Verarbeitung erneut durchzuführen.
• Nutzung: Am nützlichsten, wenn derselbe Inhalt wiederholt an das Modell gesendet wird.
• Dauer: Der Cache ist temporär und wird nach fünf Minuten gelöscht.

Implementierung und Steuerung

• Aktivierung: Prompt Caching ist standardmäßig deaktiviert und muss explizit aktiviert werden.
• Cache Point: Die Steuerung erfolgt über einen speziellen Nachrichtenteil namens "Cache Point".
• Funktion des Cache Points: Er weist das Modell an, die gesamte Verarbeitung aller Inhalte bis zu diesem Punkt zu speichern.
• Voraussetzung: Für das Caching muss der Inhalt vor dem Cache Point in nachfolgenden Anfragen identisch sein.
• Gültigkeitsbereich: Cache Points können verwendet werden, um die Arbeit über mehrere Nachrichten oder Nachrichtenteile (z. B. Benutzer- und Assistent-Nachrichten) hinweg zu speichern.

Wichtige Einschränkungen und Best Practices

• Mindestgröße: Es muss mindestens 1024 Tokens an Inhalt vor dem Cache Point geben, damit das Modell die Arbeit tatsächlich im Cache speichern kann.
• Anwendungsbereiche: Caching ist nicht nur auf Nachrichtenteile beschränkt. Es kann auch auf:
• Tool-Definitionen (JSON-Schema-Listen)
• System-Prompts angewendet werden.
• Praktischer Nutzen: Da sich Tool-Definitionen und System-Prompts selten ändern, sind dies ideale Orte, um Prompt Caching zu implementieren.

Takeaways

• Prompt Caching speichert die Verarbeitung einer initialen Anfrage, um bei identischen Folgeanfragen die erneute Berechnung zu vermeiden.
• Es ist standardmäßig deaktiviert und muss über einen speziellen "Cache Point" explizit aktiviert werden.
• Caching kann auf System-Prompts und Tool-Definitionen angewendet werden, da sich diese Inhalte selten ändern.
• Es muss mindestens 1024 Tokens vor dem Cache Point vorhanden sein, damit das Modell die Arbeit speichern kann.