Multi-Turn conversations

Studiennotizen: Kontext-Management in der Anthropic API

• Kernproblem (API-Verhalten):
• Die Anthropic API speichert keine Nachrichten und keine Konversationshistorie.
• Jede Anfrage wird als isolierte, neue Interaktion behandelt.
• Folge: Nach einer ersten Antwort verliert das Modell den Kontext der vorherigen Fragen.

• Lösung (Manuelles Kontext-Management):
• Der Entwickler muss den gesamten Gesprächskontext selbst im Code speichern und verwalten.
• Dies geschieht durch die Pflege einer Liste aller bisher ausgetauschten Nachrichten.

• Voraussetzung für Multi-Turn-Konversation:
• Bei jeder neuen Anfrage (Follow-up) muss die gesamte Liste der bisherigen Nachrichten (User- und Assistant-Nachrichten) an die API gesendet werden.
• Die API nutzt diese übermittelte Historie, um den Kontext zu verstehen und kohärente Antworten zu geben.

• Workflow zur Historienpflege:
• Initialer Schritt: Sende die erste User Message.
• Antwort speichern: Erhalte die Assistant Response.
• Historie aktualisieren: Füge die Assistant Response zur internen Nachrichtenliste hinzu.
• Folge-Aktion: Füge die neue User Message zur Liste hinzu und sende die gesamte Liste an die API.
• Wiederholen: Dieser Zyklus wird fortgesetzt, um den Kontext zu erhalten.

• Wichtige Hilfsfunktionen (Code-Struktur):
• add user message: Fügt eine neue Nachricht des Nutzers zur Historie hinzu.
• add assistant message: Fügt die Antwort des Modells zur Historie hinzu.
• chat: Nimmt die vollständige Nachrichtenliste als Argument entgegen und generiert die Antwort des Modells.

Takeaways

• Die Anthropic API speichert keine Konversationshistorie; jede Anfrage wird als isolierte Interaktion behandelt.
• Der Entwickler ist für das manuelle Kontext-Management verantwortlich und muss den gesamten Gesprächsverlauf speichern.
• Für Multi-Turn-Konversation muss bei jeder neuen Anfrage die gesamte Historie (alle User- und Assistant-Nachrichten) an die API gesendet werden.
• Der Workflow erfordert, dass die Antwort des Modells nach Erhalt zur internen Nachrichtenliste hinzugefügt wird, um den Kontext für die nächste Runde zu erhalten.