Multi-turn conversations

Lernnotizen: Kontext und Gesprächshistorie in LLM-APIs

• Kein eingebautes Gedächtnis: Die Anthropic API und Cloud speichern keine gesendeten Nachrichten (User) oder erhalten Antworten (Assistant).
• Manuelle Kontextverwaltung: Um eine mehrstufiges Gespräch (Multi-Message Conversation) zu ermöglichen, muss der Entwickler die gesamte Konversation manuell verwalten.
• Voraussetzung für Kontext: Bei jeder Folgeanfrage muss die gesamte Liste der bisher ausgetauschten Nachrichten (Gesamtkontext) mitgesendet werden.
• Ablauf der Konversation:
• Initialer Benutzer-Request → Antwort des Modells.
• Die erhaltene Antwort des Modells muss zur Gesprächshistorie hinzugefügt werden.
• Nächster Benutzer-Request → Die gesamte, aktualisierte Historie wird erneut gesendet.
• Strukturierung (Helper Functions):
• add user message: Fügt eine neue Benutzeranfrage zur Nachrichtenliste hinzu.
• add assistant message: Fügt die Antwort des Modells zur Nachrichtenliste hinzu.
• chat: Ruft die API auf und sendet die gesamte Nachrichtenliste (den gesamten Kontext) als Argument.

Takeaways

• LLM-APIs (z. B. Anthropic) speichern keine Nachrichten und verfügen über kein eingebautes Gedächtnis.
• Der Entwickler muss den Kontext einer mehrstufigen Konversation manuell verwalten.
• Bei jeder Folgeanfrage muss die gesamte bisherige Gesprächshistorie (Gesamtkontext) mitgesendet werden.
• Der Prozess erfordert, dass die Antwort des Modells zur Historie hinzugefügt wird, bevor der nächste Benutzer-Request gesendet wird.