Multi-Turn conversations

📝 Studieopmerkingen: Contextbeheer in Bedrock API

Kernconcept: Geen Geheugen bij Bedrock/Cloud

• Geen Opslag: Bedrock en de Cloud slaan geen berichten op. Zowel de verzonden prompts als de ontvangen antwoorden worden niet automatisch opgeslagen.
• Context is Manueel: Om een meer dan eenmalige (multi-message) conversatie te behouden, moet de ontwikkelaar de context handmatig beheren in de code.

Hoe Context te Behouden (De Oplossing)

• Opslaan in een Lijst: Bewaar een lijst met alle uitgewisselde berichten (user en assistant).
• Volledige Geschiedenis Sturen: Stuur deze volledige lijst met berichten mee bij elke nieuwe vervolgvraag (follow-up request).
• Het Proces:
• Stuur de eerste vraag (User Message).
• Ontvang het antwoord (Assistant Message).
• Voeg het ontvangen antwoord toe aan de lijst.
• Stuur de volgende vraag (User Message) samen met de gehele lijst (inclusief de vorige vragen en antwoorden).

Implementatie en Best Practices

• Helper Functies: Het is aan te raden helper functies te gebruiken om het toevoegen van berichten (User Message, Assistant Message) en het ophalen van het uiteindelijke antwoord (Chat) te vereenvoudigen.
• Rolafwisseling (Alternating Roles): Zorg er altijd voor dat de rollen in de lijst afwisselen.
• De volgorde moet zijn: User → Assistant → User → Assistant, enzovoort.
• Vermijd twee opeenvolgende berichten van dezelfde rol (bijv. twee User Messages achter elkaar).

Takeaways

• Bedrock en de Cloud slaan geen berichten op; er is geen automatisch geheugen.
• De ontwikkelaar moet de context handmatig beheren om een meer dan eenmalige conversatie te behouden.
• Bewaar alle uitgewisselde berichten (user en assistant) in een centrale lijst.
• Stuur deze volledige berichtengeschiedenis mee bij elke nieuwe vervolgvraag.
• Zorg altijd voor afwisselende rollen in de lijst (User → Assistant → User → Assistant).