Streaming

Studieopmerkingen: Bedrock Streaming met converse_stream

Doel van Streaming

• Probleem: Standaard synchrone API-aanvragen kunnen lang duren (bijv. 3 tot 30 seconden) voor een volledige respons.
• Oplossing: Gebruik converse_stream om de respons direct te verzenden terwijl deze wordt gegenereerd, wat zorgt voor onmiddellijke feedback aan de gebruiker.

Werking van converse_stream

• Initial Response: De eerste respons bevat geen gegenereerde tekst. Het is een bevestiging dat de aanvraag is ontvangen en het generatieproces is gestart.
• Stream Object: De respons bevat een stream object (een generator). Dit object kan geïটারেid worden om een reeks gebeurtenissen (events) te ontvangen.
• Event-Flow: De generator levert verschillende events op in een vaste volgorde:
• message_start
• content_block_delta (de belangrijkste event voor tekst)
• message_stop
• metadata

Verwerking van Events

• Focus Event: Voor het genereren van tekst is het content_block_delta de cruciale event.
• Data Extractie: Elke content_block_delta bevat een klein stuk tekst (een chunk). De tekst wordt gevonden via de structuur: event['content_block_delta']['delta']['text'].
• Proces:
• Itereer over de events in de stream.
• Controleer of het event van type content_block_delta is.
• Extraheer de tekstchunk.
• Stuur de chunk naar de browser/app om deze direct weer te geven.
• Sla de chunk op om de volledige, uiteindelijke boodschap te reconstrueren.

Belangrijke Aandachtspunten

• Volgorde: Events komen altijd in een vaste volgorde (start → deltas → stop).
• Tool Use: Hoewel content_block_start een event is, is dit alleen relevant bij geavanceerde functies zoals tool use, niet bij standaard tekstgeneratie.

Takeaways

• converse_stream lost de trage synchrone API-aanvragen door de respons direct te verzenden terwijl deze wordt gegenereerd.
• De respons van converse_stream bevat een stream object (een generator) dat een reeks gebeurtenissen (events) levert.
• De cruciale event voor het ontvangen van gegenereerde tekst is content_block_delta.
• Het proces vereist dat je de stream itereert, de tekstchunk uit de content_block_delta extraheert, en deze direct weer geeft.