Streaming

Notes de Cours : Streaming de Réponse avec Bedrock

• Problème de Latence :
• Le temps de réponse standard (requête/réponse unique) peut être très long (3 à 30 secondes), ce qui est inacceptable pour l'expérience utilisateur.
• Les utilisateurs attendent un retour immédiat.

• Solution : converse stream
• Utiliser la fonction converse stream permet de diffuser (stream) la réponse au fur et à mesure qu'elle est générée par le modèle.
• Ceci offre un retour immédiat à l'utilisateur.

• Mécanisme du Flux (Stream) :
• Réponse Initiale : La première réponse reçue n'est pas du texte généré, mais un message confirmant que la requête a été reçue et que la génération a commencé.
• Flux d'Événements : Après la réponse initiale, un flux d'événements est reçu.

• Types d'Événements Clés :
• Chaque événement a un rôle spécifique dans la réponse.
• content block delta : C'est l'événement crucial. Il contient le morceau de texte généré par le modèle que l'on souhaite afficher.
• Autres événements (ex: message start, message stop, metadata) indiquent le début, la fin ou des informations contextuelles de la réponse.

• Ordre des Événements (Génération de Texte) :
• L'ordre est prévisible :

message start → plusieurs événements content block delta → content block stop → message stop → metadata.

• Implémentation :
• Pour afficher le texte en temps réel, il faut itérer sur le flux d'événements.
• À chaque événement, vérifier si c'est un content block delta.
• Extraire le texte (delta text) de cet événement et l'afficher immédiatement.
• Collectons tous les morceaux de texte pour former le message complet à la fin.

Takeaways

• Le streaming de réponse (converse stream) est utilisé pour résoudre les problèmes de latence en diffusant le résultat au fur et à mesure de sa génération.
• Le mécanisme de flux est basé sur une séquence d'événements, commençant par une confirmation de requête.
• L'événement crucial pour l'affichage du texte est le content block delta, qui contient le morceau de texte généré par le modèle.
• Pour une implémentation en temps réel, il est nécessaire d'itérer sur le flux d'événements et d'extraire immédiatement le texte de chaque content block delta.