Making a request

📝 Lernnotizen: Erste API-Anfrage an AWS Bedrock

🎯 Ziel

Erstellung der ersten API-Anfrage an AWS Bedrock zur Generierung von Text.

🛠️ Benötigte Komponenten für die Anfrage

Um eine erfolgreiche Anfrage zu stellen, sind drei Elemente erforderlich:

• Client: Ein Zugriffsobjekt, erstellt mit dem Python-Modul Boto3.
• Model ID / Inference Profile ID: Die Kennung des gewünschten Modells.
• User Message: Ein speziell formatiertes Objekt, das den Text enthält, den das Modell verarbeiten soll.

⚙️ Client- und Modellkonfiguration

• Client-Erstellung: Der Client wird über Boto3 erstellt und muss den spezifischen Bedrock Runtime und die Region (z. B. US West 2) angeben.
• **Model ID vs. Inference Profile (Wichtig! ):**
• Problem: Nicht jedes Modell ist in jeder AWS-Region verfügbar. Eine Anfrage an die falsche Region führt zu einem Fehler.
• Lösung: Verwenden eines Inference Profile.
• Funktion des Inference Profile: Es leitet die Anfrage automatisch an eine Region weiter, in der das gewählte Modell garantiert gehostet wird.
• Best Practice: Anstatt die spezifische Model ID zu verwenden, sollte die ID des Inference Profile in der Anfrage angegeben werden, um die automatische Routenführung zu gewährleisten.

💬 Struktur der Nachrichten (Messages)

Nachrichten sind strukturierte Objekte, die den Text enthalten, der an das Modell gesendet oder von ihm generiert wurde.

• User Message:
• Rolle: Immer user.
• Struktur: Ein Python-Dictionary mit den Feldern role und content.
• Content: Das Feld content ist eine Liste, die wiederum verschachtelte Dictionaries enthält. Dies erlaubt die spätere Erweiterung auf multimodale Eingaben (z. B. Text + Bild).
• Assistant Message:
• Rolle: Immer assistant.
• Inhalt: Enthält den Text, der vom Modell generiert wurde.
• API-Aufruf: Die Anfrage wird über client. converse() gestartet, wobei die messages als Liste übergeben werden.

📤 Verarbeitung der Antwort

• Die Antwort (Response) enthält umfangreiche Informationen.
• Um den reinen generierten Text zu extrahieren, muss die Struktur navigiert werden:

Response. output. message. content[0]. text

• Die generierte Antwort ähnelt strukturell einer Assistant Message.

Takeaways

• Verwende ein Inference Profile statt einer direkten Model ID, um die automatische Routenführung zu gewährleisten und Fehler aufgrund regionaler Nicht-Verfügbarkeit zu vermeiden.
• Nachrichten müssen als strukturierte Objekte mit der Rolle user (für Eingaben) oder assistant (für generierte Antworten) definiert werden.
• Die API-Anfrage wird über die Methode client. converse() gestartet und die Nachrichten als Liste übergeben.
• Der generierte Text muss aus der komplexen Antwortstruktur navigiert und extrahiert werden (z. B. Response. output. message. content[0]. text).