Making a request

📚 Studie-opmerkingen: AWS Bedrock API-aanvragen

⚙️ Vereisten voor een Bedrock API-aanvraag

Om een model aan te roepen, zijn drie elementen nodig:

• Client: Een toegangspunt om Bedrock te benaderen (gebruik de Python-module Boto3).
• Model ID / Inference Profile ID: De unieke identificatie van het model dat je wilt uitvoeren.
• User Message: Een gestructureerd object dat de tekst bevat die je aan het model wilt voeren.

🛠️ Client Instellen

• Maak een client aan met Boto3.
• Specificeer de Bedrock runtime en de gewenste regio (bijv. US West 2).

💡 Model ID vs. Inference Profile (Cruciaal)

• Model ID: Is specifiek gekoppeld aan een bepaalde AWS-regio.
• Probleem: Niet elk model is beschikbaar in elke regio. Als je een aanvraag stuurt naar een regio waar het model niet draait, krijg je een foutmelding.
• Oplossing (Aanbevolen): Gebruik een Inference Profile ID.
• Een Inference Profile routeert de aanvraag automatisch naar een andere regio waar het gekozen model gegarandeerd gehost wordt.
• Conclusie: Gebruik de Inference Profile ID in plaats van de specifieke Model ID voor robuuste aanvragen.

📝 Structuur van Berichten (Messages)

Berichten bevat de tekst die naar het model wordt gestuurd en de tekst die door het model wordt gegenereerd.

• User Message (Input):
• Heeft altijd de rol 'user'.
• Structuur: Een Python-dictionary met een role en een content property.
• content is een lijst die een geneste dictionary bevat met de daadwerkelijke tekst.
• Assistant Message (Output):
• Heeft altijd de rol 'assistant'.
• Bevat de tekst die door het model is gegenereerd.
• De content Lijst:
• De content property is een lijst omdat één bericht meerdere delen kan bevatten (bijv. tekst én een afbeelding).

🚀 De API-aanroep

• De aanroep wordt gedaan via client. converse().
• De aanvraag vereist de model ID (of Inference Profile ID) en de messages (een lijst van berichten).
• Toegang tot de output: De gegenereerde tekst bevindt zich diep in de responsstructuur: Response. output. message. content[0]. text.

Takeaways

• Voor een Bedrock API-aanvraag zijn drie elementen vereist: een Client (Boto3), een Model ID of Inference Profile ID, en een gestructureerde User Message.
• Gebruik een Inference Profile ID in plaats van een Model ID, omdat dit de aanvraag automatisch naar een regio routeert waar het model gegarandeerd beschikbaar is.
• Berichten hebben een rol ('user' of 'assistant') en de 'content' is een lijst, wat het mogelijk maakt om meerdere delen (bijv. tekst en afbeelding) in één bericht te verzenden.
• De API-aanroep wordt uitgevoerd via client. converse(), en de gegenereerde tekst wordt gevonden op het pad Response. output. message. content[0]. text.