Accessing the API

Studieopmerkingen: Het Verzoekscyclus van Claude

**I. Architectuur en Beveiliging**

• Doel: Begrijpen hoe een verzoek aan Claude wordt verwerkt, van de gebruiker tot de respons.
• Veiligheid: Gebruik nooit geheime credentials (API-sleutels) in een client-side applicatie (web/mobiel).
• Verkeersroute: Alle verzoeken moeten via een door de ontwikkelaar geïmplementeerde en gecontroleerde server lopen.
• Verzoek aan Vertex: De server stuurt het verzoek naar Vertex (of een Anthropic/Google SDK).

**II. Vereisten voor het Serververzoek**

De server moet de volgende gegevens doorgeven aan het model:

• Naam van het model (Model name).
• Lijst van berichten (Messages), inclusief de invoer van de gebruiker.
• Maximale tokens (Max tokens): Een limiet op de lengte van de gegenereerde tekst.

**III. Het Tekstgeneratieproces (Binnen het Model)**

Het proces wordt in vier stappen onderverdeeld:

• Tokenisatie: De gebruikersinput wordt opgesplitst in kleinere eenheden, genaamd tokens (dit kunnen hele woorden, delen van woorden, of symbolen zijn).
• Embedding: Elk token wordt omgezet in een embedding (een lange lijst van getallen die de semantische betekenis van het woord vertegenwoordigt).
• Contextualisatie: De embeddings worden aangepast op basis van de embeddings van omliggende woorden. Dit proces verfijnt de betekenis van elk woord binnen de context van de zin.
• Generatie: De verwerkte embeddings gaan naar een outputlaag die waarschijnlijkheden produceert voor elk mogelijk volgende woord.
• Het model kiest niet altijd het woord met de hoogste waarschijnlijkheid, maar gebruikt een mix van waarschijnlijkheid en willekeur om natuurlijke en diverse antwoorden te creëren.

**IV. Beëindiging van de Generatie**

Het model controleert na het genereren van elk token of het proces moet stoppen:

• Limiet bereikt: Het aantal gegenereerde tokens is ≥ de max tokens parameter.
• Natuurlijke stop: Het model genereert een speciale 'end of sequence token' (een signaal dat het een natuurlijk einde heeft bereikt).

**V. De API Respons**

Nadat de generatie is voltooid, stuurt de API een respons terug naar de server. Deze bevat:

• De gegenereerde tekst.
• Gebruik (Usage): Het aantal invoertokens en het aantal gegenereerde tokens.
• Stop Reden (Stop Reason): De reden waarom het model is gestopt (bijv. natuurlijke stop of limiet overschreden).

**VI. Voltooiing van de Flow**

• API → Server → Client (Web/Mobiel App)
• De server stuurt de gegenereerde tekst door naar de client, waar deze op het scherm wordt weergegeven.

Takeaways

• Geheime credentials (API-sleutels) mogen nooit in een client-side applicatie worden gebruikt; alle verzoeken moeten via een door de ontwikkelaar geïmplementeerde server lopen.
• Het tekstgeneratieproces verloopt in vier stappen: Tokenisatie (input splitsen), Embedding (semantische betekenis toewijzen), Contextualisatie (betekenis verfijnen) en Generatie (waarschijnlijkheden berekenen).
• De generatie van tekst stopt wanneer de limiet (Max Tokens) is bereikt of wanneer het model een natuurlijke 'end of sequence token' produceert.
• De volledige verwerkingsflow van het verzoek verloopt als API → Server → Client.