Accessing the API

Studiennotizen: Claude API und Textgenerierung

**I. Architektur und Sicherheit (Client-Server-Modell)**

• Sicherheitsregel: Der Client (Web- oder Mobile App) darf niemals direkt auf Vertex/die API zugreifen.
• Sicherheitsgrund: API-Anfragen erfordern geheime Anmeldedaten (Secret Credentials), die niemals im Client-Code platziert werden dürfen.
• Korrekter Ablauf:
• Benutzer sendet Nachricht an die implementierte Server-Anwendung (Backend).
• Der Server sendet die Anfrage an Vertex (meist über SDK).
• Vertex generiert Text und sendet die Antwort an den Server.
• Der Server leitet den generierten Text an den Client weiter zur Anzeige.

**II. API-Anforderung (Server → Vertex)**

Beim Aufruf der API muss der Server folgende Daten übergeben:

• Der Name des gewünschten Modells.
• Eine Liste der Nachrichten (Messages), die den Benutzereingabe-Text enthält.
• Max Tokens: Ein Wert, der die maximale Länge des generierten Textes begrenzt.

**III. Der Textgenerierungsprozess (Innerhalb des Modells)**

Der Prozess wird in vier Hauptphasen unterteilt:

• Tokenisierung: Der Benutzereingabe-Text wird in kleinere Einheiten zerlegt, sogenannte Tokens (können ganze Wörter, Teile von Wörtern oder Symbole sein).
• Embedding: Jeder Token wird in ein Embedding umgewandelt. Ein Embedding ist eine lange Liste von Zahlen, die die numerische Definition des Wortes darstellt.
• Kontextualisierung: Die Embeddings werden basierend auf den umliegenden Tokens angepasst. Dies verfeinert die Bedeutung jedes Tokens, da die Bedeutung eines Wortes vom Kontext abhängt.
• Generierung: Die verarbeiteten Embeddings werden an eine Ausgabeschicht übergeben, die Wahrscheinlichkeiten für jedes mögliche nächste Wort erzeugt.
• Auswahl: Das Modell wählt nicht immer das Wort mit der höchsten Wahrscheinlichkeit, sondern nutzt eine Mischung aus Wahrscheinlichkeit und Zufälligkeit, um natürliche und vielfältige Antworten zu erzeugen.
• Wiederholung: Das ausgewählte Wort wird dem Embedding-Set hinzugefügt, und der gesamte Prozess wiederholt sich.

**IV. Stopp-Kriterien und Antwort**

Das Modell stoppt die Generierung, wenn eines der folgenden Kriterien erfüllt ist:

• Max Tokens erreicht: Die Anzahl der generierten Tokens überschreitet den im Request angegebenen Limit.
• End of Sequence Token: Das Modell generiert einen speziellen Signal-Token, der anzeigt, dass es einen natürlichen Abschluss der Antwort erreicht hat.

**V. API-Antwort (Vertex → Server)**

Die API sendet dem Server eine Antwort, die folgende Informationen enthält:

• Die generierte Nachricht (der Text).
• Usage (Nutzung): Eine Zählung der Eingabetokens und der generierten Tokens.
• Stop Reason: Eine Angabe, warum das Modell die Generierung beendet hat (z. B. natürlicher Abschluss oder Token-Limit überschritten).

Takeaways

• Der Client darf niemals direkt auf die API zugreifen; eine Server-Anwendung (Backend) muss die Anfragen verwalten und die geheimen Anmeldedaten schützen.
• Der Textgenerierungsprozess läuft in vier Phasen: Tokenisierung (Zerlegung) → Embedding (numerische Definition) → Kontextualisierung (Bedeutungsanpassung) → Generierung.
• Die API-Anfrage erfordert den Modellnamen, eine Liste der Nachrichten und das Limit Max Tokens.
• Die Generierung stoppt, wenn entweder Max Tokens erreicht sind oder das Modell einen speziellen End of Sequence Token erzeugt.