Structured data

Studiennotizen: Stop Sequences und Assistant Message Pre-filling

• Problem: Große Sprachmodelle (LLMs) neigen dazu, bei der Generierung strukturierter Daten (z. B. JSON, Python-Code) zusätzliche, unerwünschte Elemente wie Header, Footer oder erklärenden Kommentar einzufügen.
• Ziel: Nur die rohen, gewünschten Daten erhalten, ohne zusätzliche Einbettungen.
• Lösung: Kombination von Stop Sequences und Assistant Message Pre-filling.
• Anwendungsbereich: Diese Technik ist nicht auf JSON beschränkt, sondern kann für die Generierung jeglicher spezifischer strukturierter Inhalte genutzt werden.
• Funktionsweise (Mechanismus):
• Pre-filling: Der Assistant wird mit dem Anfang des gewünschten Outputs versehen (z. B. json`).
• Stop Sequence: Es wird eine Stop Sequence definiert, die sofort nach dem Start-Marker ausgelöst wird (z. B. `).
• Ablauf: Das Modell nimmt an, dass der Start bereits geschrieben wurde, generiert den Inhalt, und versucht dann, den Block zu schließen. Die Stop Sequence unterbricht die Generierung jedoch sofort, bevor der Abschluss erfolgt.
• Ergebnis: Nur der Inhalt zwischen dem Start-Marker und der Stop Sequence wird zurückgegeben.
• Nachbearbeitung: Die zurückgegebene Antwort kann zusätzliche Zeilenumbrüche enthalten, die durch Parsen (z. B. JSON. loads) oder das Entfernen von Leerzeichen (strip) entfernt werden.

Takeaways

• LLMs fügen bei der Generierung strukturierter Daten oft unerwünschte Elemente (Header, Footer) hinzu.
• Die Lösung ist die Kombination von Stop Sequences und Assistant Message Pre-filling.
• Pre-filling liefert dem Assistant den gewünschten Anfang des Outputs (z. B. json`).
• Die Stop Sequence wird so definiert, dass sie die Generierung sofort nach dem Start-Marker unterbricht.
• Die zurückgegebene Antwort muss nach Parsen oder Entfernen von Leerzeichen (strip) bereinigt werden.