Structured data

Studiennotizen: Generierung strukturierter Daten mit LLMs

Hauptproblem:

• Große Sprachmodelle (LLMs) neigen dazu, bei der Generierung strukturierter Daten (z. B. JSON, Python-Code) zusätzliche Kommentare, Header oder Footer einzufügen, was die Nutzung erschwert.
• Ziel ist es, nur den rohen, gewünschten Inhalt zu erhalten.

Lösung: Kombination von Stop Sequences und Assistant Message Pre-filling

• Diese Technik ist besonders effektiv, um das Modell auf die Generierung spezifischer, roher Daten zu beschränken.
• Anwendungsbereich: Nicht nur für JSON, sondern für alle Arten von strukturierten Daten (z. B. Python-Code, Listen).

Funktionsweise (Schritt-für-Schritt):

• User Message: Der Benutzer fordert die gewünschte strukturierte Ausgabe (z. B. "Generiere eine Event Bridge Rule als JSON").
• Assistant Message (Pre-filling): Man füllt die Antwort des Assistenten mit dem gewünschten Startformat (z. B. json `) vor. Dies signalisiert dem Modell, dass es bereits begonnen hat, den gewünschten Block zu erstellen.
• Stop Sequence: Es wird eine Sequenz definiert (z. B. `), die die Generierung sofort beendet, sobald sie vom Modell erzeugt wird.
• Ergebnis: Das Modell generiert den Inhalt zwischen der vorgegebenen Startsequenz und der Stoppsequenz, was zu einer sauberen, rohen Ausgabe führt.

Wichtige Hinweise:

• Die Technik ist ein mächtiges Werkzeug für die Erzeugung von strukturierten Daten.
• Nach der Generierung können zusätzliche Zeilenumbrüche entfernt werden, indem die Antwort als JSON geparsed oder eine "strip"-Funktion angewendet wird.

Takeaways

• LLMs neigen bei der Generierung strukturierter Daten (JSON, Code) dazu, unnötigen "Noise" (Header, Kommentare) einzufügen; das Ziel ist die reine Ausgabe.
• Die Lösung basiert auf der Kombination von Stop Sequences und Assistant Message Pre-filling.
• Assistant Message Pre-filling wird genutzt, um dem Modell das gewünschte Startformat (z. B. json `) zu signalisieren.
• Die Stop Sequence definiert eine Sequenz (z. B. `), die die Generierung sofort beendet, sobald sie vom Modell erzeugt wird.
• Das Ergebnis ist eine saubere, rohe Ausgabe, die sich zwischen der vorgegebenen Start- und Stoppsequenz befindet.