Structured data

Lernnotizen: Generierung strukturierter Daten mit Stop Sequences und Assistant Message Prefilling

Ziel:

• Die Generierung von strukturierten Daten (z. B. JSON, Python-Code, Listen) ohne unnötige Einleitung, Header oder Kommentare durch das Sprachmodell (LLM) zu erzwingen.

Problemstellung:

• LLMs neigen dazu, selbst bei Anfragen nach reinem Datenoutput zusätzliche Erklärungen oder Formatierungen (z. B. Markdown-Code-Blöcke wie json `) hinzuzufügen.
• Dies erschwert die automatisierte Verarbeitung des Outputs, da nur die rohen Daten benötigt werden.

Lösung: Kombination von Stop Sequences und Assistant Message Prefilling

• Stop Sequence (Stopp-Sequenz):
• Definiert eine Zeichenfolge, bei deren Erkennung die Generierung des LLM sofort und vollständig beendet wird.
• Beispiel: Wenn das Modell ` (drei Backticks) generiert, stoppt die Ausgabe sofort.
• Assistant Message Prefilling (Vorausgefüllte Assistenten-Nachricht):
• Dient als Startpunkt und gibt dem LLM die Anweisung, dass es bereits einen bestimmten Formatierungsblock begonnen hat.
• Beispiel: Das Prefill json ` signalisiert dem Modell, dass der JSON-Block bereits eröffnet ist.

Funktionsweise (Der Prozess):

• Anweisung (User Message): Der Nutzer fordert die Erstellung strukturierter Daten (z. B. "Generiere eine Event Bridge Rule als JSON").
• Start (Prefill): Das LLM beginnt die Antwort, indem es die vorgegebene Assistenten-Nachricht (z. B. json `) als bereits generiert betrachtet.
• Generierung: Das LLM generiert den Inhalt (die reine JSON-Struktur) zwischen dem Prefill und der Stopp-Sequenz.
• Stopp: Das LLM versucht, den Code-Block zu schließen (z. B. mit `). Die Stop Sequence erkennt dies und beendet die Ausgabe sofort.
• Ergebnis: Es wird nur der reine Inhalt (die JSON-Daten) zurückgegeben.

Wichtige Hinweise:

• Anwendbarkeit: Diese Technik ist nicht auf JSON beschränkt; sie funktioniert für alle Arten von strukturierten Daten (z. B. Python, Listen).
• Nachbearbeitung: Es können zusätzliche Zeilenumbrüche im Output vorhanden sein. Diese müssen durch Parsing (z. B. json. loads) oder String-Methoden (strip()) entfernt werden.

Takeaways

• Ziel ist die Erzwingung reiner, strukturierter Daten (z. B. JSON, Python-Code) durch das LLM, um unnötige Einleitungen oder Formatierungen zu vermeiden.
• Die Lösung basiert auf der Kombination von Stop Sequences und Assistant Message Prefilling.
• Stop Sequences definieren eine Zeichenfolge, bei deren Erkennung die LLM-Generierung sofort und vollständig beendet wird.
• Assistant Message Prefilling dient als Startpunkt, um dem LLM den Beginn eines spezifischen Formatierungsblocks zu signalisieren.
• Die Technik ist nicht auf JSON beschränkt und funktioniert für alle strukturierten Daten, erfordert jedoch eine anschließende Nachbearbeitung (Parsing).