Controlling model output

🧠 Lernnotizen: Einfluss auf LLM-Ausgaben (Claude)

Die Ausgabe eines Sprachmodells (LLM) kann durch zwei Haupttechniken stark beeinflusst werden:

1. Vorbefüllen von Assistenten-Nachrichten (Pre-filling Assistant Messages)

• Ziel: Die Antwort des Modells in eine bestimmte Richtung lenken (z. B. eine Präferenz etablieren).
• Vorgehen: Man fügt der Liste der Nachrichten manuell eine Nachricht im Format "Assistent" hinzu, obwohl der Nutzer diese nicht explizit angefordert hat.
• Mechanismus: Das Modell interpretiert diese vorbefüllte Nachricht als bereits existierenden Inhalt und setzt seine Antwort direkt an deren Ende fort.
• Wichtiger Hinweis: Die vorbefüllte Nachricht ist oft unvollständig (z. B. "Kaffee ist besser, weil... "). Der Nutzer muss den finalen Text zusammenfügen (stich together).
• Effekt: Starke Steuerung der Argumentation des Modells.

2. Stopp-Sequenzen (Stop Sequences)

• Ziel: Die Generierung der Antwort des Modells sofort beenden, sobald ein bestimmter String erzeugt wird.
• Vorgehen: Es wird eine Liste von Stopp-Sequenzen als zusätzlicher Parameter (z. B. in der converse-Funktion) übergeben.
• Mechanismus: Sobald das Modell einen der definierten Strings generiert, wird die Antwort sofort abgebrochen und zurückgegeben.
• Anwendung: Dient zur Kürzung oder Begrenzung der Antwort auf einen bestimmten Punkt.
• Beispiel: Wenn "5" als Stopp-Sequenz definiert wird, wird die Antwort bei der Generierung von "5" gestoppt und "5" selbst wird nicht mehr ausgegeben.

Takeaways

• LLM-Ausgaben können primär durch Vorbefüllung von Assistent-Nachrichten oder Stopp-Sequenzen beeinflusst werden.
• Vorbefüllung lenkt die Antwort, indem eine manuelle "Assistent"-Nachricht hinzugefügt wird, die das Modell fortsetzt.
• Diese vorbefüllten Nachrichten sind oft unvollständig und erfordern eine manuelle Zusammenführung durch den Nutzer.
• Stopp-Sequenzen beenden die Generierung sofort, sobald das Modell einen definierten String erzeugt.
• Sie dienen dazu, die Antwort des Modells präzise zu kürzen oder auf einen bestimmten Punkt zu begrenzen.