Controlling model output

Studiennotizen: Einfluss auf die Ausgabe von LLMs (Claude)

**I. Techniken zur Steuerung der Ausgabe**

Es gibt zwei Hauptmethoden, um die Antwort von Claude stark zu beeinflussen:

• Vorausfüllung von Assistenten-Nachrichten (Pre-filling Assistant Messages).
• Stopp-Sequenzen (Stop Sequences).

**II. Vorausfüllung von Assistenten-Nachrichten (Pre-filling Assistant Messages)**

• Ziel: Die Antwort von Claude in eine bestimmte Richtung lenken (z. B. pro oder contra eine These).
• Mechanismus: Eine explizite "Assistenten-Nachricht" (Assistant Message) wird in die Liste der Nachrichten eingefügt, bevor die finale Benutzeranfrage gestellt wird.
• Wirkung: Claude geht davon aus, dass dieser Inhalt von ihm selbst verfasst wurde und setzt seine Antwort ab diesem Punkt fort.
• Beispiel: Wenn die Nachricht "Coffee is better because... " vorausgefüllt wird, wird Claude die Antwort so formulieren, dass sie Kaffee befürwortet.
• Wichtiger Hinweis: Die vorausgefüllte Nachricht ist oft kein vollständiger Satz. Claude setzt die Antwort direkt an das Ende der eingefügten Zeichenfolge an.

**III. Stopp-Sequenzen (Stop Sequences)**

• Ziel: Die Generierung der Antwort von Claude sofort beenden, sobald eine bestimmte Zeichenfolge erzeugt wird.
• Mechanismus: Eine Liste von Stopp-Sequenzen wird als Argument in die Chat-Funktion übergeben.
• Wirkung: Sobald Claude die definierte Zeichenfolge generiert, stoppt der gesamte Antwortprozess sofort.
• Beispiel: Wenn die Stopp-Sequenz "5" ist, wird die Antwort stoppen, nachdem die Zahl 5 generiert wurde.
• Anwendung: Kann verwendet werden, um die Länge der Antwort zu begrenzen oder unerwünschte Muster zu unterbinden.

Takeaways

• Es gibt zwei Hauptmethoden zur Steuerung der LLM-Ausgabe: Pre-filling von Assistenten-Nachrichten und Stopp-Sequenzen.
• Pre-filling lenkt die Antwort, indem eine explizite Assistenten-Nachricht eingefügt wird, die Claude als eigene Aussage interpretiert und fortsetzt.
• Stopp-Sequenzen beenden den gesamten Antwortprozess sofort, sobald die definierte Zeichenfolge generiert wird.
• Die in die LLM-Konversation eingefügten Assistenten-Nachrichten müssen nicht vollständige Sätze sein.