Prompt engineering

Prompt Engineering: Schlüsselkonzepte

Definition und Ziel

• Prompt Engineering: Der Prozess der Verbesserung eines ursprünglichen Prompts, um zuverlässigere und qualitativ hochwertigere Ausgaben (Outputs) zu erhalten.
• Ziel des Moduls: Ein initialer Prompt erstellen, diesen bewerten und ihn dann schrittweise mithilfe von Prompt Engineering Techniken verbessern.

Der Prompt-Entwicklungsprozess (Iterativer Ansatz)

• Zielsetzung: Festlegung dessen, was der Prompt leisten soll.
• Initialer Prompt: Erstellung einer ersten, oft unzureichenden Version des Prompts.
• Evaluation: Bewertung des Prompts und des generierten Outputs (führt meist zu einem schlechten Score).
• Verbesserung: Anwendung spezifischer Prompt Engineering Techniken.
• Re-Evaluation: Wiederholung der Bewertung, um eine Steigerung der Performance zu messen.

Anwendungsfall: Ernährungsplan für Athleten

• Ziel des Prompts: Generierung eines kompakten, ein-tägigen Ernährungsplans für einen Athleten.
• Erforderliche Eingaben (Inputs):
• Höhe (Height)
• Gewicht (Weight)
• Ziel (Goal)
• Ernährungsbeschränkungen (Dietary Restrictions)
• Datenstruktur: Die Eingaben werden in einem Dictionary (Wörterbuch) zusammengefasst und in den Prompt interpoliert.

Evaluation und Metriken

• Prompt Evaluator: Eine Klasse, die den gesamten Prozess (Datensatzgenerierung, Modellbewertung) kapselt.
• Concurrency (Parallelität): Die Evaluierung kann parallelisiert werden, um den Prozess zu beschleunigen (Achtung: Rate Limit Fehler möglich).
• Extra Criteria: Ein String, der dem Bewertungsmodell zusätzliche Kriterien vorgibt (z. B. "Der Output muss eine tägliche Kalorienbilanz und eine Makronährstoffverteilung enthalten").
• Erwartetes Ergebnis: Ein initial sehr niedriger Score (z. B. 2. 32) wird schrittweise durch Verbesserungen erhöht.
• Bericht: Nach jeder Evaluation wird eine Datei (output. html) erstellt, die detaillierte Berichte und Scores pro Testfall enthält.

Takeaways

• Prompt Engineering ist der Prozess, einen Prompt schrittweise zu verbessern, um zuverlässigere und qualitativ hochwertigere Outputs zu erzielen.
• Der Prompt-Entwicklungsprozess ist iterativ: Er beginnt mit einem initialen Prompt, gefolgt von Evaluation, Verbesserung und Re-Evaluation.
• Spezifische Eingaben (Inputs) wie Höhe, Gewicht oder Ziele werden strukturiert (z. B. in einem Dictionary) und in den Prompt interpoliert.
• Die Performance wird durch Metriken (Scores) bewertet, wobei zusätzliche Kriterien (Extra Criteria) die Anforderungen an den Output definieren.