Prompt engineering

📝 Lernnotizen: Prompt Engineering und Evaluierung

**I. Prompt Engineering (PE)**

• Definition: PE ist der Prozess der Verbesserung eines Prompts, um zuverlässigere und qualitativ hochwertigere Ausgaben von KI-Modellen zu erzielen.
• Modul-Struktur:
• Erstellung eines initialen Prompts (oft ein einfacher, unzureichender Versuch).
• Evaluierung des Prompts → Erwartung eines schlechten Bewertungsergebnisses.
• Anwendung von PE-Techniken zur schrittweisen Verbesserung.
• Wiederholung der Evaluierung → Erwartung besserer Leistung.

**II. Ziel des Prompts (Beispiel)**

• Aufgabe: Generierung eines Tages-Mahlzeitenplans für einen Athleten.
• Eingabeparameter:
• Größe (Height)
• Gewicht (Weight)
• Physisches Ziel (Goal)
• Ernährungsbeschränkungen (Dietary Restrictions)

**III. Evaluierung und Pipeline**

• Prompt Evaluator: Eine Klasse, die die Datensatzgenerierung und die Modellbewertung bündelt.
• Parallelverarbeitung (Concurrency): Die Klasse unterstützt die gleichzeitige Ausführung mehrerer API-Aufrufe → beschleunigt den Evaluierungsprozess.
• Achtung: Bei Rate Limit Fehlern die Concurrency reduzieren (z. B. auf 1).
• Datensatz-Generierung: Erfordert die Definition des Gesamtzwecks des Prompts und der spezifischen Eingabenspezifikationen (z. B. Höhe in CM, Gewicht in kg).
• Initialer Prompt: Der erste Prompt ist oft sehr einfach und unpräzise (z. B. "Was soll diese Person essen? ").
• Extra Criteria: Ein String, der während der Modellbewertung zusätzliche, spezifische K

Takeaways

• Prompt Engineering (PE) ist der iterative Prozess, Prompts schrittweise zu verbessern, um zuverlässigere und qualitativ hochwertigere KI-Ausgaben zu erzielen.
• Effektive Prompts erfordern die Definition spezifischer Eingabeparameter (z. B. Größe, Gewicht, Ziel, Beschränkungen).
• Der Prompt Evaluator bündelt die Datensatzgenerierung und die anschließende Modellbewertung in einer Pipeline.
• Parallelverarbeitung (Concurrency) beschleunigt den Evaluierungsprozess durch gleichzeitige API-Aufrufe, muss aber bei Rate Limit Fehlern reduziert werden.