Qualities of agents

Lernnotizen: Agenten und Tool-Nutzung

Definition und Funktionsweise eines Agenten:

• Ein Agent ist ein Sprachmodell (LLM), das Zugriff auf einen Satz von Werkzeugen (Tools) hat.
• Der Agent wird wiederholt ausgeführt (in einer Schleife), bis ein Ziel erreicht ist oder ein unrecoverbarer Fehler auftritt.
• Kernprinzip: Der Agent nutzt Tools, um Informationen über seine Umgebung zu sammeln und diese zu modifizieren.

Merkmale erfolgreicher Agenten (Beispiele: Claude Code, Computer Use):

• Intensive Tool-Nutzung: Agenten verwenden Tools umfassend, um die Umgebung zu erfassen.
• Informationsquelle: Agenten verlassen sich auf Tool-Aufrufe als Informationsquelle über die Umgebung (Codebasis, Bildschirm), anstatt auf RAG-Prozesse oder extrem detaillierte Prompts.
• Fokussierte Tools: Es wird ein sehr kleiner, klar definierter Satz von Tools bereitgestellt, wobei jedes Tool einen eindeutigen Zweck erfüllt.
• Anwendungsbereich: Agenten sollten für Aufgaben mit hohem Wert eingesetzt werden, bei denen ein Fehler keine großen wirtschaftlichen oder sicherheitsrelevanten Auswirkungen hat.

Wichtige Konzepte beim Bau eines Agenten:

• Agent = LLM + Tools + Wiederholter Prozess bis Zielerreichung.
• Kontext ist entscheidend: Das LLM besitzt kein externes Wissen über die Welt; es stützt sich vollständig auf die ihm zur Verfügung gestellten Tools zur Inspektion der Umgebung.
• Risikobewertung: Agenten sollten nur für Aufgaben eingesetzt werden, bei denen ein Fehler keine großen wirtschaftlichen oder sicherheitstechnischen Folgen hat.
• Evaluierung (Evals): Die Erstellung von Bewertungskriterien und die Evaluierung des Agenten gegen diese Kriterien ist der einzige Weg, um die Effektivität des Agenten sicherzustellen.

Takeaways

• Ein Agent ist ein Sprachmodell (LLM), das durch einen wiederholten Prozess (Schleife) und die Nutzung von Tools arbeitet, bis ein Ziel erreicht ist.
• Der Agent stützt sich vollständig auf die Tool-Aufrufe als primäre Informationsquelle über seine Umgebung, anstatt auf internes Wissen oder RAG-Prozesse.
• Erfolgreiche Agenten nutzen einen sehr kleinen, klar definierten Satz fokussierter Tools, die jeweils einen eindeutigen Zweck erfüllen.
• Agenten sollten nur für Aufgaben eingesetzt werden, bei denen ein Fehler keine großen wirtschaftlichen oder sicherheitstechnischen Folgen hat.
• Die Effektivität eines Agenten muss durch die Erstellung und Durchführung von Evaluierungskriterien (Evals) sichergestellt werden.