The batch tool

📝 Lernnotizen: Parallele Tool-Nutzung mit Batch Tools

Herausforderung bei LLMs und Tool-Nutzung:

• Theoretisches Potenzial: Ein einzelner Assistant Message kann mehrere Tool Use Blocks enthalten, um Operationen parallel auszuführen (z. B. zwei unabhängige Berechnungen).
• Praktisches Problem: LLMs (wie Claude) neigen dazu, bei komplexen, parallelen Aufgaben nur einen Tool Use Block pro Antwort zu generieren, was zu unnötigen, zusätzlichen Request-Runden führt.

Lösung: Implementierung eines Batch Tools

• Ziel: Die Wahrscheinlichkeit erhöhen, dass das LLM mehrere Tools gleichzeitig aufruft, indem eine höhere Abstraktionsebene genutzt wird.
• Definition des Batch Tools:
• Definiere ein neues Tool (das Batch Tool).
• Dieses Tool akzeptiert als Argument eine Liste von Objekten (Invokationen).
• Jedes Objekt in der Liste beschreibt ein anderes Tool, das aufgerufen werden soll, zusammen mit seinen spezifischen Argumenten.
• Funktionsweise (LLM-Perspektive):
• Anstatt mehrere Tools direkt aufzurufen, entscheidet das LLM, das Batch Tool einmal zu nutzen.
• Es liefert eine Liste aller gewünschten Tool-Aufrufe (Invokationen) als Argument.

Implementierung des Batch Tools (Entwickler-Perspektive):

• Rolle des Codes: Die externe Implementierung muss die Logik für das Batch Tool übernehmen.
• run_batch Funktion:
• Diese Funktion iteriert über die Liste der von Claude angeforderten Invokationen.
• Für jede Invokation wird der Tool-Name und die JSON-kodierten Argumente extrahiert.
• Der entsprechende Tool-Aufruf wird über die bestehende run_tool-Funktion ausgeführt.
• Die Ergebnisse aller Einzelaufrufe werden gesammelt und als eine einzige Antwort zurückgegeben.
• Ergebnis: Durch diese Abstraktion wird das LLM "getrickst", um die parallele Ausführung zu initiieren, da es nur noch einen einzigen, hochstufigen Aufruf (Batch Tool) generieren muss.

Takeaways

• LLMs neigen bei komplexen Aufgaben dazu, nur einen Tool-Use-Block pro Antwort zu generieren, was die parallele Ausführung erschwert.
• Die Lösung ist die Implementierung eines Batch Tools, das eine höhere Abstraktionsebene nutzt, um die Wahrscheinlichkeit paralleler Aufrufe zu erhöhen.
• Das Batch Tool akzeptiert als Argument eine Liste von Invokationen, wobei jede Invokation einen spezifischen Tool-Aufruf und dessen Argumente beschreibt.
• Aus LLM-Sicht wird das Batch Tool einmal aufgerufen, um alle gewünschten parallelen Operationen in einer einzigen Liste zu übermitteln.
• Die externe Implementierung muss diese Liste iterieren, jeden einzelnen Tool-Aufruf ausführen und die Ergebnisse zu einer einzigen Antwort zusammenfassen.