The batch tool

Studie-notities: Parallelle Tool Use met Batch Tools

• Potentieel van Tool Use:
• Een enkele assistent-bericht kan meerdere tool-gebruik-blokken bevatten.
• Dit stelt het model in staat om operaties parallel uit te voeren (bijv. twee berekeningen tegelijk).

• Praktisch Probleem:
• Hoewel het model de capaciteit heeft om meerdere tool-calls te genereren, genereert het dit in de praktijk vaak niet, zelfs niet wanneer dit wordt gevraagd (bijv. het instellen van twee afzonderlijke herinneringen).
• Dit leidt tot onnodige extra interactierondes.

• De Oplossing: De Batch Tool:
• Een "batch tool" is een aangepaste, eenvoudige tool die door de ontwikkelaar wordt gedefinieerd.
• Het doel is om het model te dwingen parallelle acties te plannen.
• Werking: In plaats van meerdere tool-calls te genereren, roept het model één enkele batch tool aan.

• Structuur van de Batch Tool:
• Input: De batch tool ontvangt een lijst van objecten (invocaties).
• Invocatie: Elk object beschrijft een andere tool die uitgevoerd moet worden, inclusief de naam van de tool en de bijbehorende argumenten.

• Implementatie (De Abstraherende Laag):
• De ontwikkelaar implementeert de batch tool-functie.
• Deze functie ontvangt de lijst met invocaties.
• De code itereert over deze lijst en roept handmatig elke gevraagde tool aan (dit is de abstractielaag).
• Dit simuleert de parallelle uitvoering die het model niet van zichzelf genereert.

• Resultaat:
• Door de batch tool te implementeren, wordt het model "getrickt" om de parallelle uitvoering te plannen via de batch tool, wat resulteert in de gewenste meerdere acties in één enkele respons.

Takeaways

• Modellen genereren in de praktijk vaak geen parallelle tool-calls, wat leidt tot onnodige extra interactierondes.
• De Batch Tool is een door de ontwikkelaar gedefinieerde tool die parallelle acties dwingt.
• In plaats van meerdere calls, roept het model één Batch Tool aan met een lijst van gewenste invocaties (acties).
• De implementatie (abstractielaag) itereert over deze lijst en roept handmatig elke gevraagde tool aan, wat de parallelle uitvoering simuleert.