Handling tool use responses

Studieopmerkingen: Tool Use met LLM's

🛠️ Het Definiëren en Gebruiken van Tools

• Tool Schema: Om een tool te laten gebruiken, moet je de JSON schema van de tool meegeven in de API-aanroep (bijv. de chat functie).
• tools Argument: Dit is een keyword argument dat een lijst bevat van de tools (schema's) die het model kan aanroepen.
• tool_choice Configuratie: Dit nested dictionary controleert hoe het model de tools gebruikt:
• auto (standaard): Het model beslist zelf of en welke tool het gebruikt.
• any: Dwingt het model om een tool te gebruiken (wel welke).
• tool: Dwingt het model om een specifieke tool aan te roepen (via de tool-naam).

🤖 De Respons bij Tool Gebruik

Wanneer het model besluit een tool te gebruiken, verandert de structuur van de respons:

• stop_reason: De respons bevat een stop_reason van tool_use. Dit is een duidelijke indicator dat het model een tool aanroept.
• Meerdere Content Parts: De assistant message bevat niet langer slechts één tekstpart, maar een lijst met meerdere delen:
• text part: De tekstuele introductie van het model (bijv. "Ik kan de huidige tijd voor je opzoeken. ").
• tool_use part: Een object dat de instructie bevat aan de ontwikkelaar om een tool uit te voeren.

Takeaways

• Tools moeten via een JSON schema in de API-aanroep worden gedefinieerd en worden door het tools argument meegegeven.
• De tool_choice configuratie bepaalt het gedrag van het model: auto (standaard), any (dwingt toolgebruik), of tool (specifieke tool).
• Wanneer een tool wordt aangeroepen, bevat de respons een stop_reason van tool_use.
• De assistant message bevat dan een lijst met meerdere content parts, bestaande uit een text part en een tool_use part.