Tools for structured data

Structuur van Gestructureerde Output (LLM's)

• Twee Methoden voor Gestructureerde Output:
• Prompt-gebaseerd: Gebruik van message pre-fill en stop sequences in de prompt. (Eenvoudig, maar minder betrouwbaar).
• Tool-gebaseerd: Gebruik van tools (functies) met een gedefinieerde JSON schema. (Complexere setup, maar zeer betrouwbaar).

• Werking van Tool-gebaseerde Output:
• Het doel is om de LLM te laten fungeren als een data-extractor door een tool te definiëren.
• Stap 1: Schema Definiëren: Schrijf een JSON schema spec voor een tool. Dit schema beschrijft de gewenste structuur van de data (bijv. balance als integer, key_insights als lijst van strings).
• Stap 2: Input Leveren: Voer de JSON schema en de ruwe data (bijv. financiële verklaring) in de prompt aan de LLM.
• Stap 3: LLM Respons: De LLM identificeert de tool en genereert een 'tool use block'. Dit blok bevat de exacte, gestructureerde input die is gevraagd in het schema.

• Voordelen van Tool-gebaseerde Extractie:
• Hoger niveau van betrouwbaarheid vergeleken met prompt-gebaseerde methoden.
• Het doel is puur extractie; er is geen noodzaak voor een vervolg 'tool result' blok.

• Dwingen van Tool Gebruik (Forcing Tool Use):
• Om ervoor te zorgen dat de LLM een specifieke tool aanroept, moet de tool choice parameter worden meegegeven bij het aanroepen van de client messages.
• Deze parameter is een dictionary met de type en de name van de gewenste tool.

• Toepassing (Voorbeeld):
• Een tool (article_summary) wordt gedefinieerd met een schema dat title (string), author (string) en key_insights (lijst van strings) vereist.
• Door de tool choice te forceren, garandeert men dat de LLM de data uit de tekst extraheert en deze in de gestructureerde JSON-vorm terugstuurt.

Takeaways

• Gestructureerde output kan via twee methoden worden bereikt: prompt-gebaseerd (eenvoudig, maar minder betrouwbaar) en tool-gebaseerd (complex, maar zeer betrouwbaar).
• Bij tool-gebaseerde output definieert men een JSON schema dat de exacte gewenste data-structuur beschrijft.
• Het primaire doel van tool-gebaseerde extractie is het garanderen van een hoog niveau van betrouwbaarheid voor de data-extractie.
• Om het gebruik van een specifieke tool te forceren, moet de tool choice parameter (met type en name) worden meegegeven.