Structured data

Studie-opmerkingen: Gestructureerde Data Genereren met LLM's

• Probleem: Large Language Models (LLM's) hebben de neiging om ongewenste aanvullende commentaren (headers, voetnoten, uitleg) toe te voegen bij het genereren van gestructureerde data (zoals JSON, Python-code of lijsten).
• Doel: Alleen de ruwe, gevraagde data ontvangen, zonder extra tekst.
• Oplossing: Combineering van een Stop Sequence en Assistant Message Pre-filling.
• Werking van de Techniek:
• Assistant Message Pre-filling: Voeg een vooraf ingevulde boodschap toe die het begin van het gewenste formaat bevat (bijv. json`). Claude gaat ervan uit dat deze tekst al is geschreven.
• Stop Sequence: Stel een stopsequentie in die het einde van dat formaat detectieert (bijv. `).
• Resultaat: Claude genereert de data en wordt onmiddellijk gestopt zodra het afsluitende teken van het formaat wordt gegenereerd. Dit resulteert in alleen de gevraagde inhoud.
• Toepasbaarheid: Deze techniek is niet beperkt tot JSON; het kan worden gebruikt voor elke specifieke gestructureerde output (bijv. Python, bullet points).
• Nabehandeling (Post-processing): De gegenereerde tekst kan extra nieuwe regels bevatten. Deze moeten worden opgeschoond door de respons te parsen of een strip() functie toe te passen.

Takeaways

• LLM's hebben de neiging om ongewenste commentaren toe te voegen bij het genereren van gestructureerde data (JSON, code).
• De oplossing is de combinatie van een Stop Sequence en Assistant Message Pre-filling.
• Assistant Message Pre-filling start de output met het gewenste formaat (bijv. json`).
• De Stop Sequence wordt ingesteld om de generatie onmiddellijk te stoppen zodra het formaat is afgerond.
• Deze techniek is toepasbaar voor elke specifieke gestructureerde output (niet alleen JSON).
• Na generatie is post-processing (parsen of strip()) nodig om extra nieuwe regels te verwijderen.