Fine grained tool calling

Kernconcept: Tool Use en Streaming

• Doel: Real-time updates aan gebruikers geven door toolgebruik te combineren met streaming.
• Event-type: Bij het inschakelen van tool-streaming moet het type event input JSON event worden afgehandeld.
• input JSON event eigenschappen:
• partial JSON: Een fragment van de JSON-input die de tool nodig heeft.
• snapshot: De cumulatieve som van alle ontvangen partial JSON stukken.
• Het Validatieprobleem (Standaard Streaming):
• De API buffert JSON-chunks om een validatiestap uit te voeren (controle op schema-conformiteit).
• Dit veroorzaakt een vertraging (pauze) gevolgd door een plotselinge tekstuitbarsting.
• Oplossing: Fine Grained Tool Calling:
• Deze functie schakelt de JSON-validatiestap uit.
• Voordeel: De API stuurt de tool-input in een traditionele, chunk-voor-chunk streaming-ervaring, wat de verwerking versnelt.
• Nadeel: De validatiestap wordt overgeslagen.
• Schema Wijziging: Het veld 'meta' in het JSON-schema is aangepast van een object (met 'word count' en 'review') naar een string.
• Integratie: Tool streaming kan eenvoudig worden toegevoegd aan bestaande pipelines.

Takeaways

• Tool streaming combineert toolgebruik met streaming om real-time updates aan gebruikers te geven.
• Standaard streaming vereist het bufferen van JSON-chunks voor validatie, wat leidt tot een vertraging en een plotselinge tekstuitbarsting.
• Fine Grained Tool Calling lost dit op door de JSON-validatiestap uit te schakelen.
• Het voordeel van Fine Grained Tool Calling is een snellere, chunk-voor-chunk streaming-ervaring, ten koste van de validatiestap.