Fine grained tool calling

📝 Lernnotizen: Tool Use und Streaming

⚙️ Grundlagen des Tool Streamings

• Streaming: Ermöglicht die schrittweise Übertragung von API-Antworten an den Benutzer.
• Tool-Nutzung mit Streaming: Erfordert die Verarbeitung des Event-Typs input JSON event.
• input JSON event Komponenten:
• partial JSON: Ein Teil des Arguments, das das Tool empfängt.
• snapshot: Die kumulierte Summe aller bisher empfangenen partial JSON Teile.

🚧 Standardverhalten und Validierung

• Standard-Verzögerung: Die Anthropic API puffert JSON-Chunks, bevor sie an den Server gesendet werden.
• Validierungsprozess: Die API wartet, bis ein vollständiges Schlüssel-Wert-Paar (z. B. abstract oder meta) generiert ist, und validiert dieses gegen das JSON-Schema.
• Folge: Dies führt zu großen Verzögerungen, gefolgt vom plötzlichen Auftreten großer Textblöcke.

🚀 Fine-Grained Tool Calling

• Fehlerbeispiel (Schema): Ein Fehler tritt auf, wenn ein Feld (z. B. meta), das als Objekt definiert ist (z. B. mit word count (Zahl) und review (String)), fälschlicherweise als String übermittelt wird.
• Tool Streaming Integration: Tool Streaming lässt sich einfach in bestehende Pipelines integrieren.
• Standard-Tool Streaming: Bei der Generierung großer oberster Schlüssel-Wert-Paare gibt es eine Verzögerung aufgrund des Validierungsschritts.
• Feingranulares Tool Streaming (Fine-grained):
• Bietet ein klassischeres Streaming-Erlebnis.
• Kosten: Erfordert den Validierungsschritt.

Takeaways

• Streaming ermöglicht die schrittweise Übertragung von API-Antworten an den Benutzer.
• Die Tool-Nutzung mit Streaming erfordert die Verarbeitung des input JSON event, welches aus partial JSON (Teil) und snapshot (kumulierte Summe) besteht.
• Standard-API-Verhalten puffert JSON-Chunks und wartet auf ein vollständiges Schlüssel-Wert-Paar zur Validierung, was zu Verzögerungen führt.
• Feingranulares Tool Streaming bietet ein klassischeres Streaming-Erlebnis, erfordert jedoch weiterhin den Validierungsschritt.