Image support

Claude Vision Capabilities (Bildverarbeitung)

Grundlagen und technische Anforderungen:

• Funktionsweise: Claude kann optional Bilder in Benutzer-Nachrichten (User Messages) enthalten.
• Anwendungsfälle: Bilder können zur Inhaltsbeschreibung, zum Vergleich, zum Zählen von Objekten und für viele andere Aufgaben genutzt werden.
• Anzahl der Bilder: Maximal 100 Bilder pro einzelne Anfrage (Request).
• Bildblock (Image Block): Ein spezieller Block innerhalb einer Benutzer-Nachricht, der auf ein einzelnes Bild verweist.
• Quellen für Bilder: Ein Image Block kann entweder Rohdaten des Bildes oder eine URL zu einem online gehosteten Bild enthalten.
• Kosten: Das Senden von Bildern wird mit Token berechnet; die Token-Anzahl hängt von der Höhe und Breite des Bildes in Pixeln ab.

Prompt Engineering für Bilder (Best Practices):

• Wichtig: Einfache Prompts führen oft zu schlechten Ergebnissen. Eine starke Fokussierung auf Prompting-Techniken ist entscheidend für hohe Genauigkeit.
• Verbesserung durch Schritte: Gib Claude eine Reihe von Analyse-Schritten vor (z. B. 1. Identifiziere, 2. Zähle, 3. Vergleiche, 4. Gib das Endergebnis).
• Verbesserung durch Beispiele: Nutze One-Shot- oder Multi-Shot-Prompting, indem du im Benutzer-Nachrichten-Fluss abwechselnd Bild und Text (Beispiel) bereitstellst.
• Anwendung: Die gleichen Prompt-Techniken, die für reinen Text gelten, sind auch für die Bildanalyse anzuwenden.

Praktische Implementierung (Beispiel):

• Ziel: Automatisierung von Risikobewertungen (z. B. Brandrisiko basierend auf Satellitenbildern).
• Struktur der Nachricht: Eine Benutzer-Nachricht kann mehrere Blöcke enthalten: mindestens einen Image Block und einen oder mehrere Text Blocks (mit den Anweisungen/Prompts).
• Datenformat: Bilder werden oft in Base64-kodiert und als media_type (z. B. image/png) über den Image Block übergeben.

Takeaways

• Claude verarbeitet Bilder über spezielle Image Blocks, die entweder Rohdaten oder URLs enthalten, innerhalb von Benutzer-Nachrichten.
• Für hohe Genauigkeit ist fortgeschrittenes Prompt Engineering entscheidend; es sollten mehrstufiges Vorgehen und Beispiele (One-Shot/Multi-Shot) verwendet werden.
• Die maximale Anzahl der Bilder pro Anfrage ist auf 100 begrenzt.
• Die Kosten für die Bildverarbeitung werden anhand der Token berechnet, wobei die Token-Anzahl von der Pixelgröße des Bildes abhängt.
• Eine Benutzer-Nachricht kombiniert die Bilddaten (Image Blocks) mit den Anweisungen (Text Blocks).