Image support

Cloud Vision Capabilities: Lernnotizen

**I. Grundfunktionen und Möglichkeiten**

• Vision-Fähigkeiten: Cloud kann Bilder, die in einer Benutzer-Nachricht gesendet werden, analysieren.
• Anwendungsfälle:
• Inhalt identifizieren (Was ist auf dem Bild? ).
• Bilder vergleichen.
• Objekte zählen.

**II. Technische Anforderungen und Einschränkungen**

• Anzahl der Bilder: Maximal 100 Bilder pro einzelner Anfrage.
• Bildformat: Es gibt Einschränkungen bezüglich der Größe (Höhe und Breite) jedes Bildes.
• Kosten: Jedes gesendete Bild wird als Token gezählt und verursacht Kosten. Die Token-Anzahl kann grob anhand der Pixelhöhe und -breite berechnet werden.
• Implementierung: Bilder werden über einen speziellen „Image Block“ in der Benutzer-Nachricht gesendet.
• Quellen: Ein Image Block kann entweder Rohdaten des Bildes oder eine URL zu einem extern gehosteten Bild enthalten.

**III. Prompt Engineering (Wichtig für gute Ergebnisse)**

• Problem: Einfache Prompts führen oft zu ungenauen Ergebnissen (z. B. falsche Zählungen).
• Lösung: Es muss ein starker Fokus auf Prompting-Techniken gelegt werden, um die Genauigkeit zu erhöhen.
• Erfolgreiche Techniken:
• Analyse-Schritte vorgeben: Cloud wird durch eine Reihe von Schritten geleitet (z. B. 1. Identifiziere jedes Objekt, 2. Zähle, 3. Verifiziere den Zählwert).
• Beispiele geben (One-Shot/Multi-Shot): Durch das Bereitstellen von Beispielen (Bild + korrekte Textbeschreibung) wird die Genauigkeit verbessert.

**IV. Anwendungsbeispiel: Brandrisikobewertung**

• Szenario: Automatisierte Überprüfung von Immobilien mithilfe von Satellitenbildern.
• Ziel des Prompts: Cloud soll folgende Punkte bewerten:
• Hauptwohnsitz identifizieren.
• Baumdichte und -gefährdung (z. B. Äste über dem Dach).
• Zugänglichkeit für Einsatzkräfte.
• Zuweisung einer Risikobewertung (z. B. Skala 1 bis 4).
• Fazit: Die Qualität des Prompts ist entscheidend für die Qualität der Bildanalyse.

Takeaways

• Cloud Vision analysiert Bilder, um Inhalte zu identifizieren, Objekte zu zählen oder Bilder zu vergleichen.
• Bilder werden über einen speziellen „Image Block“ gesendet; die Kosten basieren auf Token, die grob anhand der Pixelhöhe und -breite berechnet werden.
• Prompt Engineering ist entscheidend für die Genauigkeit der Analyse, da einfache Prompts oft zu ungenauen Ergebnissen führen.
• Um die Genauigkeit zu erhöhen, müssen Prompts klare Analyse-Schritte vorgeben und Beispiele (One-Shot/Multi-Shot) enthalten.