Image support

📝 Notes d'étude : Capacités de Vision de Cloud

🖼️ Capacités et Utilisation des Images

• Fonctionnalité : Permet d'inclure des images dans les messages utilisateur envoyés à Cloud.
• Applications : Cloud peut analyser, comparer, compter des objets ou identifier le contenu des images.
• Structure technique : L'image est envoyée via un « bloc d'image » (image block) à l'intérieur du message utilisateur.
• Contenu du bloc d'image : Peut contenir soit les données brutes de l'image, soit une URL vers une image hébergée en ligne.
• Multiples blocs : Il est possible d'attacher plusieurs blocs d'images dans un seul message utilisateur.

⚙️ Limitations et Coûts

• Limite de quantité : Jusqu'à 100 images peuvent être envoyées par requête unique.
• Contraintes techniques : Des limitations existent concernant la taille, la hauteur et la largeur de chaque image.
• Coût (Tokens) : L'envoi d'une image est facturé en jetons (tokens). Le calcul du coût dépend de la hauteur et de la largeur de l'image en pixels.

🧠 Ingénierie de Prompt (Prompt Engineering)

• Importance cruciale : La qualité des résultats dépend fortement de la technique de prompt (instruction). Un prompt simple donne souvent des résultats imprécis.
• Techniques pour améliorer la précision :
• Étapes d'analyse : Fournir des étapes spécifiques à suivre (ex: 1. Identifier l'objet, 2. Compter, 3. Vérifier le compte).
• Exemples (One-shot / Multi-shot) : Alterner des paires Image → Texte pour donner des exemples de ce qui est attendu.
• Principe général : Les techniques de prompt efficaces pour le texte s'appliquent également à l'analyse d'images.

🛰️ Cas d'Usage Avancé (Exemple : Évaluation des Risques)

• Scénario : Utilisation d'images satellites haute résolution pour évaluer le risque d'incendie.
• Instructions détaillées : Le prompt doit guider Cloud pour :
• Localiser la résidence principale.
• Évaluer la densité des arbres et les branches surplombant le toit.
• Déterminer l'accessibilité du terrain pour les services d'urgence.
• Attribuer un score de risque final basé sur des critères définis.

Takeaways

• Les images sont envoyées via un « bloc d'image » et Cloud peut analyser, comparer ou compter des objets.
• Une requête unique peut contenir jusqu'à 100 images, et le coût est facturé en jetons selon les dimensions (hauteur et largeur) en pixels.
• La précision des résultats dépend fortement du prompt ; il est recommandé d'utiliser des étapes d'analyse spécifiques et des exemples (one-shot/multi-shot).
• Pour les cas d'usage avancés, le prompt doit guider Cloud à effectuer des tâches complexes (localisation, évaluation, attribution de score).