Image support

Notes d'étude : Capacités de Vision de Claude

**I. Fonctionnalités de Vision**

• Claude peut traiter des images incluses dans les messages utilisateur.
• Capacités possibles :
• Décrire le contenu d'une image.
• Comparer différentes images.
• Compter des objets.

**II. Restrictions Techniques et Coûts**

• Limite d'images : Jusqu'à 20 images par requête unique.
• Dimensions : Des limitations existent concernant la taille, la hauteur et la largeur de chaque image.
• Coût (Tokens) : L'inclusion d'une image est facturée en jetons (tokens).
• Calcul du coût : Le nombre de jetons est calculé en fonction de la hauteur et de la largeur de l'image en pixels.

**III. Implémentation Technique**

• Structure du message : L'image est ajoutée comme une "partie d'image" (image part) distincte au sein de la liste des parties du message utilisateur.
• Exemple : Un message avec deux images nécessite deux parties d'image séparées.

**IV. Ingénierie des Invites (Prompt Engineering) – Point Crucial**

• Avertissement : Les invites simples donnent souvent des résultats médiocres ou incorrectement.
• Objectif : Utiliser des techniques de prompt avancées pour améliorer l'exactitude de Claude.
• Techniques recommandées :
• Fournir des étapes d'analyse : Demander à Claude de suivre un processus logique (ex. : 1. Identifier, 2. Compter, 3. Vérifier, 4. Comparer).
• Exemples (One-shot ou Multi-shot) : Alterner une partie image et une partie texte pour fournir des exemples de ce qui est attendu.

**V. Cas d'Usage (Exemple : Évaluation des Risques d'Incendie)**

• Application : Utiliser des images satellites haute résolution pour automatiser l'inspection de propriétés.
• Tâches demandées à Claude :
• Identifier la résidence principale.
• Évaluer la densité des arbres et les branches surplombant la maison.
• Déterminer la facilité d'accès pour les services d'urgence.
• Attribuer un score de risque final (ex. : 1 à 4).

Takeaways

• Claude peut traiter les images pour décrire, comparer ou compter des objets.
• L'inclusion d'une image est facturée en jetons, calculés en fonction de la hauteur et de la largeur en pixels.
• Il est possible de traiter jusqu'à 20 images par requête unique.
• Pour améliorer l'exactitude, il est crucial d'utiliser des invites avancées (étapes d'analyse, exemples) plutôt que des invites simples.