Image support

Claude 视觉能力学习笔记 (Claude Vision Capabilities Study Notes)

🖼️ 核心概念与功能 (Core Concepts and Functions)

• 视觉输入 (Vision Input): 用户消息中可以可选地包含图像。
• 能力范围 (Capabilities): Claude 可以对图像进行各种操作，包括：
• 识别图像内容 (Identify contents)。
• 比较不同图像 (Compare images)。
• 计数对象 (Count objects)。

⚙️ 技术限制与要求 (Technical Limitations and Requirements)

• 请求限制 (Request Limits): 单个请求内最多可发送 100 张图像。
• 图像尺寸 (Image Size): 存在图像的尺寸（高度和宽度）限制。
• Token 消耗 (Token Consumption): 每次发送图像都会消耗 Token，计费基于图像的像素高度和宽度。
• 发送方式 (Sending Method): 图像通过用户消息中的“图像块 (Image Block)”发送。
• 一个用户消息内可以包含多个图像块。
• 图像块内容有两种形式：原始图像数据 (Raw image data) 或在线图像 URL。

💡 提示工程最佳实践 (Prompt Engineering Best Practices)

• 避免简单提示 (Avoid Simple Prompts): 仅使用简单提示（如“有多少只球？”）通常无法获得准确结果。
• 提升准确率的关键 (Key to Accuracy): 必须运用强大的提示工程技术。
• 提升技巧 (Enhancement Techniques):
• 提供分析步骤 (Providing Analysis Steps): 指导 Claude 逐步分析图像（例如：识别 → 计数一次 → 计数第二次 → 比较 → 得出结论）。
• 少样本/多样本学习 (Few-shot/Multi-shot Prompting): 在用户消息中交替提供图像和文本示例，指导 Claude 学习正确的模式。

🛰️ 应用案例 (Application Case Study)

• 用例：火灾风险评估 (Fire Risk Assessment):
• 输入： 高分辨率卫星图像。
• 目标： 自动评估房产的火灾风险。
• 分析步骤示例：
• 识别主要住宅 (Identify main residence)。
• 评估树木密度 (Evaluate tree density)。
• 检查消防通道的可达性 (Check fire service access)。
• 检查树枝是否悬挂在屋顶上方 (Check for overhanging branches)。
• 根据所有标准分配火灾风险等级 (Assign fire risk rating)。

Takeaways

• Claude 具备对图像进行内容识别、对象计数和图像比较等多种视觉分析能力。
• 单个请求最多可发送 100 张图像，且 Token 消耗取决于图像的像素高度和宽度。
• 仅使用简单提示无法获得准确结果，必须运用强大的提示工程技术。
• 提升分析准确率的关键在于指导 Claude 进行分步分析或采用少样本/多样本学习。