Image support

Claude 视觉能力学习笔记 (Claude Vision Capability Study Notes)

一、核心功能与应用 (Core Functions and Applications)

• 视觉输入 (Vision Input): 用户消息中可以可选地包含图片，Claude 可以处理这些图像。
• 应用场景 (Use Cases):
• 识别图像内容 (Identify content)。
• 比较不同图像 (Compare images)。
• 计数和量化对象 (Count objects)。

二、技术限制与要求 (Technical Limitations and Requirements)

• 图片数量限制 (Image Limit): 单个请求内所有消息最多可包含 20 张图片。
• 尺寸限制 (Size Constraints): 图片的尺寸、高度和宽度有具体限制。
• 成本计算 (Cost Calculation):
• 发送图片会消耗 Token，需要付费。
• Token 消耗量取决于图片的像素高度和宽度。

三、图片发送机制 (Image Sending Mechanism)

• 消息组成 (Message Structure): 图片被视为一种新的“消息部分 (message part)”。
• 发送方式 (Sending Method):
• 每张图片都需要包含一个独立的图片部分 (image part)。
• 多张图片需要将多个图片部分添加到用户消息的列表 (list of parts) 中。

四、提示工程的重要性 (Importance of Prompt Engineering)

• 避免陷阱 (Avoid Pitfalls): 简单、基础的提示 (simple prompts) 无法获得好的结果。
• 提升准确性 (Improving Accuracy): 必须使用与之前课程学到的提示工程技巧来增强 Claude 对图像的理解。

五、提高图像分析准确性的技巧 (Techniques for Image Analysis Accuracy)

• 提供分析步骤 (Providing Analysis Steps):
• 引导 Claude 遵循一系列逻辑步骤进行分析（例如：识别 → 计数 → 验证 → 总结）。
• 这能显著提高复杂任务（如计数）的准确率。
• 示例驱动 (Example Driven Prompting):
• 使用单次示例 (one-shot) 或多次示例 (multi-shot) 提示。
• 在用户消息中交替提供图片部分和文本部分，给 Claude 提供输入-输出的范例。

六、实际应用案例 (Real-World Application Example)

• 用例：火灾风险评估 (Fire Risk Assessment):
• 输入： 高分辨率卫星图像 (Satellite Imagery)。
• 分析目标： 识别主要住宅、评估树木密度、检查树枝是否悬挂在屋顶、判断消防通道的可达性。
• 提示策略： 采用详细的分析步骤和评分标准，而非简单的“给出风险评分”。

Takeaways

• Claude 具备视觉输入能力，可执行图像识别、比较和计数等任务。
• 单个请求有图片数量限制（最多 20 张），且发送图片会消耗 Token，成本取决于图片的像素尺寸。
• 必须使用提示工程技巧来增强 Claude 对图像的理解，简单的提示无法获得理想结果。
• 提高分析准确性的核心方法是引导 Claude 遵循逻辑步骤（例如：识别 → 计数 → 验证）并采用示例驱动（one-shot/multi-shot）。