Image support

☁️ 云端视觉能力 (Cloud Vision Capabilities) 学习笔记

💡 核心概念 (Core Concepts)

• 功能： 用户可以在发送给云端的消息中包含图像，并要求云端对图像进行各种操作（如内容识别、图像比较、物体计数等）。
• 应用场景： 图像支持的应用场景非常广泛，例如使用卫星图像进行火灾风险评估（检测住宅、评估树木密度、检查消防通道等）。

⚙️ 技术限制与计费 (Technical Limitations & Billing)

• 请求限制： 单个请求内最多可发送 100 张图像。
• 图像规格： 存在图像尺寸（高度和宽度）的限制。
• 计费机制： 每次发送图像都会消耗 Token，计费是基于图像的像素高度和宽度计算的。

🧱 图像发送实现 (Image Implementation)

• 结构： 图像通过用户消息中的“图像块 (Image Block)”发送。
• 附件方式： 每个图像块可以包含两种数据：
• 原始图像数据 (Raw image data)。
• 托管在网络上的图像 URL。
• 多图像支持： 一个用户消息中可以包含多个图像块。

🧠 关键技能：提示工程 (Prompt Engineering for Images)

• 重要性： 获得高质量结果的关键在于提示技巧，简单的提示（Prompt）通常无法获得准确的答案。
• 提升准确性的方法：
• 提供分析步骤 (Analysis Steps)： 指导云端执行一系列逻辑步骤（例如：先识别物体 → 再计数 → 最后进行验证和比较）。
• 提供示例 (Examples)： 使用单次示例 (One-shot) 或多次示例 (Multi-shot) 来指导模型，通过提供“图像 + 文本描述”的配对示例来提高后续任务的准确性。
• 总结： 无论是处理纯文本还是图像，都必须使用精心设计和评估的提示来确保模型性能。

Takeaways

• 云端视觉允许用户在消息中包含图像，要求云端执行内容识别、物体计数等操作。
• 图像通过“图像块”发送，支持原始数据或网络URL，单个请求最多可包含 100 张图像。
• 计费机制基于图像的像素高度和宽度消耗 Token。
• 提升结果质量的关键在于提示工程，需通过提供分析步骤和示例（单次/多次）来指导模型。