Rules of prompt caching

📝 提示缓存 (Prompt Caching) 学习笔记

核心概念

• 定义： 提示缓存是一种机制，用于保存初始请求的处理工作。当后续请求内容与初始请求在断点前完全一致时，系统会直接从缓存中加载已完成的工作，避免重复处理。
• 适用场景： 适用于重复向模型发送相同内容的场景。
• 缓存时效： 缓存数据并非永久存储，仅持续一小时。

启用与实现

• 默认状态： 提示缓存功能默认未启用。
• 启用方式： 必须手动在消息块（Block）内添加一个“缓存断点”（Cache Breakpoint）。
• 格式要求：
• 使用简短格式（Short Form）无法添加缓存控制字段。
• 必须使用长格式（Long Form，即将内容定义为包含 type 和 text 的字典列表）才能添加缓存控制。

缓存机制与范围

• 缓存范围： 缓存将包括请求中至并包含缓存断点（Breakpoint）之前的所有内容。
• 后续请求要求： 后续请求必须在断点之前的内容与初始请求完全一致。任何微小的改动都会导致缓存失效，模型需要重新处理。
• 断点放置位置： 缓存断点不仅可以放置在消息块中，还可以放置在：
• 工具模式（Tool Schemas）
• 系统提示（System Prompts）
• 图像块（Image Blocks）
• 工具使用（Tool Use）
• 工具结果（Tool Result）

处理顺序与断点策略

• 数据处理顺序： 当数据输入模型时，其内部顺序为：工具 → 系统提示 → 消息列表。
• 多断点应用： 最多可以添加四个缓存断点。
• 策略意义： 通过战略性地放置断点，可以缓存请求的不同部分（例如，缓存工具和系统提示，但跳过消息列表），从而在后续请求中节省处理时间。

限制条件

• 最小内容长度： 为了被缓存，内容必须达到至少 1024 个 Token。内容不足则不会被写入缓存。

Takeaways

• 提示缓存默认未启用，必须手动添加“缓存断点”并使用长格式（Long Form）才能实现。
• 缓存范围包括断点之前的所有内容，后续请求必须在断点前与初始请求完全一致才能命中缓存。
• 内容需达到至少 1024 个 Token 才能被写入缓存。
• 最多可添加四个缓存断点，可战略性地缓存请求的不同部分（如工具或系统提示）。