Prompt caching in action

提示缓存 (Prompt Caching) 学习笔记

核心概念

• 目的： 提高重复请求的效率，避免重复发送和处理相同的输入内容。
• 实现机制： 通过在输入中设置 cache control 字段来启用缓存。
• 适用场景： 任何发送相同内容（消息列表、工具模式、系统提示）的请求。

缓存配置方法

1. 工具模式 (Tool Schemas) 缓存

• 目标： 缓存整个工具列表。
• 方法： 修改传入的工具列表中的最后一个工具模式 (Tool Schema)。
• 关键操作： 为该工具模式添加 cache control 字段，类型设置为 ephemeral。
• 最佳实践： 建议先对工具列表进行克隆 (Cloning)，再修改克隆后的最后一个工具模式，以防止未来工具顺序改变导致缓存失效。

2. 系统提示 (System Prompt) 缓存

• 目标： 缓存系统级别的指令。
• 方法： 将系统提示包装成一个特定的文本块 (Text Block) 字典。
• 关键结构： 字典中需包含 type: text、text: [系统提示内容] 和 cache control: ephemeral。

缓存工作原理与顺序

• 缓存顺序 (Caching Order)： 缓存的优先级和顺序为：工具列表 → 系统提示 → 消息列表。
• 缓存行为：
• 首次请求 (无缓存)： 发生缓存创建 (Cache Write)，将输入内容存储到缓存中。
• 后续重复请求 (输入完全一致)： 发生缓存读取 (Cache Read)，直接从缓存中获取结果，提高速度。
• 输入变化：
• 如果仅改变用户消息，但工具和系统提示不变 → 仍可进行缓存读取。
• 如果改变关键输入（如工具模式或系统提示） → 缓存将被失效 (Invalidate)，必须重新进行缓存写入。
• 混合请求： 如果同时提供系统提示和工具列表，系统会为两者设置不同的缓存断点 (Cache Breakpoints)。

Takeaways

• 提示缓存旨在提高重复请求效率，通过在输入中设置 cache control 字段启用。
• 缓存系统提示需将其包装成包含 cache control: ephemeral 的特定文本块结构。
• 缓存工具列表是通过修改传入工具列表中的最后一个模式并添加 cache control: ephemeral 来实现的。
• 缓存的有效性取决于输入是否完全一致；改变工具模式或系统提示会导致缓存失效。