Prompt caching in action

提示缓存 (Prompt Caching) 学习笔记

核心概念

• 目的：当输入内容（如消息列表、工具 Schema 或系统提示）重复时，使用提示缓存来提高效率和减少计算量。
• 实现位置：需修改 chat 函数，默认启用对工具 Schema 和系统提示的缓存。

缓存机制与最佳实践

• 工具 Schema 缓存：
• 必须缓存工具列表（List of Tools）和每个工具的 Schema。
• 最佳实践：为避免工具顺序改变导致缓存失效，应采用“复制-克隆-替换”的逻辑：
• 复制原始工具列表。
• 克隆列表中的最后一个工具 Schema。
• 在克隆的 Schema 中添加 cache control 字段，类型设为 ephemeral。
• 用该克隆的 Schema 替换原始列表中的最后一个元素。
• 系统提示 (System Prompt) 缓存：
• 将系统提示替换为一个包含缓存控制信息的文本块（Text Block/Dictionary）。
• 该文本块需包含：type: text、text: system 和 cache control: ephemeral。

缓存流程与行为

• 缓存顺序：系统在处理请求时，缓存的优先级顺序为：工具 → 系统提示 → 消息列表。
• 缓存读取 (Cache Read)：
• 当输入内容（工具、系统提示、消息）与缓存中的内容完全一致时，系统会从缓存中读取（Cache Read）。
• 缓存写入 (Cache Write)：
• 当输入内容发生任何变化时（例如，修改工具描述、更改系统提示措辞），缓存将失效（Cache Invalidation），系统会重新生成并写入新的缓存（Cache Write）。
• 混合缓存场景：
• 如果工具列表保持不变，但系统提示发生变化，系统会执行部分缓存读取（工具部分）和新的缓存写入（系统提示部分）。

Takeaways

• 提示缓存旨在提高效率，通过缓存重复的输入内容（工具、系统提示、消息列表）来减少计算量。
• 工具Schema缓存必须采用“复制-克隆-替换”逻辑，并在克隆的Schema中添加 cache control: ephemeral 字段，以避免工具顺序变化导致缓存失效。
• 系统提示缓存需要将其替换为包含 cache control: ephemeral 的结构化文本块（Text Block/Dictionary）。
• 缓存的读取（Cache Read）依赖于输入内容与缓存完全一致；任何内容变化都会导致缓存失效（Cache Invalidation）并重新写入（Cache Write）。