Rules of prompt caching

提示缓存 (Prompt Caching) 核心概念

一、基本原理

• 核心思想： 对初始请求的处理结果进行保存。当后续发送完全相同的请求时，系统会直接从缓存中加载已完成的工作，避免重复处理。
• 工作流程（两阶段）：
• 初始请求： 用于将数据写入缓存。
• 后续请求： 利用缓存中预先完成的工作。
• 适用场景： 最适用于重复向模型发送相同内容的场景。

二、控制机制

• 关键组件： 使用一种新的消息部分（message part）——“缓存点”（cache point）来启用和控制提示缓存。
• 默认状态： 默认情况下，提示缓存是未启用的，需要手动添加缓存点。
• 缓存点功能： 当在消息中包含缓存点时，系统会缓存该缓存点之前所有文本的处理工作。
• 生效条件： 缓存系统仅在缓存点之前的内容完全一致时才会生效。

三、限制与范围

• 时效性： 缓存是临时的，仅存储五分钟。
• 最小内容要求： 必须在缓存点之前有至少 1024 个 token 的内容，才能触发缓存工作。
• 应用范围： 缓存点不局限于单个文本部分，可用于多个消息、多个部分，甚至助手消息。
• 高级应用： 缓存点可应用于工具定义列表（tool definition lists）和系统提示（system prompts）。

Takeaways

• 提示缓存的核心功能是保存初始请求的处理结果，避免系统对完全相同的后续请求进行重复处理。
• 启用提示缓存需要手动添加“缓存点”，默认状态下是未启用的。
• 缓存系统会存储缓存点之前所有文本的处理工作，且缓存点可应用于消息、工具定义和系统提示等多个范围。
• 缓存存在时效性限制（仅五分钟）和最小内容要求（缓存点前需至少 1024 个 token）。