Response streaming

📚 学习笔记：流式传输 (Streaming)

💡 核心概念 (Core Concepts)

• 问题 (Issue): 传统的请求-响应模式存在延迟 (Latency)。用户等待 AI 回复时，可能需要 10 到 30 秒，影响用户体验 (UX)。
• 解决方案 (Solution): 采用流式传输 (Streaming) 技术。
• 工作原理 (Mechanism):
• 服务器向 Claude 发送用户消息后，Claude 会立即返回一个初始信号（而非完整文本）。
• 服务器开始接收一个事件流 (Stream of Events)。
• 每个事件只包含生成回复的一小块内容 (Chunk)。
• 服务器接收到事件后，立即将该块文本发送给前端应用，实现文本的分块显示 (Chunk-by-chunk display)。
• 最终效果：用户能看到文本逐字或逐句地实时出现。

💻 技术实现 (Technical Implementation)

• 目标 (Goal): 优化代码，使文本提取更简单。
• 方法一：详细事件流 (Detailed Event Stream)
• 调用 client_messages. create() 时设置参数 stream=True。
• 返回的是一个可迭代的事件流。
• 需要遍历事件，并识别特定事件类型（如 raw_content_block_delta）来提取实际的文本内容。
• 方法二：简化文本流 (Simplified Text Stream) - 推荐
• 调用 client_messages. stream() 函数。
• 此方法直接返回文本内容，无需手动解析复杂的事件结构。
• 代码结构：for text in stream. text:，text 即为当前接收到的文本块。
• 数据收集 (Data Collection):
• 在流式传输完成后，可以使用 stream. get_final_message() 方法。
• 此方法将所有接收到的分块文本重新组装成一个完整的最终消息 (Final Message)，可用于数据库存储或后续处理。

Takeaways

• 流式传输（Streaming）技术旨在解决传统请求-响应模式中因等待完整回复而产生的延迟问题。
• 其工作原理是服务器接收到初始信号后，通过事件流（Stream of Events）向前端分块显示内容，实现实时、逐块的文本呈现。
• 技术实现中，推荐使用 client_messages. stream() 函数，它能直接返回文本内容，简化了复杂的事件解析过程。
• 在流式传输完成后，可以使用 stream. get_final_message() 方法将所有接收到的分块文本重新组装成一个完整的最终消息。