Tools for structured data

📚 结构化输出学习笔记 (Structured Output Study Notes)

一、 结构化输出方法对比 (Comparison of Structured Output Methods)

• 基于提示词的方法 (Prompt-based Method):
• 技术：使用消息预填充 (message pre-fill) + 停止序列 (stop sequences) + 精心设计的提示词。
• 特点：设置简单，但可靠性较低。
• 基于工具的方法 (Tool-based Method):
• 技术：利用工具定义 (Tool Definition) 和 JSON 模式 (JSON Schema)。
• 特点：可靠性更高，但设置复杂度更高。

二、 基于工具的结构化输出核心概念 (Core Concepts of Tool-based Structured Output)

• 基本原理 (Basic Principle):
• 通过为工具定义一个 JSON 模式规范 (JSON Schema Spec)，来指定所需数据的结构（如：balance → 整数，key_insights → 字符串列表）。
• 将该工具模式与原始数据一起输入给 LLM。
• 工作流程 (Workflow):
• 编写提示词 (Prompt)：指示 LLM 执行任务（例如：“分析财务报表”）。
• 提供工具模式 (Schema)：定义 LLM 可以调用的工具及其输入结构。
• LLM 响应：LLM 会生成一个“工具调用块” (Tool Use Block)，其中包含符合模式的结构化参数。
• 结果获取：直接获取 LLM 生成的结构化 JSON 数据，无需进行后续的“工具结果块” (Tool Result Block) 交互。

三、 关键技术点 (Key Technical Points)

• 强制调用工具 (Forcing Tool Use):
• 为确保 LLM 调用特定的工具，必须使用 tool_choice 参数。
• tool_choice 包含工具的类型 (type) 和名称 (name)，用于强制 LLM 执行指定的工具。
• 实践应用 (Practical Application):
• 目标： 从非结构化文本（如学术文章）中提取结构化信息。
• 工具定义示例： 创建名为 article_summary 的工具，其输入参数包括：
• title (字符串)
• author (字符串)
• key_insights (字符串列表)

Takeaways

• 基于提示词的方法设置简单但可靠性较低；基于工具的方法可靠性更高，但设置复杂度更高。
• 工具化输出的核心是利用 JSON 模式（Schema）来精确指定所需数据的结构（例如：balance → 整数）。
• LLM 在接收到工具模式后，会直接生成符合模式的“工具调用块”结构化 JSON 数据。
• 必须使用 tool_choice 参数来强制 LLM 调用特定的工具，确保输出的结构化结果。