Structured data

📝 学习笔记：控制 LLM 结构化数据输出

核心概念：

• 问题识别： 大型语言模型（如 Claude）在生成结构化数据（如 JSON、Python 代码、列表）时，往往会不必要地添加头部、尾部或解释性评论。
• 解决方案： 结合使用“停止序列”（Stop Sequences）和“预填充助手消息”（Pre-filled Assistant Message）。

工作原理 (Mechanism)：

• 预填充助手消息 (Pre-fill Assistant Message)： 用于设定模型输出的起始格式。例如，预先提供 json` 作为助手消息。
• 停止序列 (Stop Sequence)： 在模型生成过程中，设置一个特定的序列（例如 `）。一旦模型生成该序列，系统会立即停止生成，从而截断不必要的收尾标记。
• 流程总结：
• 用户请求 → 模型从预设格式开始生成 → 模型生成所需内容 → 模型尝试生成结束标记 → 停止序列触发 → 立即返回纯净内容。

关键要点：

• 目标： 确保模型只返回原始、纯净的结构化数据，不包含任何额外评论或格式标记。
• 适用范围： 该技术并非仅限于 JSON，而是适用于任何需要特定格式的结构化数据（如 Python 代码、特定格式的文本列表等）。
• 后续处理： 尽管使用了停止序列，返回的文本可能仍包含额外的换行符，需要通过解析（Parsing）或 strip() 等函数进行清理。

Takeaways

• LLM在生成结构化数据时常会添加不必要的头部或解释性评论，需要通过特定技术解决。
• 核心解决方案是结合使用“停止序列”和“预填充助手消息”。
• 预填充助手消息用于预设模型输出的起始格式（例如，预先提供 json`）。
• 停止序列设置一个特定的终止标记，一旦模型生成该序列，系统会立即停止生成，从而截断冗余内容。
• 尽管使用了停止序列，返回的文本仍可能包含换行符等额外字符，后续仍需通过解析或 strip() 等函数进行清理。