Structured data

主题：利用停止序列和助手消息预填充生成纯结构化数据

• 核心问题 (The Problem):
• 当使用大型语言模型 (LLM) 生成结构化数据（如 JSON、Python 代码或列表）时，模型倾向于自动添加额外的解释、标题或页脚等“额外评论”。
• 在许多应用场景中，我们只想要原始、干净的数据内容，不希望有任何额外文字。

• 解决方案 (The Solution):
• 结合使用“停止序列 (Stop Sequence)”和“助手消息预填充 (Assistant Message Prefilling)”。
• 此技术可用于生成任何类型的结构化数据，不局限于 JSON。

• 工作原理 (How It Works):
• 预填充助手消息 (Prefilling): 在请求中预先提供一个助手消息，设定期望的起始格式（例如： json`）。这告诉模型：“你已经开始了这种格式。”
• 设置停止序列 (Stop Sequence): 在 API 调用中设置一个停止序列（例如： `）。
• 模型执行流程:
• 模型接收用户指令。
• 模型识别预填充的起始格式。
• 模型生成所需的数据内容。
• 模型自然地尝试生成结束标记（如关闭的 `）。
• 当模型生成停止序列时，生成过程立即停止，返回结果。
• 结果: 最终返回的响应中只包含起始标记和停止标记之间的原始数据（例如，仅 JSON 内容）。

• 后续处理 (Post-Processing):
• 虽然技术可以提取纯数据，但返回的文本可能包含额外的换行符。
• 需要通过解析响应（如使用 JSON. loads）或字符串操作（如 strip）来清理和格式化最终结果。

Takeaways

• LLM在生成结构化数据时常会添加额外的解释或评论。
• 核心解决方案是结合使用“停止序列”和“助手消息预填充”。
• 预填充助手消息用于在请求中设定期望的起始格式（例如 json`）。
• 停止序列用于在模型生成所需数据后立即终止输出，确保结果纯净。
• 最终返回的文本仍需通过解析或字符串操作进行清理和格式化。