Generating test datasets

📝 提示评估工作流学习笔记 (Prompt Evaluation Workflow Study Notes)

一、 核心目标 (Core Goal)

• 目的 (Purpose): 构建自定义提示评估工作流，用于生成特定于 AWS 用例的代码。
• 输入 (Input): 用户提出的任务描述 (User Task)。
• 输出要求 (Output Requirements): 必须且只能输出以下三种格式之一，不得包含任何解释、头部或尾部内容：
• Python 代码
• JSON 配置
• 原始正则表达式 (Raw Regular Expression)

二、 工作流步骤 (Workflow Steps)

• 撰写提示 (Draft Prompt): 编写初始提示，指导模型完成任务。
• 组建数据集 (Assemble Dataset):
• 结构 (Structure): 一个包含多个 JSON 对象的数组。
• 内容 (Content): 每个对象包含一个 task 属性，描述需要模型完成的任务。
• 生成方式 (Generation): 可手动创建，也可利用 LLM (如 Claude) 自动生成。
• 效率优化 (Optimization): 在生成数据集时，建议使用更快的模型 (如 Haiku)。

三、 数据集生成技术 (Dataset Generation Techniques)

• 生成提示设计 (Prompt Design):
• 要求 LLM 生成与 AWS 相关的任务。
• 提供明确的示例输出格式 (Example Output)，例如要求生成一个包含 task 属性的 JSON 数组。
• 初始数据集结构可简化（例如，仅使用扁平对象），后续再进行结构调整。
• LLM 交互实现 (LLM Interaction Implementation):
• 目标: 引导 LLM 输出结构化的 JSON。
• 关键技术:
• 使用 stop sequence (停止序列)，例如三个反引号 (`)，来限制模型输出的范围。
• 预填充助手消息 (Pre-filled Assistant Message)，提供 JSON 结构作为上下文，以确保返回结果是可解析的 JSON。
• 后处理 (Post-processing): 接收 LLM 返回的文本后，必须使用 JSON 模块进行解析 (JSON. loads)。

四、 总结 (Summary)

• 流程总结: 提示 → 数据集 (任务输入) → LLM (Claude) → 结构化输出 (Python/JSON/Regex) → 评估。
• 数据持久化: 完成数据集生成后，应将其保存为 JSON 文件，以避免重复生成。

Takeaways

• 核心目标是构建一个自定义工作流，根据用户任务生成只能是 Python 代码、JSON 配置或原始正则表达式的特定输出。
• 数据集结构必须是包含 task 属性的 JSON 对象数组，用于指导模型完成任务。
• 利用 LLM 生成数据集时，关键技术包括使用 stop sequence 和预填充助手消息，以确保返回结果是可解析的结构化 JSON。
• 整个流程总结为：提示 → 数据集（任务输入）→ LLM → 结构化输出（Python/JSON/Regex）→ 评估。