Generating test datasets

提示词评估工作流 (Prompt Evaluation Workflow) 核心概念

• 工作流目标 (Workflow Goal):
• 构建自定义提示词评估流程。
• 提示词目标：协助用户编写特定于 AWS 的代码。
• 输出约束：必须且只能输出以下三种格式之一，不得包含任何解释、标题或页脚：
• Python 代码
• JSON 配置
• 原始正则表达式 (Raw Regular Expression)

• 数据准备 (Data Preparation):
• 数据集 (Dataset) 结构： 一个包含多个输入（Input）的数组。
• 数据格式： JSON 对象数组，每个对象必须包含一个 task 属性，用于描述所需完成的任务。
• 数据集生成： 可以手动创建，也可以利用 Claude 自动生成。
• 效率优化： 在使用 Claude 生成数据集时，推荐使用更快速的模型（如 Haiku）。

• 代码实现 (Code Implementation):
• 生成函数 (generate_data_set)：
• 定义一个大型提示词，要求 Claude 生成测试用例（即包含 task 属性的 JSON 对象数组）。
• API 调用流程：
• 构建消息列表 (List of Messages)。
• 添加用户消息 (User Message) 和助手的期望格式消息 (Assistant Message)。
• 设置停止序列 (Stop Sequence)，例如 json`，以确保模型输出格式正确。
• 调用 API 获取文本响应。
• 使用 json. loads() 解析返回的文本，将其转换为结构化数据。
• 数据存储： 将生成的测试数据集保存到文件（如 dataset. json）中，以便后续评估使用。

Takeaways

• 工作流目标是构建自定义提示词评估流程，且输出必须严格限制在Python代码、JSON配置或原始正则表达式三种格式之一，不得包含任何解释。
• 数据集结构为包含多个输入（Input）的JSON对象数组，每个对象必须包含描述所需任务的task属性。
• 生成测试数据集时，需通过API调用构建消息列表，设置停止序列（如json），并使用json. loads()`将返回的文本解析为结构化数据。