Generating test datasets

📝 学习笔记：自定义提示词评估工作流 (Custom Prompt Evaluation Workflow)

💡 核心概念 (Key Concepts)

• 工作流目标 (Workflow Goal): 构建一个流程，用于评估和优化提示词（Prompt）的性能。
• 提示词设计目标 (Prompt Design Goal): 编写提示词，帮助用户生成特定于 AWS 的代码解决方案。
• 强制输出约束 (Output Constraints): 提示词必须严格限定输出格式，不能包含任何解释、标题或页脚。
• 三种允许的输出类型 (Three Allowed Outputs): Python 代码、JSON 配置文件、原始正则表达式。

⚙️ 评估流程步骤 (Evaluation Workflow Steps)

• 撰写提示词草稿 (Draft Prompt): 定义核心指令（例如：“请提供以下任务的解决方案”）。
• 组装数据集 (Assemble Dataset): 创建输入数据，用于测试提示词。
• 数据集结构 (Dataset Structure): 一个 JSON 对象数组，每个对象包含一个 task 属性（描述所需完成的任务）。
• 数据集生成 (Dataset Generation): 可手动创建，也可使用 Claude 等模型自动生成。
• 效率提示 (Efficiency Tip): 在生成数据集时，可考虑使用更快的模型（如 Haiku）。

💻 技术实现要点 (Technical Implementation Details)

• 数据生成函数 (Data Generation Function): 定义一个函数（如 generate_data_set），利用一个大型提示词来要求 Claude 生成测试用例。
• API 调用方法 (API Call Method):
• 使用消息列表（messages）进行交互，包含用户提示词（User Message）和助手响应（Assistant Message）。
• 关键技术： 采用预填充和停止序列方法（Pre-filling and Stop Sequence）。
• 停止序列 (Stop Sequence): 定义特定的标记（例如 `），告诉模型何时停止生成。
• 数据处理 (Data Handling): 接收到模型返回的文本后，必须使用 JSON 解析函数（json. loads()）将其转换为结构化数据。
• 数据持久化 (Data Persistence): 将生成的测试数据集保存到文件（如 dataset. json），以便后续评估使用。

Takeaways

• 提示词评估旨在优化生成特定AWS代码的提示词，且输出必须严格限定为代码、JSON或原始正则表达式，禁止任何解释或额外内容。
• 评估流程的核心是组装一个包含任务描述的JSON对象数组作为测试数据集，用于测试提示词的性能。
• 技术实现需利用API调用消息列表，并采用预填充和停止序列（例如 `）来精确控制模型生成内容。
• 模型返回的原始文本必须通过JSON解析函数转换为结构化数据，并持久化保存以供后续评估使用。