Exercise on prompt evals

学习笔记：提升模型评分器（Model Grader）的上下文

• 目标：通过提供更丰富的上下文，提升模型评分器（Model Grader）对“优秀解决方案”的理解和评估质量。
• 核心方法：在提示词（Prompt）中明确加入“解决方案标准”（Solution Criteria）。
• 实施步骤（共两步）：

• 数据生成阶段（Data Generation）：
• 修改生成数据集的提示词。
• 要求模型在生成每个测试用例时，额外包含一个“解决方案标准”键（Solution Criteria Key）。
• 目的：确保每个测试用例都附带了对“好答案”的定义。

• 模型评分阶段（Model Grading）：
• 修改模型评分器的提示词。
• 在输入模型进行评估时，将上一步生成的“解决方案标准”插入到提示词中。
• 插入位置：紧跟在待评估的解决方案之后。

• 预期效果：
• 模型评分器能够基于明确的标准进行评估。
• 模型生成的推理部分（Reasoning Section）将更加详尽和深入。

Takeaways

• 核心目标是通过提供更丰富的上下文，提升模型评分器（Model Grader）的评估质量。
• 关键方法是在提示词（Prompt）中明确加入“解决方案标准”（Solution Criteria）。
• 数据生成阶段需修改提示词，确保每个测试用例都包含“解决方案标准”键。
• 模型评分阶段，需将生成的“解决方案标准”插入到待评估解决方案之后，指导评分。
• 预期效果是评分器能基于明确标准评估，并使模型推理部分更加详尽。