Exercise on prompt evals

📝 学习笔记：模型评分流程优化 (Model Grading Workflow Optimization)

核心目标：

• 提高模型评分器（Model Grader）的评估质量。
• 通过提供“优秀解决方案的标准”（Solution Criteria）来增加评估上下文。

实现步骤（两步法）：

• 第一步：修改数据集生成提示词 (Data Generation Prompt)
• 操作： 回溯到生成数据集的原始提示词。
• 要求： 要求模型在生成每个测试用例时，必须包含“解决方案标准”（Solution Criteria）。
• 结果： 测试用例中新增 solution_criteria 键，明确了什么是好的解决方案。

• 第二步：修改模型评分器提示词 (Model Grader Prompt)
• 操作： 找到模型评分器的提示词。
• 注入： 将第一步中生成的 solution_criteria 插入到评分提示词中。
• 作用： 明确告知评分模型，在评估输出时应参考这些标准。

流程总结： 数据集生成 → (包含解决方案标准) → 模型评分器 → (使用解决方案标准) → 评估结果

预期效果：

• 模型评分器的推理部分（Reasoning Section）将更加详尽和深入。

Takeaways

• 核心目标是通过提供“解决方案标准”来提高模型评分器的评估质量。
• 第一步是修改数据集生成提示词，要求测试用例必须包含 solution_criteria 键。
• 第二步是将生成的 solution_criteria 注入到模型评分器的提示词中，指导其评估。
• 该流程的预期效果是模型评分器的推理部分将更加详尽和深入。