Exercise on prompt evals

学习笔记：提升模型评分器（Model Grader）的上下文

• 核心目标：通过提供更多关于“好解决方案”的上下文信息，来改进模型评分器的性能。
• 实现方法：采用两步流程来增加评估的指导性。

第一步：修改数据集生成提示（Data Generation Prompt）

• 操作：返回生成数据集的原始提示。
• 要求：要求提示在生成的每个测试用例中，都包含一套“解决方案标准”（Solution Criteria）。
• 结果：测试用例中新增一个包含评估标准的键（Key）。

第二步：修改模型评分提示（Model Grader Prompt）

• 操作：找到模型评分函数中的提示。
• 插入内容：将步骤一获取的“解决方案标准”插入到评分提示中。
• 目的：明确告知模型评分器，在评估解决方案时应遵循哪些特征和标准。

总结

• 流程：生成数据 → 提取标准 → 注入评分提示 → 运行评估。
• 效果：为模型评分提供了明确的评估依据，使模型生成的推理（Reasoning）部分更加详尽和准确。

Takeaways

• 核心目标是通过提供“好解决方案”的上下文信息来提升模型评分器（Model Grader）的性能。
• 实现方法是一个两步流程：首先修改数据生成提示，要求每个测试用例包含“解决方案标准”。
• 第二步是将第一步获取的“解决方案标准”插入到模型评分提示中。
• 此流程为模型评分提供了明确的评估依据，从而使模型生成的推理更加详尽和准确。