Model based grading

📝 学习笔记：提示词评估中的评分系统 (Grading System in Prompt Evaluation)

一、 评分器的核心概念 (Core Concept of a Grader)

• 定义 (Definition): 评分器接收模型输出，并提供一个客观信号（Objective Signal）来评估其质量。
• 常见输出 (Common Output): 通常是一个数字，例如 1 到 10 分，其中 10 代表高质量，1 代表低质量。
• 目的 (Purpose): 为模型输出提供可量化的、客观的评估指标。

二、 三种评分器类型 (Three Types of Graders)

• 代码型评分器 (Code-based Grader)
• 工作原理: 将模型输出输入到自定义的代码片段中进行程序化检查。
• 应用场景:
• 检查输出长度（太长或太短）。
• 验证特定词汇是否存在。
• 对 JSON 或代码进行语法验证 (Syntax Validation)。
• 实现复杂指标，如可读性评分 (Readability Score)。
• 要求: 运行代码必须返回一个可用的信号。

• 模型型评分器 (Model-based Grader)
• 工作原理: 将原始模型输出作为输入，再调用一个额外的模型（即进行第二次 API 请求）来评估。
• 优势: 灵活性极高，可以要求模型根据通用质量、指令遵循程度或完整性进行评估。
• 要求: 评估模型必须提供一个客观信号（通常是 1 到 10 的数字）。

• 人工型评分器 (Human-based Grader)
• 工作原理: 将模型输出交给真实的人员进行评估。
• 优势: 灵活性最高，可以针对任何想象中的指标进行评估。
• 缺点: 耗时且工作繁琐 (Tedious)。

三、 评估标准与实施策略 (Evaluation Criteria and Implementation Strategy)

• 评估标准 (Evaluation Criteria): 在开始评估前，必须明确关注哪些响应方面。
• 示例标准:
• 格式检查: 确保输出仅为 Python、JSON 或正则表达式，不包含额外解释。
• 语法验证: 确保代码或结构没有拼写错误或语法错误。
• 任务遵循/准确性: 确保模型清晰地解决了用户任务，且代码逻辑正确。
• 策略分配:
• 代码型评分器 适用于格式和语法验证（标准 1 和 2）。
• 模型型评分器 适用于通用任务遵循和响应质量（标准 3），因为它具有更高的灵活性。

四、 模型型评分器的实施要点 (Key Implementation Points for Model Grader)

• 提示词设计 (Prompt Design): 编写详细的提示词至关重要。
• 角色设定: 明确模型的评估角色。
• 明确要求: 清晰地要求模型评估生成的解决方案。
• 获取深度反馈: 不要只

Takeaways

• 评分器（Grader）的作用是接收模型输出，并提供一个可量化、客观的评估信号（如 1 到 10 的分数）。
• 评分器主要分为三种类型：代码型（程序化检查）、模型型（二次 API 调用）和人工型（真实人员评估）。
• 评估策略应根据具体标准分配评分器：代码型适用于格式和语法验证；模型型适用于通用任务遵循和响应质量。
• 使用模型型评分器时，必须通过详细的提示词设计（如明确角色和要求）来确保评估的客观性和深度。