Code based grading

📝 代码评分器 (Code Grader) 学习笔记

核心概念：

• 代码评分器目标： 确保模型输出是纯粹的 Python 代码、JSON 或正则表达式，且不包含任何解释性文字。
• 验证机制： 通过定义三个辅助函数（validateJSON、validatePython、validateRegEx）来检查输出的语法有效性。
• 评分逻辑：
• 成功解析/编译 → 得满分 10。
• 解析失败/出现错误 → 得 0 分。

实现关键步骤：

• 定义验证函数：
• 创建 validateJSON、validatePython 和 validateRegEx 三个函数。
• validatePython 内部会尝试将模型输出解析为 Python 的抽象语法树 (AST)。
• 格式指定 (Format Key)：
• 测试数据集必须包含一个 format 键，明确指定当前任务期望的输出类型（例如：JSON, Python, regex）。
• 通用评分函数 (grade_syntax)：
• 该函数读取测试用例中的 format 键。
• 根据 format 的值，调用相应的验证函数（如 validateJSON）。
• 提示词 (Prompt) 优化：
• 更新提示词，严格要求模型仅返回代码内容，禁止添加任何评论或解释。
• 使用 Python 的预填充助手消息和停止序列（Stop Sequence）来引导模型输出纯代码。
• 分数合并：
• 最终得分是模型评分 (Model Score) 和代码语法评分 (Syntax Score) 的平均值。
• 公式：最终得分 = (模型得分 + 语法得分) / 2。

总结流程： 数据集 (包含 format 键) → 提示词 (严格限制输出) → 模型生成输出 → 代码评分器 (验证语法) → 最终评分 (合并分数)。

Takeaways

• 代码评分器的核心目标是验证模型输出是否为纯粹的 Python、JSON 或正则表达式，且不包含任何解释性文字。
• 系统通过测试数据集中的 format 键来指定并调用相应的语法验证函数。
• 提示词优化（如严格限制输出和使用停止序列）是引导模型生成纯代码的关键。
• 最终得分是模型评分和代码语法评分的平均值。