Code based grading

📚 学习笔记：代码评分器实现 (Code Grader Implementation)

一、代码评分器目标 (Code Grader Goal)

• 功能：接收模型输出，验证其是否为纯净的 Python 代码、JSON 或正则表达式。
• 要求：输出必须是原始代码，不得包含任何解释或注释。

二、语法验证机制 (Syntax Validation Mechanism)

• 核心方法：定义辅助函数（Helper Functions）进行语法检查。
• validateJSON：尝试解析 JSON。
• validatePython：尝试解析 Python 的抽象语法树 (AST)。
• validateRegEx：尝试编译正则表达式。
• 评分逻辑：
• 成功解析/编译 → 得满分 10 分。
• 解析/编译失败 → 得 0 分。

三、数据与提示词更新 (Data and Prompt Updates)

• 数据集更新：测试数据集必须包含一个 format 键，明确期望的输出类型（例如：JSON, Python, regex）。
• 提示词优化 (Prompt Engineering)：
• 在提示词中明确要求模型仅以 Python、JSON 或正则表达式形式响应。
• 禁止模型添加任何评论或解释。
• 使用 json. dumps 和停止序列 (Stop Sequence) 来强制模型返回原始内容。

四、最终评分合并 (Final Score Merging)

• 步骤：将模型评分 (Model Score) 与代码语法评分 (Syntax Score) 合并。
• 计算公式：最终分数 = (模型评分 + 语法评分) 除以 二。

Takeaways

• 代码评分器核心功能是验证模型输出是否为纯净的 Python、JSON 或正则表达式，且不得包含任何解释。
• 语法验证通过（成功解析或编译）得 10 分，失败则得 0 分。
• 提示词优化必须明确要求模型仅以指定格式响应，并使用停止序列来强制返回原始内容。
• 测试数据集需包含 format 键，以明确期望的输出类型。
• 最终分数是模型评分和代码语法评分的平均值。