A typical eval workflow

提示词评估工作流 (Prompt Evaluation Workflow) 核心概念

一、工作流基础认知

• 非标准化： 行业内没有统一的、固定的提示词评估方法。
• 实现方式： 可以使用各种开源或付费的工具来构建自定义工作流。
• 学习目标： 从零开始构建自定义工作流，理解其基本运作原理，无需一开始就使用复杂的重型解决方案。

二、典型评估工作流的六个步骤

• 初始提示词草稿 (Initial Prompt Draft)
• 撰写初始提示词（Prompt）。
• 将用户输入（User Input）进行插值（Interpolate）到提示词中。

• 创建评估数据集 (Evaluation Dataset)
• 定义一组可能的输入（例如：不同的问题）。
• 数据集可手动构建，也可利用大型语言模型（如Claude）生成。

• 模型执行 (Model Execution)
• 将数据集中的每个输入喂给提示词，生成完整的提示词。
• 将这些完整的提示词输入到目标模型（如Claude）中，获取实际的响应（Response）。

• 评分 (Grading)
• 将原始输入（问题）与模型获得的响应进行配对。
• 将配对内容输入给“评分器”（Grader），评分器根据答案质量给出分数（例如：1到10分）。

• 聚合与平均 (Aggregation & Averaging)
• 收集所有测试案例的分数。
• 计算平均分（将所有分数相加，然后除以测试案例的总数），从而客观地描述原始提示词的性能。

• 迭代与优化 (Iteration & Refinement)
• 根据平均分的结果，修改提示词（例如：增加更多细节来指导模型）。
• 重复整个流程（步骤1-5），对比不同版本提示词的分数，选择得分更高的版本。

Takeaways

• 提示词评估目前是非标准化的，需要通过构建自定义工作流来实现。
• 评估流程的核心是：定义数据集 → 模型执行获取响应 → 使用“评分器”对输入和响应进行配对评分。
• 性能的客观描述是通过收集所有测试案例的分数，并计算其平均分来完成的。
• 评估是一个迭代过程，需要根据平均分的结果修改提示词，然后重复整个流程进行优化。