A typical eval workflow

提示词评估工作流 (Prompt Evaluation Workflow) 核心概念

一、工作流基础认知

• 灵活性： 提示词评估工作流没有统一标准，业界没有固定的方法。
• 实现方式： 可以使用各种开源或付费工具，也可以从零开始构建自定义工作流（例如在 Jupyter Notebook 中）。
• 目标： 初始阶段无需使用复杂的“重量级”解决方案，可以从小处开始，逐步扩展。

二、典型评估流程步骤

• 初始提示词草稿 (Initial Prompt Draft)：
• 撰写需要改进的初始提示词。
• 示例： “请回答用户的问题。”
• 创建评估数据集 (Evaluation Dataset)：
• 构建包含所有可能输入（如用户问题）的数据集。
• 真实世界的评估数据集可能包含成百上千条记录。
• 生成响应 (Response Generation)：
• 将提示词 + 数据集中的每个输入配对。
• 将这些组合输入给大型语言模型 (LLM)，获取实际的响应。
• 评分/评估 (Grading/Scoring)：
• 将原始输入和 LLM 的响应进行配对。
• 将配对内容输入给“评分器”（Grader），评分器会根据答案的质量给出分数（例如 1 到 10 分）。
• 聚合与平均 (Aggregation)：
• 将所有单独的评分汇总。
• 计算平均分，从而获得对原始提示词性能的客观描述。
• 迭代优化 (Iteration)：
• 根据平均分，修改提示词（例如增加细节以更好地引导 LLM）。
• 重复整个流程，比较不同版本提示词的得分，选出性能更优的版本。

Takeaways

• 提示词评估工作流没有统一标准，强调灵活性，可从小处开始构建。
• 评估流程核心步骤包括：撰写初始提示词 → 构建评估数据集 → LLM生成响应。
• 关键环节是使用“评分器”（Grader）对原始输入和 LLM响应进行质量评分。
• 通过聚合所有单独的评分并计算平均分，客观描述提示词的性能。
• 最终目标是根据平均分结果进行迭代优化，不断改进提示词版本。