A typical eval workflow

提示词评估工作流 (Prompt Evaluation Workflow) 核心概念

• 工作流灵活性 (Workflow Flexibility):
• 行业内没有统一的、固定的评估方法。
• 可以使用多种开源或付费工具来构建自定义工作流。
• 建议从小型、简单的实现开始，逐步扩展规模。

• 评估工作流的六个关键步骤：

• 初始提示词草稿 (Initial Prompt Draft): 撰写需要改进的基础提示词。
• 创建评估数据集 (Evaluation Dataset): 收集多个可能的输入（例如，一系列不同的用户问题）。
• 执行生成 (Execution/Generation): 将提示词和数据集中的每个输入输入到大型语言模型（LLM）中，获取实际响应。
• 评分/评估 (Grading/Scoring):
• 将原始输入、提示词和LLM的响应进行配对。
• 使用一个“评分器”（Grader）对响应的质量进行评分（例如，1 到 10 分）。
• 聚合/平均 (Aggregation/Averaging): 将所有评分进行汇总和平均，得出提示词性能的客观指标。
• 迭代优化 (Iteration/Refinement):
• 根据得分结果修改提示词（例如，增加更多细节来引导模型）。
• 重复整个流程，比较不同版本提示词的得分，以确定最优版本。

Takeaways

• 评估工作流没有统一标准，应根据需求构建自定义流程，并建议从小规模实现开始。
• 工作流的核心流程包括：撰写初始提示词 → 创建评估数据集 → LLM执行生成。
• 评估的关键步骤是使用“评分器”对LLM的响应进行质量评分，并对所有评分进行聚合和平均。
• 最终目标是通过分析得分结果，指导提示词进行迭代优化，直至找到最优版本。