Prompt evaluation

提示工程 (Prompt Engineering) 与 提示评估 (Prompt Evaluation)

• 提示工程 (Prompt Engineering):
• 定义：一套用于编写或编辑提示（Prompt）的技术。
• 目的：帮助模型理解请求，并指导模型生成期望的响应。

• 提示评估 (Prompt Evaluation):
• 定义：对提示进行自动化测试的过程。
• 目的：获取客观指标，判断提示是否有效。
• 本课程重点：主要关注提示评估。

• 提示编写的三个路径（推荐最佳实践）：
• 路径一： 编写提示 → 测试一两次 → 直接投入生产环境 (Production)。
• 路径二： 编写提示 → 使用自定义输入测试 → 针对特定边界情况进行微调。
• 路径三（推荐）： 编写提示 → 运行评估流程 (Evaluation Pipeline) → 获取客观分数 → 持续迭代优化提示。

• 核心建议： 强烈建议采用路径三，通过评估流程获取客观分数，以确保提示达到最佳性能。

Takeaways

• 提示工程是编写或编辑提示的技术，旨在指导模型生成期望的响应。
• 提示评估是通过自动化测试获取客观指标，判断提示是否有效的过程。
• 推荐的最佳实践是采用“编写提示 → 运行评估流程 → 获取客观分数 → 持续迭代优化”的路径。
• 核心建议是利用评估流程获取客观分数，以确保提示达到最佳性能。