Prompt engineering

📚 提示工程 (Prompt Engineering) 核心概念笔记

一、 提示工程定义与流程

• 提示工程 (Prompt Engineering): 优化初始提示 (Initial Prompt) 的过程，目的是获得更可靠 (Reliable) 和更高质量 (Higher Quality) 的模型输出。
• 学习流程:
• 设定目标 (Set Goal)。
• 编写初始提示 (Initial Prompt) → 通常是粗糙的初稿。
• 进行评估 (Evaluation) → 初始评估分数通常很低。
• 应用提示工程技术 (Apply Techniques) → 逐步改进提示。
• 重复评估 (Re-evaluate) → 观察性能提升 (Performance Improvement)。

二、 目标与应用场景

• 项目目标: 创建一个提示，用于根据运动员的特定信息生成“一日膳食计划”。
• 输入参数 (Input Specifications): 提示需要接收以下信息：
• 身高 (Height)
• 体重 (Weight)
• 身体目标 (Physical Goal)
• 饮食限制 (Dietary Restrictions)

三、 评估机制 (Evaluation Pipeline)

• 评估工具: 使用 Prompt Evaluator 类，该类封装了数据集生成和模型评分等所有功能。
• 并发性 (Concurrency): Prompt Evaluator 支持并发任务 (Multiple API calls)，可显著加快评估和数据集生成速度。
• 注意: 需注意服务配额 (Service Quota) 限制，若出现速率限制错误 (Rate Limit Errors)，应降低并发值。
• 数据集生成: 需定义提示的整体用途 (Overall Purpose) 和详细的输入规范 (Input Spec)。
• 评估标准 (Extra Criteria): 在运行评估时，通过提供一个额外的字符串 (Extra Criteria)，指导模型在评分时必须考虑的额外要求。
• 示例标准: 输出必须包含每日总热量 (Daily

Takeaways

• 提示工程的核心目标是优化初始提示，以获得更可靠和更高质量的模型输出。
• 提示工程的学习流程是一个迭代过程：设定目标 → 编写初始提示 → 评估 → 应用技术 → 重复评估。
• 在设计提示时，必须明确输入参数，例如身高、体重、身体目标和饮食限制。
• 评估工具（Prompt Evaluator）支持并发任务以加快评估速度，但必须遵守服务配额和速率限制。
• 评估时可以通过提供额外的字符串（Extra Criteria）来指导模型必须考虑的评分标准。