Prompt engineering

📝 学习笔记：提示工程 (Prompt Engineering) 基础

💡 核心概念

• 提示工程 (Prompt Engineering): 通过改进初始提示 (prompt)，使其输出更可靠、质量更高。
• 模块流程: 初始提示 → 评估 (Evaluation) → 应用提示工程技术 → 重新评估 (获得更好性能)。
• 本模块目标: 编写并优化一个能为运动员生成“一日膳食计划”的提示。

🎯 提示目标 (Prompt Goal)

• 功能: 根据运动员的输入生成一份简洁的一日膳食计划。
• 所需输入 (Inputs):
• 身高 (Height)
• 体重 (Weight)
• 身体目标 (Physical Goal)
• 饮食限制 (Dietary Restrictions)
• 理想输出 (Ideal Output): 包含每日总热量、宏量营养素分解、精确食物份量和用餐时间。

⚙️ 技术设置与评估流程

• 评估管道 (Eval Pipeline): 使用更新、更灵活的评估管道（需下载 001_prompting 笔记本）。
• 提示评估器 (Prompt Evaluator):
• 一个封装了数据集生成和模型评分的类。
• 并发性 (Concurrency): 支持同时进行多个 API 调用，能显著加快评估速度。
• ⚠️ 注意事项: 若遇到速率限制错误 (Rate Limit Errors)，请降低并发任务数（例如，从 50 降至 1）。
• 数据集生成 (Data Set Generation):
• 需要描述提示的整体用途。
• 定义输入规范 (Input Spec)，列出所有必需的输入属性（如：身高、体重等）。
• 建议: 学习阶段建议将测试用例数量保持在 2 或 3 以加快速度。
• 提示函数 (Run Prompt Function):
• 该函数为每个测试用例调用一次。
• 它接收测试用例的输入字典 (Prompt Inputs)，并将这些输入插值到提示中。
• 评估执行 (Running Eval):
• 在运行评估时，需提供一个额外的关键字参数：extra_criteria (字符串)。
• extra_criteria 用于指导模型在评分过程中考虑的额外标准（例如：必须包含每日总热量）。
• 评估结果: 评估完成后，系统会生成一个名为 output. html 的报告文件，提供每个测试用例的详细

Takeaways

• 提示工程 (Prompt Engineering) 的核心在于通过优化初始提示，使模型输出更可靠、质量更高。
• 膳食计划提示需要接收身高、体重、身体目标和饮食限制等输入，并输出总热量、宏量营养素分解及精确份量。
• 评估流程使用提示评估器，支持并发性来显著加快测试速度，但需注意速率限制问题。
• 在执行评估时，必须提供 extra_criteria 参数，用于指导模型在评分过程中考虑额外的质量标准。