Prompt engineering

📝 提示工程 (Prompt Engineering) 学习笔记

一、核心概念

• 提示工程定义： 通过改进初始提示 (Prompt)，以获得更可靠 (Reliable) 和更高质量 (High Quality) 的模型输出。
• 模块流程： 设定目标 → 编写初始提示 → 评估 (Evaluation) → 应用提示工程技术 → 重新评估 (Performance 提升)。

二、项目目标与输入

• 提示目标： 生成基于运动员信息的“一日膳食计划”。
• 输入参数 (Input Specs)：
• 身高 (Height)：单位为厘米 (CM)。
• 体重 (Weight)：单位为千克 (KG)。
• 身体目标 (Goal)。
• 饮食限制 (Dietary Restrictions)。
• 理想输出 (Ideal Output)： 包含详细的膳食计划、每日总热量、宏量营养素分解、具体食物、份量和用餐时间。

三、评估流程与工具

• 评估管道 (Eval Pipeline)： 使用更新、更灵活的评估管道。
• 提示评估器 (Prompt Evaluator)： 一个封装了数据集生成和模型评分的类。
• 并发性 (Concurrency)： 支持同时运行多个 API 调用，可显著加速评估过程。
• 注意： 需注意服务配额 (Service Quota) 限制，若出现速率限制错误 (Rate Limit Errors)，应将并发数降低至 1。
• 数据集生成： 通过描述提示的整体目的和所需输入规格来创建测试用例。
• 评估增强 (Extra Criteria)： 在模型评分过程中，通过设置“额外标准”来指导模型进行更严格的验证和评分。
• 示例标准： 输出必须包含每日总热量、宏量营养素分解、具体食物、份量和用餐时间。
• 评估报告： 评估结果将生成 output. html 文件，提供每个测试用例的详细报告和分数。

四、初始尝试

• 初始提示 (Initial Prompt)： 采用简单、直白的问句（如：“这个人在吃什么？”），通常会导致非常差的评估分数。
• 改进方向： 初始低分是后续应用提示工程技术进行优化的起点。

Takeaways

• 提示工程的定义是通过改进初始提示，以获得更可靠和更高质量的模型输出。
• 核心流程包括：设定目标 → 编写初始提示 → 评估 → 应用提示工程技术 → 重新评估。
• 评估管道（Eval Pipeline）支持并发性以加速评估，但必须注意服务配额限制，避免速率限制错误。
• 理想输出必须包含详细的膳食计划、每日总热量、宏量营养素分解、具体食物、份量和用餐时间。
• 通过设置“额外标准”，可以在模型评分过程中指导更严格的验证和评分。