Text embeddings

📝 学习笔记：RAG 中的语义搜索与文本嵌入

一、RAG 流程中的搜索需求

• 目标： 在用户提出问题（Query）后，从预先提取的文本块（Text Chunks）中找到与问题最相关的部分，并将其作为上下文（Context）加入提示词（Prompt）。
• 本质： 这是一个信息检索和搜索问题。
• 核心方法： 语义搜索（Semantic Search）。

二、文本嵌入（Text Embeddings）

• 定义： 文本嵌入是文本所包含的含义的数值表示。
• 生成方式： 由嵌入模型（Embedding Model）生成。
• 输出形式： 一串长数字列表（即嵌入向量）。
• 数值范围： 数字通常在负一到正一之间（例如：负一到正一）。
• 数值含义： 嵌入中的每个数字代表输入文本某种特定特性的分数（尽管我们无法确切知道每个数字代表的具体含义，但可以将其视为某种质量的评分）。

三、技术实现要点

• 模型选择： 必须使用专门用于生成文本嵌入的专用模型（例如：Vertex AI 上的 text-embedding-005）。
• 操作工具： 使用 Vertex SDK 来访问和调用嵌入模型。
• 流程概述：
• 输入文本 → 嵌入模型 → 输出嵌入向量（数值列表）。
• 利用这些向量进行相似度计算，从而实现语义搜索。

Takeaways

• RAG 的核心搜索目标是利用语义搜索，从文本块中找到与用户问题最相关的上下文。
• 文本嵌入是将文本所包含的含义转化为数值列表（即嵌入向量）的表示。
• 嵌入向量是由专门的嵌入模型（Embedding Model）生成的。
• 语义搜索的实现机制是利用这些嵌入向量进行相似度计算。