Reranking results

📚 Lernnotizen: Re-Ranking zur Verbesserung der Abrufgenauigkeit

**1. Problem des Hybriden Abrufs (Hybrid Retrieval)**

• Methode: Kombination von Vector Index und BM25 Index.
• Schwäche: Trotz Komplexität können Schwachstellen existieren, die zu einer ungenauen Priorisierung führen (z. B. irrelevante Abschnitte werden über die relevantesten platziert).
• Ziel: Erhöhung der Abrufgenauigkeit (Retrieval Accuracy).

**2. Die Re-Ranking-Technik**

• Definition: Ein Post-Processing-Schritt, der nach dem initialen Abruf (Vector Index + BM25) durchgeführt wird.
• Funktionsweise: Ein LLM (Large Language Model, z. B. Claude) wird verwendet, um die gefundenen Dokumente neu zu bewerten.
• Prozess:
• Die initialen Suchergebnisse werden an das LLM übergeben.
• Das LLM erhält die ursprüngliche Benutzeranfrage (Query).
• Aufgabe des LLM: Die Dokumente in absteigender Relevanz zur Benutzeranfrage neu ordnen.

**3. Effizienz und Implementierung**

• Optimierung (Effizienz): Um unnötige Verzögerungen zu vermeiden, wird dem LLM nicht der vollständige Text jedes Dokumentes übergeben.
• Vorgehen: Es werden eindeutige Dokument-IDs generiert. Das LLM gibt lediglich die geordnete Liste dieser IDs zurück.
• Struktur: Die Implementierung nutzt einen Prompt, der die Benutzeranfrage und die Liste der Dokument-IDs enthält.

**4. Trade-offs (Vor- und Nachteile)**

• Vorteil (+): Deutliche Steigerung der Abrufgenauigkeit (z. B. korrekte Priorisierung spezifischer Teams/Abschnitte).
• Nachteil (-): Erhöhte Latenz des gesamten Such-Pipelines, da ein zusätzlicher Aufruf an das LLM erforderlich ist.

Takeaways

• Der hybride Abruf (Kombination aus Vector Index und BM25) kann zu ungenauer Priorisierung führen, was die Relevanz senkt.
• Re-Ranking ist ein Post-Processing-Schritt, bei dem ein LLM die initialen Suchergebnisse neu bewertet.
• Die Hauptaufgabe des LLM ist es, die gefundenen Dokumente basierend auf ihrer Relevanz zur Benutzeranfrage neu zu ordnen.
• Zur Optimierung der Effizienz wird dem LLM nicht der vollständige Text übergeben, sondern lediglich eine Liste eindeutiger Dokument-IDs.
• Der Haupt-Trade-off ist eine deutliche Steigerung der Abrufgenauigkeit zugunsten einer erhöhten Latenz der Such-Pipeline.