Hybrid Search
Hybrid Search ist eine Abruftechnik, die eine dichte Vektorsuche (semantisch) und eine dünnbesetzte Keyword-Suche (BM25) parallel ausführt und die Ergebnisse dann zu einer einzigen gerankten Liste zusammenführt. Sie erfasst sowohl "Bedeutungsähnlichkeit" als auch "exakte Token-Übereinstimmung" in einer Abfrage.
Hybrid Search ist eine Abruftechnik, die eine dichte Vektorsuche (semantisch) und eine dünnbesetzte Keyword-Suche (BM25) parallel ausführt und die Ergebnisse dann zu einer einzigen gerankten Liste zusammenführt. Sie erfasst sowohl "Bedeutungsähnlichkeit" als auch "exakte Token-Übereinstimmung" in einer Abfrage.
Warum es wichtig ist
Die dichte Vektorsuche ist hervorragend bei semantischen Übereinstimmungen ("erschwingliche Laptops" ≈ "günstige Notebooks"), versagt aber bei seltenen Tokens wie Produktcodes, SKUs und Eigennamen. Die Keyword-Suche trifft exakte Tokens punktgenau, verfehlt aber Umschreibungen. Hybrid Search gewinnt in beiden Bereichen, produktive RAG-Systeme bei Anthropic, OpenAI und Elastic berichten alle, dass Hybrid jeden der beiden Ansätze einzeln durchgängig übertrifft, typischerweise mit einer Verbesserung der Trefferquote (Recall) um 10 bis 30 % bei realen Abruf-Benchmarks.
So funktioniert es
1. Doppelter Abruf: Dieselbe Abfrage läuft durch beide Indizes, einen Vektorindex (dichte Embeddings) und einen invertierten Index (BM25 oder TF-IDF).
2. Score-Normalisierung: Dichte und dünnbesetzte Scores liegen auf unterschiedlichen Skalen. Sie werden normalisiert, per Min-Max, Z-Score oder rangbasiert.
3. Fusion: Die Scores werden zu einem einzigen Ranking kombiniert. Die beliebtesten Methoden:
- Reciprocal Rank Fusion (RRF):
score = Σ 1/(k + rank_i), rangbasiert, ohne Feinabstimmung, äußerst robust. - Gewichtete Summe:
α * dense + (1-α) * sparse, erfordert die Feinabstimmung von α pro Domäne. - Gelernte Fusion: Ein kleines Modell sagt die optimale Gewichtung pro Abfrage voraus.
4. Optionales Reranking: Ein Cross-Encoder rankt die fusionierten Top-k-Kandidaten für die finale Präzision neu.
Wann Sie es einsetzen
Domänenspezifisches Vokabular: Medizinische Codes, juristische Fundstellen, Teilenummern.
Gemischte Abfragetypen: Wenn Nutzer sowohl mit natürlicher Sprache als auch mit exakten Zeichenfolgen suchen.
Long-Tail-Recall ist wichtig: Seltene Abfragen, bei denen BM25 nach wie vor glänzt.
Sie erhalten allein aus Vektoren null Ergebnisse: Oft ein Fehlschlag bei der exakten Übereinstimmung, Hybrid behebt das.
Abwägungen
Latenz: Zwei Indizes bedeuten zwei Abfragen. Wird durch parallele Ausführung abgemildert.
Indexspeicher: Sie müssen sowohl einen Vektorindex als auch einen invertierten Index pflegen.
Komplexität der Feinabstimmung: Die gewichtete Fusion erfordert gelabelte Daten zur Feinabstimmung. RRF umgeht das.
Nicht immer ein Gewinn: In Domänen, in denen Embeddings sehr stark sind (reine Umschreibungsaufgaben), kann die dichte Suche allein mit Hybrid mithalten.
Hybrid Search vs. reine Vektorsuche
| Aspekt | Reine Vektorsuche | Hybrid |
|---|---|---|
| Semantische Übereinstimmungen | Stark | Stark |
| Exakte Token-Übereinstimmungen | Schwach | Stark |
| Seltene Tokens, SKUs | Schwach | Stark |
| Infrastruktur | Einfach | Zwei Indizes |
| Typische Recall-Steigerung | Ausgangswert | +10 bis 30 % |
Moderne Vektor-Datenbanken (Pinecone, Weaviate, Qdrant, Elasticsearch) bieten Hybrid Search als erstklassige Funktion, sodass die Betriebskosten gering sind.
Quellen: