Busca Hibrida
A busca hibrida e uma tecnica de recuperação que executa em paralelo uma busca vetorial densa (semantica) e uma busca por palavra-chave esparsa (BM25), e depois funde os resultados em uma unica lista ordenada. Ela captura tanto a "similaridade de significado" quanto a "correspondencia exata de token" em uma so consulta.
A busca hibrida e uma tecnica de recuperação que executa em paralelo uma busca vetorial densa (semantica) e uma busca por palavra-chave esparsa (BM25), e depois funde os resultados em uma unica lista ordenada. Ela captura tanto a "similaridade de significado" quanto a "correspondencia exata de token" em uma so consulta.
Por Que Importa
A busca vetorial densa e otima em correspondencias semanticas ("notebooks acessiveis" ≈ "laptops economicos"), mas falha com tokens raros como codigos de produto, SKUs e nomes proprios. A busca por palavra-chave acerta tokens exatos, mas perde parafrases. A busca hibrida vence nos dois casos - sistemas de RAG em produção na Anthropic, OpenAI e Elastic relatam que o hibrido supera consistentemente qualquer um dos dois isolados, normalmente com melhoria de recall de 10 a 30% em benchmarks reais de recuperação.
Como Funciona
1. Recuperação dupla: A mesma consulta passa por ambos os indices - um indice vetorial (embeddings densos) e um indice invertido (BM25 ou TF-IDF).
2. Normalização de pontuação: As pontuações densa e esparsa vivem em escalas diferentes. Elas são normalizadas - min-max, z-score ou baseada em ranking.
3. Fusão: As pontuações são combinadas em um unico ranking. Os metodos mais populares:
- Reciprocal Rank Fusion (RRF):
score = Σ 1/(k + rank_i)- baseada em ranking, não precisa de ajuste, extremamente robusta. - Soma ponderada:
α * dense + (1-α) * sparse- exige ajustar α por dominio. - Fusão aprendida: Um pequeno modelo preve o peso otimo por consulta.
4. Reranking opcional: Um cross-encoder reordena os top-k candidatos fundidos para precisão final.
Quando Usar
Vocabulario especifico de dominio: Codigos medicos, citações juridicas, numeros de peças.
Tipos mistos de consulta: Quando os usuarios buscam tanto com linguagem natural quanto com strings exatas.
Quando o recall de cauda longa importa: Consultas raras em que o BM25 ainda brilha.
Quando voce não recebe nenhum resultado so com vetores: Geralmente uma falha de correspondencia exata - o hibrido resolve.
Compensações
Latencia: Dois indices significam duas consultas. Mitigado por execução em paralelo.
Armazenamento de indice: Voce precisa manter tanto um indice vetorial quanto um indice invertido.
Complexidade de ajuste: A fusão ponderada exige dados rotulados para ajustar. O RRF evita isso.
Nem sempre e uma vitoria: Em dominios onde os embeddings são muito fortes (tarefas de parafrase pura), o denso sozinho pode igualar o hibrido.
Busca Hibrida vs Busca Vetorial Pura
| Aspecto | Vetorial Pura | Hibrida |
|---|---|---|
| Correspondencias semanticas | Forte | Forte |
| Correspondencias exatas de token | Fraca | Forte |
| Tokens raros, SKUs | Fraca | Forte |
| Infraestrutura | Simples | Dois indices |
| Ganho tipico de recall | Base | +10 a 30% |
Bancos de dados vetoriais modernos (Pinecone, Weaviate, Qdrant, Elasticsearch) oferecem busca hibrida como recurso de primeira classe, então o custo operacional e baixo.
Fontes: