Reranking
RAGReranking ist ein zweistufiger Filterprozess, der nach einer Erstsuche die Treffer nach echter semantischer Relevanz neu ordnet und so die Antwortqualität steigert.
Was ist Reranking?
Bei der Vektorsuche werden in einem ersten Schritt schnell viele Kandidaten-Chunks abgerufen — typischerweise die Top-20 bis Top-100 nach Ähnlichkeitsscore. Diese erste Auswahl ist bewusst breit, um Treffer nicht zu verpassen. Im zweiten Schritt bewertet ein spezialisiertes Reranking-Modell jeden Kandidaten zusammen mit der Suchanfrage neu und ermittelt einen präzisen Relevanzwert.
Reranker sind eigene Modelle (sogenannte Cross-Encoder), die — anders als Embedding-Modelle — Query und Dokument gemeinsam betrachten und so kontextuelle Zusammenhänge besser verstehen. Das Ergebnis ist eine neu sortierte, deutlich relevantere Liste, aus der die Top-3 bis Top-5 als Kontext ans Sprachmodell übergeben werden.
Vorteile des zweistufigen Ansatzes
Reranking verbessert die Retrieval-Qualität erheblich, weil:
- Cross-Encoder-Modelle die semantische Passung zwischen Frage und Antwort direkt modellieren, statt nur Vektordistanzen zu vergleichen.
- Rauschen reduziert wird: Chunks, die ähnliche Wörter enthalten, aber eine andere Aussage treffen, fallen heraus.
- Die Kontextfenster-Nutzung effizienter wird — nur hochrelevante Passagen gelangen ans LLM.
- Bestehende Retrieval-Pipelines einfach ergänzt werden können, ohne die Indexstruktur zu ändern.
Beliebte Reranking-Modelle
Cohere Rerank, BGE-Reranker und Jina Reranker sind populäre Modelle, die sich in RAG-Pipelines einbinden lassen. Sie laufen auch lokal (On-Premise) und fügen typischerweise nur wenige Hundert Millisekunden Latenz hinzu.
Relevanz für den Mittelstand
Wenn ein interner KI-Assistent wichtige Informationen aus dem Handbuch oder der Wissensdatenbank häufig nicht findet oder falsche Passagen liefert, ist ein fehlender Reranking-Schritt oft die Ursache. Die Nachrüstung ist vergleichsweise günstig und kann die Präzision eines bestehenden RAG-Systems ohne großen Aufwand deutlich verbessern — insbesondere bei heterogenen Dokumentenbeständen.
← Zurück zum Glossar