- Reranking: Reranking ist ein zweistufiger Filterprozess, der nach einer Erstsuche die Treffer nach echter semantischer Relevanz neu ordnet und so die Antwortqualität steigert.
- Bei der Vektorsuche werden in einem ersten Schritt schnell viele Kandidaten-Chunks abgerufen — typischerweise die Top-20 bis Top-100 nach Ähnlichkeitsscore.
- Das Ergebnis ist eine neu sortierte, deutlich relevantere Liste, aus der die Top-3 bis Top-5 als Kontext ans Sprachmodell übergeben werden.
/01Was ist Reranking?
Bei der Vektorsuche werden in einem ersten Schritt schnell viele Kandidaten-Chunks abgerufen — typischerweise die Top-20 bis Top-100 nach Ähnlichkeitsscore. Diese erste Auswahl ist bewusst breit, um Treffer nicht zu verpassen. Im zweiten Schritt bewertet ein spezialisiertes Reranking-Modell jeden Kandidaten zusammen mit der Suchanfrage neu und ermittelt einen präzisen Relevanzwert.
Reranker sind eigene Modelle (sogenannte Cross-Encoder), die — anders als Embedding-Modelle — Query und Dokument gemeinsam betrachten und so kontextuelle Zusammenhänge besser verstehen. Das Ergebnis ist eine neu sortierte, deutlich relevantere Liste, aus der die Top-3 bis Top-5 als Kontext ans Sprachmodell übergeben werden.
/02Vorteile des zweistufigen Ansatzes
Reranking verbessert die Retrieval-Qualität erheblich, weil:
- Cross-Encoder-Modelle die semantische Passung zwischen Frage und Antwort direkt modellieren, statt nur Vektordistanzen zu vergleichen.
- Rauschen reduziert wird: Chunks, die ähnliche Wörter enthalten, aber eine andere Aussage treffen, fallen heraus.
- Die Kontextfenster-Nutzung effizienter wird — nur hochrelevante Passagen gelangen ans LLM.
- Bestehende Retrieval-Pipelines einfach ergänzt werden können, ohne die Indexstruktur zu ändern.
Beliebte Reranking-Modelle
Cohere Rerank, BGE-Reranker und Jina Reranker sind populäre Modelle, die sich in RAG-Pipelines einbinden lassen. Sie laufen auch lokal (On-Premise) und fügen typischerweise nur wenige Hundert Millisekunden Latenz hinzu.
/03Relevanz für den Mittelstand
Wenn ein interner KI-Assistent wichtige Informationen aus dem Handbuch oder der Wissensdatenbank häufig nicht findet oder falsche Passagen liefert, ist ein fehlender Reranking-Schritt oft die Ursache. Die Nachrüstung ist vergleichsweise günstig und kann die Präzision eines bestehenden RAG-Systems ohne großen Aufwand deutlich verbessern — insbesondere bei heterogenen Dokumentenbeständen.