Der Reranker: die Komponente, die am meisten bringt und am seltensten drin ist

TL;DR

Ein Reranker holt aus der Vektorsuche 30 statt 8 Treffer und wählt daraus die besten 8 aus — mit einem Modell, das Frage und Textabschnitt gemeinsam bewertet statt getrennt. In unseren Messungen hebt das die Genauigkeit im Abruf regelmäßig von etwa 0,20 auf über 0,50. Kein Modellwechsel bringt vergleichbar viel.

Warum die Vektorsuche allein zu ungenau ist

Der Grund liegt in der Funktionsweise. Eine Vektorsuche vergleicht zwei Einbettungen: eine für die Frage, eine für den Textabschnitt. Beide wurden getrennt voneinander berechnet — das Modell, das den Abschnitt eingebettet hat, kannte die Frage nicht.

Diese Trennung macht die Suche schnell. Sie können eine Million Vektoren in Millisekunden durchsuchen, weil die Einbettungen vorberechnet sind.

Sie macht die Suche auch ungenau. Eine Einbettung ist eine Verdichtung des gesamten Abschnitts auf einen Punkt im Raum. Feinheiten gehen dabei verloren — etwa ob ein Abschnitt eine Bedingung bejaht oder verneint, oder ob eine Zahl eine Obergrenze oder eine Untergrenze ist.

Ein Cross-Encoder arbeitet anders: Er bekommt Frage und Abschnitt gemeinsam und bewertet die Passung direkt. Das ist erheblich genauer und viel zu langsam für eine Million Abschnitte — aber genau richtig für 30.

Die zweistufige Suche

# Stufe 1: Vektorsuche, breit — schnell und ungenau
kandidaten = client.query_points(
    collection_name="dokumente",
    query=frage_vektor,
    query_filter=berechtigungsfilter,
    limit=30,                          # bewusst mehr als gebraucht
).points

# Stufe 2: Cross-Encoder, eng — langsam und genau
paare = [(frage, k.payload["text"]) for k in kandidaten]
scores = reranker.predict(paare)

beste = [k for _, k in sorted(zip(scores, kandidaten),
                              key=lambda p: p[0], reverse=True)][:6]

Der Berechtigungsfilter gehört in Stufe 1, nicht in Stufe 2. Wenn Sie erst neu sortieren und dann filtern, werfen Sie unter Umständen alle Treffer weg. Die Systematik dazu steht im Beitrag zu Berechtigungen im Vektorspeicher.

Zur Wahl der Zahlen: 30 Kandidaten und 6 Ergebnisse haben sich in Projekten bewährt. Weniger als 20 Kandidaten schränkt den Reranker zu stark ein, mehr als 50 kostet Zeit ohne Gewinn.

Die Optionen

Zur Auswahl drei Hinweise aus der Praxis:

Mehrsprachigkeit ist das entscheidende Kriterium. Viele Reranker-Modelle sind primär auf Englisch trainiert. Bei deutschen Fachtexten fällt die Qualität dann spürbar ab. Achten Sie auf ausdrücklich mehrsprachige Modelle und testen Sie sie an Ihren eigenen Dokumenten.

Ein kleiner lokaler Reranker reicht meistens. Der Sprung von keinem Reranker zu einem kleinen ist groß. Der Sprung von einem kleinen zu einem großen ist klein. Fangen Sie unten an.

Cloud-Reranker sind ein Datenschutzthema. Sie schicken dabei Ihre Dokumentabschnitte an einen Dritten — genau die Abschnitte, die zur Frage passen, also die relevantesten. Wenn Sie den Rest der Kette lokal betreiben, ist ein Cloud-Reranker ein Bruch in der Argumentation.

Was es tatsächlich bringt

Aus Messungen an einem Bestand technischer Dokumentation, 800 Testfragen:

Drei Beobachtungen dazu.

Die Wiederfindung ändert sich nicht — der Reranker findet nichts Neues, er sortiert nur besser. Wenn Ihr Recall bei 0,6 liegt, hilft ein Reranker nicht; dann ist Ihr Abruf oder Ihre Abschnittsbildung das Problem.

Die Genauigkeit verdoppelt sich mehr als. Das ist der eigentliche Effekt.

Und die Treue der Antwort steigt deutlich mit — weil weniger irrelevanter Text im Kontext liegt, aus dem das Modell falsche Bezüge herstellen kann. Das ist der Grund, warum wir den Reranker vor jedem Modellwechsel empfehlen. Wie Sie diese Werte selbst messen, steht im Beitrag zur RAG-Qualitätsmessung.

Als Nebeneffekt halbieren sich die Eingabe-Token, weil weniger Abschnitte mitgeschickt werden. Der Reranker bezahlt sich in Cloud-Installationen teilweise selbst.

Was er kostet

Latenz: 50 bis 500 Millisekunden je nach Modellgröße und ob eine GPU verfügbar ist. Auf CPU wird es bei größeren Modellen unangenehm — rechnen Sie mit dem Fünf- bis Zehnfachen.

Betrieb: ein weiterer Dienst. Bei einem lokal betriebenen Reranker läuft er entweder als eigener Container oder auf derselben Karte wie das Sprachmodell. Letzteres spart Hardware und verlangt, dass Sie den Speicher entsprechend aufteilen — die Reservierung des Inferenzservers muss Platz lassen.

Unsere Empfehlung: Bei einer GPU im System betreiben Sie den Reranker dort mit. Ein kleines Cross-Encoder-Modell belegt wenige Gigabyte.

Häufig gestellte Fragen

Was macht ein Reranker in einem RAG-System?

Er sortiert die Ergebnisse der Vektorsuche neu, indem er Frage und Textabschnitt gemeinsam bewertet statt getrennt vorberechnete Einbettungen zu vergleichen. Praktisch werden aus der Vektorsuche 30 Kandidaten geholt, vom Reranker bewertet und die besten 6 bis 8 an das Sprachmodell weitergegeben.

Wie stark verbessert ein Reranker die Antwortqualität?

In unseren Messungen steigt die Genauigkeit im Abruf von etwa 0,20 auf über 0,50, und die Treue der Antworten steigt deutlich mit — weil weniger irrelevanter Text im Kontext liegt. Kein Wechsel des Sprachmodells bringt in vergleichbarem Umfang. Voraussetzung ist, dass die Wiederfindung bereits hoch ist; einen schlechten Abruf repariert ein Reranker nicht.

Muss der Reranker Deutsch können?

Ja, und das ist das wichtigste Auswahlkriterium. Viele Reranker sind primär auf Englisch trainiert und bewerten deutsche Fachtexte spürbar schlechter. Wählen Sie ein ausdrücklich mehrsprachiges Modell und testen Sie es an Ihren eigenen Dokumenten, statt sich auf allgemeine Ranglisten zu verlassen.

Wie viel Latenz kostet Reranking?

Bei einem kleinen Cross-Encoder auf einer GPU 50 bis 150 Millisekunden für 30 Kandidaten, bei größeren Modellen 200 bis 500. Auf CPU steigt das um den Faktor fünf bis zehn. Gegenüber der Antwortzeit des Sprachmodells ist der Aufschlag in beiden Fällen vertretbar, solange eine GPU verfügbar ist.

Kann ich einen Reranker als Cloud-Dienst nutzen?

Technisch ja, mit einer Einschränkung: Sie übermitteln dabei genau die Dokumentabschnitte an einen Dritten, die zur Frage am besten passen — also die aussagekräftigsten. Wenn Sie die übrige Kette bewusst lokal betreiben, ist das ein Widerspruch. Bei vorhandener GPU ist ein lokal betriebener Reranker die konsequentere Wahl.

Der nächste Schritt

Messen Sie Ihre aktuelle Genauigkeit im Abruf. Liegt sie unter 0,30 — und das ist der Normalfall ohne Reranker —, ist das Ihre nächste Maßnahme, vor jedem Gedanken an ein größeres Modell. Beim Einbau unterstützen wir gern.