Rag

Ohne Messung ist jede RAG-Verbesserung Glaubenssache. Der Aufbau eines Testsatzes, die vier Kennzahlen, die zählen, und wo RAGAS Grenzen hat.

Ein Reranker hebt die Trefferqualität stärker als jeder Modellwechsel. Wie er funktioniert, welche Optionen es gibt und was er an Latenz kostet.

Ein RAG-System, das Berechtigungen erst nach dem Abruf prüft, ist ein Datenleck mit Verzögerung. Wie Rechte in den Index kommen und synchron bleiben.

Der KV-Cache frisst bei 32k Kontext mehr VRAM als das Modell selbst. Was Mamba-Hybride wie Soofi S daran ändern — und wann FP8 die billigere Antwort ist.

RAG, Chat, OCR, Code oder Sichtprüfung — jede Anwendung braucht anderes Sizing. Fünf Faustformeln plus die KV-Cache-Rechnung, die 70B-Pläne killt.