Rag

Ein Reranker hebt die Trefferqualität stärker als jeder Modellwechsel. Wie er funktioniert, welche Optionen es gibt und was er an Latenz kostet.

Ein RAG-System, das Berechtigungen erst nach dem Abruf prüft, ist ein Datenleck mit Verzögerung. Wie Rechte in den Index kommen und synchron bleiben.

Der KV-Cache frisst bei 32k Kontext mehr VRAM als das Modell selbst. Was Mamba-Hybride wie Soofi S daran ändern — und wann FP8 die billigere Antwort ist.

RAG, Chat, OCR, Code oder Sichtprüfung — jede Anwendung braucht anderes Sizing. Fünf Faustformeln plus die KV-Cache-Rechnung, die 70B-Pläne killt.

RAG-Pipeline von PDF zur Wissensdatenbank: Dokumenten-Extraktion, Chunking, Embedding und Vektorsuche — komplette Implementierung.