Ollama Context Length: VRAM-Verbrauch, Einstellung und Optimierung

TL;DR

Ollama setzt die Context Length automatisch basierend auf Ihrem VRAM: unter 24 GB → 4K, 24–48 GB → 32K, ab 48 GB → 256K. Jede Verdopplung der Kontextlänge verdoppelt grob den KV-Cache-Speicher. Wer lange Dokumente oder Agenten-Workflows fährt, muss die Context Length explizit setzen — sonst werden Eingaben jenseits des Defaults still abgeschnitten. Dieser Guide zeigt, wie Sie den Wert prüfen, einstellen und Ihre GPU-Wahl danach ausrichten.

Was ist Context Length — und warum ist VRAM der Flaschenhals?

Die Context Length bestimmt, wie viele Tokens (Wortteile) ein Modell auf einmal „im Kopf" behalten kann. Ein Token entspricht grob 0,75 Wörtern — 4.096 Tokens sind etwa 3.000 Wörter, 128.000 Tokens etwa 100.000 Wörter (ein ganzes Handbuch).

Jeder Token im Kontext belegt Speicher im KV-Cache (Key-Value Cache). Der KV-Cache skaliert quadratisch mit der Modellgröße und linear mit der Context Length: Eine Verdopplung des Kontexts verdoppelt den KV-Cache. Bei einem 70B-Modell frisst allein der KV-Cache bei 128K Kontext über 30 GB — mehr, als viele GPUs insgesamt haben.

Das ist der Grund, warum Ollama standardmäßig konservativ startet: Lieber 4K Kontext auf einer 8-GB-Karte, als dass das Modell abstürzt.

Ollama-Defaults: Context Length nach VRAM-Stufe

Seit Ollama 0.15.5 (Februar 2026) gelten diese Defaults:

Wichtig: Der Default ist durch das Modell-Maximum gedeckelt. Ein Modell, das nur 128K unterstützt, bekommt maximal 128K — auch auf einer 80-GB-Karte.

Die Defaults sorgen dafür, dass Ollama auf jeder GPU startet, ohne dass der Nutzer etwas konfigurieren muss. Wer aber Agenten, lange Dokumente oder Coding-Assistenten betreibt, sollte den Wert explizit setzen — siehe unten.

Vergleich: Context-Length-Einstellungen in Ollama

Ollama bietet fünf Wege, die Context Length zu setzen. Die folgende Tabelle zeigt die Unterschiede:

Empfehlung für den Mittelstand: Modelfile für jedes selbst gehostete Modell. Damit liegt die Konfiguration versioniert im Repo und ist beim nächsten ollama create wiederherstellbar.

Kosten-Tabelle: VRAM-Verbrauch pro Context Length

Der KV-Cache-Verbrauch hängt vom Modell ab. Die Tabelle zeigt Richtwerte für gängige Modellklassen auf einer RTX 4090 (24 GB):

Rechenbeispiel RTX 4090 (24 GB):

• Llama 3.1 8B bei 4K: ~5 GB Gewichte + ~0,3 GB KV = ~5,3 GB → läuft locker, viel Luft für zweites Modell
• Llama 3.1 8B bei 128K: ~5 GB Gewichte + ~10 GB KV = ~15 GB → passt noch, aber wenig Reserve
• DeepSeek R1 70B bei 4K: ~43 GB Gewichte + ~1,5 GB KV → passt nicht auf 24 GB (braucht 48+ GB)
• DeepSeek R1 70B bei 32K: ~43 GB Gewichte + ~12 GB KV = ~55 GB → braucht 2× RTX 4090 oder eine A6000

Tipp: Mit OLLAMA_KV_CACHE_TYPE=q8_0 (8-Bit-Quantisierung des KV-Cache) halbiert sich der Speicherverbrauch. q4_0 viertelt ihn. Nachteil: minimale Qualitätseinbußen bei sehr langen Kontexten.

DSGVO-Block: Context Length und Datenhoheit

Die Context Length hat direkte Auswirkungen auf die Datenschutzkonformität lokaler KI:

1. Vollständige Verarbeitung im eigenen Haus

Anders als bei Cloud-APIs (OpenAI, Claude, Gemini) verlassen bei Ollama auch bei maximaler Context Length keine Daten das eigene Rechenzentrum. Ein 128K-Kontext mit sensiblen Patientendaten, Mandanteninformationen oder Geschäftsgeheimnissen bleibt auf Ihrer GPU.

2. Keine Datenhaltung beim Anbieter

Cloud-Modelle speichern Prompts teils zur Missbrauchsprüfung (Modified Abuse Monitoring) oder für Training. Bei lokaler Inferenz mit Ollama entscheiden Sie selbst, ob und wie lange Logs gespeichert werden.

3. Praktische DSGVO-Grenze: VRAM

Der Datenschutz lokaler Inferenz ist theoretisch unbegrenzt. Praktisch begrenzt der VRAM, wie viel Kontext Sie fahren können. Wer regelmäßig 100+ Seiten Verträge analysiert, braucht entweder eine GPU mit 48+ GB oder splittet über mehrere GPUs.

4. Auftragsverarbeitung (AVV)

Da Ollama auf eigener Hardware läuft, ist kein separater Auftragsverarbeitungsvertrag mit einem Cloud-Anbieter nötig. Das vereinfacht die DSGVO-Dokumentation erheblich.

Entscheidungsmatrix: Welche GPU für welche Context Length

Faustregel: Wer Agenten-Workflows oder Coding-Assistenten betreibt, sollte nie unter 32K Kontext gehen. Ollama selbst empfiehlt 64.000 Tokens als Minimum für Agenten.

FAQ

Was ist die Standard-Context-Length von Ollama?

Seit Version 0.15.5: unter 24 GB VRAM = 4.096, 24–48 GB = 32.768, ab 48 GB = 262.144 Tokens. Ältere Versionen nutzten pauschal 2.048.

Wie stelle ich die Context Length in Ollama ein?

Fünf Wege: App-Schieberegler, Umgebungsvariable OLLAMA_CONTEXT_LENGTH, CLI /set parameter num_ctx, Modelfile PARAMETER num_ctx oder API options.num_ctx. Empfohlen für die Produktion: Modelfile.

Wie prüfe ich die aktuelle Context Length?

Mit ollama ps. Die Spalte CONTEXT zeigt die aktuell allozierte Kontextlänge. Beispiel:

NAME                SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest       9.6 GB    100% GPU     131072     2 minutes from now

Warum startet mein Modell nicht, obwohl es vorher lief?

Seit Ollama 0.15.5 wird auf GPUs mit 48+ GB automatisch 256K Kontext gesetzt. Ein 70B-Modell braucht dann oft mehr VRAM, als die Karte hat. Lösung: Context Length über OLLAMA_CONTEXT_LENGTH auf 32K oder 64K reduzieren.

Kann ich die Context Length pro API-Request setzen?

Ja. Im JSON-Body des Requests: "options": {"num_ctx": 64000}. Damit können verschiedene Clients unterschiedliche Kontexte nutzen.

Wie viel VRAM frisst der KV-Cache bei 128K?

Das hängt vom Modell ab. Bei einem 8B-Modell (Q4) ca. 10 GB, bei einem 70B-Modell (Q4) ca. 30–35 GB. Mit KV-Cache-Quantisierung (q8_0) halbiert sich der Wert.

Lohnt sich eine zweite GPU für längeren Kontext?

Ja. Zwei RTX 4090 (48 GB kombiniert) erlauben 70B-Modelle bei 32K Kontext. Der KV-Cache skaliert dabei über beide Karten. Voraussetzung: NVLink oder ausreichend PCIe-Bandbreite.

Was passiert, wenn der Input länger ist als die Context Length?

Ollama trunkiert (schneidet) den Input auf die Context Length. Der vordere Teil der Nachricht geht verloren. Das Modell „sieht" den Anfang eines langen Dokuments nicht. Deshalb: Context Length immer explizit auf den benötigten Wert setzen.

Quellen

• Ollama Docs — Context length — Default-Werte, CLI, Umgebungsvariable
• Ollama GitHub — Issue #14073 — Diskussion der neuen Defaults und Kompatibilitätsprobleme
• Ollama Docs — Modelfile — PARAMETER num_ctx und KV-Cache-Quantisierung
• Ollama Docs — GPU support — Hardware-Kompatibilität
• PromptQuorum — Long Context Local LLMs 2026 — Vergleich Context Length verschiedener Modelle

Interne Links:

• VRAM-Rechner: Welche GPU für welches Modell?
• llama.cpp vs. Ollama: Runtime-Vergleich
• Lokale KI 2026: GPU-Wahl 16 GB vs. 24 GB
• GPU-Server mieten, kaufen oder bauen? Vergleich 2026
• LM Studio vs. Ollama: Vergleich der lokalen LLM-Tools