VRAM-Problem bei KI-Modellen: 7 typische Fehler und Lösungen für den Mittelstand

TL;DR

VRAM-Probleme sind der häufigste Grund, warum lokale KI-Installationen im Mittelstand scheitern. Die typischen Symptome: "CUDA out of memory", abstürzende Dienste, extrem langsame Antworten oder Modelle, die sich nicht laden lassen. Die Ursachen sind meist identifizierbar – und in 80% der Fälle mit einfachen Mitteln lösbar: Quantisierung, CPU-Offloading, Context-Window-Anpassung oder GPU-Wechsel. Dieser Leitfaden hilft Ihnen, Ihr konkretes VRAM-Problem zu diagnostizieren und zu beheben.

Sie haben einen lokalen KI-Server eingerichtet – Ollama, vLLM oder LocalAI. Die ersten Tests liefen gut. Doch sobald der erste Mitarbeiter eine längere Anfrage stellt oder Sie auf ein größeres Modell umsteigen, passiert es: "CUDA out of memory", der Dienst stürzt ab oder die Antwort kommt in Zeitlupe.

Das Problem ist fast immer der VRAM (Video RAM) – der Arbeitsspeicher Ihrer Grafikkarte. Anders als normaler RAM lässt er sich nicht einfach nachrüsten. Aber die gute Nachricht: Die meisten VRAM-Probleme lassen sich identifizieren und beheben.

Dieser Leitfaden zeigt die 7 häufigsten VRAM-Probleme im KI-Betrieb, wie Sie sie diagnostizieren und welche Lösung für Ihren Mittelstandsbetrieb die richtige ist.

1. Die 7 häufigsten VRAM-Probleme im KI-Einsatz

Problem 1: "CUDA out of memory" beim Laden eines Modells

Symptom: Das Modell lässt sich gar nicht erst starten. Fehlermeldung bereits beim ollama run oder beim ersten Request an vLLM.

Diagnose: Das Modell braucht mehr VRAM, als Ihre GPU hat.

# VRAM-Auslastung prüfen
nvidia-smi

Die Ausgabe zeigt totalen und belegten VRAM. Prüfen Sie: Ein 7B-Modell in voller Präzision (FP16) braucht ca. 14 GB VRAM. Ein 13B-Modell ca. 26 GB. Dazu kommt Speicher für den KV-Cache (ca. 1-2 GB pro 4K Kontext).

Lösung (nach Aufwand sortiert):

1. Quantisiertes Modell verwenden – Ein 7B-Modell in Q4 benötigt nur ~4 GB statt 14 GB
2. CPU + GPU Hybrid-Modus – Ollama: OLLAMA_NUM_GPU=1 begrenzt die GPU-Nutzung
3. GPU mit mehr VRAM – Hardware-Wechsel (siehe Kosten-Tabelle unten)

Problem 2: CUDA out of memory nach wenigen Antworten

Symptom: Die erste Antwort kommt, aber nach 3–4 Antworten bricht der Dienst mit OOM ab.

Diagnose: Der KV-Cache wächst mit jeder Anfrage. Bei mehreren Benutzern oder langen Konversationen wird der Cache zu groß.

# KV-Cache-Auslastung in Ollama beobachten
ollama ps

Lösung:

1. Num_ctx (Context Window) reduzieren – Standard 4096, auf 2048 oder 1024 senken
2. Keep-Alive verkürzen – OLLAMA_KEEP_ALIVE=30s gibt VRAM schneller frei
3. Batch-Größe reduzieren – Bei vLLM: --max-num-seqs 64 → 32
4. Memory-bounded KV-Cache nutzen – VLLM: --gpu-memory-utilization 0.85

Problem 3: Modell läuft, aber extrem langsam (Swap thrashing)

Symptom: Antworten kommen, aber eine einzige Frage braucht 5+ Minuten. Die GPU-Auslastung in nvidia-smi schwankt zwischen 0% und 100%. Festplattenaktivität ist hoch.

Diagnose: Das Modell passt nicht vollständig in den VRAM. Ollama oder vLLM swapped auf CPU-RAM oder Disk.

# Prüfen, ob GPU wirklich genutzt wird
nvidia-smi | grep "MiB"

# Ollama CPU/GPU-Modus prüfen
ollama show <modellname>

Lösung:

1. CPU-Offloading deaktivieren für kleine Modelle: OLLAMA_NUM_GPU=99 (alle Layer auf GPU)
2. Oder CPU-Offloading optimieren für zu große Modelle: OLLAMA_NUM_GPU=20 (20 Layer auf GPU, Rest CPU)
3. Kompakteres Modell wählen – z. B. Qwen2.5-7B-Q4 statt Llama-3-70B-FP16

Problem 4: Ollama startet, aber GPU wird nicht genutzt

Symptom: nvidia-smi zeigt 0% GPU-Auslastung, das Modell läuft aber auf CPU (100% CPU).

Diagnose: Ollama findet die NVIDIA-Treiber nicht oder die CUDA-Version ist inkompatibel.

# Prüfen, ob CUDA verfügbar ist
ollama run llama3.2 --verbose 2>&1 | grep -i cuda

Lösung:

1. nvidia-smi aufrufen – wenn Fehler: Treiber neu installieren
2. nvcc --version – CUDA-Toolkit muss zu Treiber-Version passen
3. Container-Neustart: docker compose down && docker compose up -d
4. Bei Docker: --gpus all Flag nicht vergessen

Problem 5: Mehrere Modelle gleichzeitig laufen nicht

Symptom: Sie wollen zwei verschiedene Modelle parallel nutzen (z. B. ein Chat-Modell und ein Embedding-Modell). Das zweite startet nicht.

Diagnose: Der VRAM reicht für beide Modelle nicht gleichzeitig aus.

# Aktuelle VRAM-Belegung prüfen
nvidia-smi --query-gpu=memory.used,memory.total --format=csv

Lösung:

1. Modelle nacheinander laden – Ollama entlädt ungenutzte Modelle automatisch nach Keep-Alive-Ablauf
2. Ollama in Docker mit GPU-Memory-Limit – --memory-reservation="8g" --memory="12g"
3. Zwei GPUs nutzen – Ein Modell pro GPU (Multi-GPU-Setup)
4. API-Gateway mit Model-Routing – LiteLLM verteilt Anfragen auf verschiedene Backends

Problem 6: Grafische Anwendungen und KI-Inference konkurrieren um VRAM

Symptom: Eine KI-Anwendung läuft, aber sobald jemand eine Remote-Desktop-Session öffnet oder eine Desktop-Anwendung startet, stürzt der KI-Dienst ab.

Diagnose: Desktop-Umgebungen und Monitore belegen VRAM. Gerade bei 12-GB-GPUs bleibt dann wenig für KI.

# VRAM-Verbrauch nach Prozess
nvidia-smi pmon -c 1

Lösung:

1. Headless-Betrieb – KI-Server ohne GUI, nur via SSH/API
2. Dedizierte KI-GPU – Zweite GPU nur für Inference (z. B. GTX 1650 für Desktop, RTX 3090 für KI)
3. GPU-Partitioning – NVIDIA MIG (nur A100/H100) oder GPU-Zuteilung via Docker --gpus '"device=0"'

Problem 7: VRAM-Speicherleck – Nutzung steigt kontinuierlich

Symptom: Der VRAM-Verbrauch steigt über Stunden kontinuierlich, bis der Dienst abstürzt. Ein Neustart hilft kurz.

Diagnose: Speicherleck in der Inference-Software oder im Modell.

# VRAM-Verlauf über Zeit beobachten
watch -n 10 nvidia-smi --query-gpu=memory.used --format=csv

Lösung:

1. Keep-Alive auf 0 setzen – OLLAMA_KEEP_ALIVE=0, Modell nach jeder Anfrage entladen
2. Ollama aktualisieren – ollama update (Speicherlecks werden oft in neuen Versionen gefixt)
3. Inference-Engine wechseln – Von Ollama zu vLLM oder umgekehrt
4. Container regelmäßig neustarten – Cron-Job: docker restart ollama (alle 24h)

2. VRAM-Diagnose: So finden Sie die Ursache

Bevor Sie etwas ändern: Messen Sie den Ist-Zustand.

# Basis-Diagnose
nvidia-smi                                 # VRAM-Gesamt, belegt, Prozesse
ollama ps                                  # Aktive Modelle mit VRAM-Verbrauch
nvidia-smi --query-gpu=memory.used,memory.total,utilization.gpu,utilization.memory --format=csv -l 5  # Live-Tracking alle 5s

# Erweiterte Diagnose (nur mit CUDA Toolkit)
nvidia-smi pmon -c 1                       # Prozess-Monitoring
nvidia-smi dmon -c 10                      # Device-Monitoring über 10 Sekunden

Schnell-Check: Passt Ihr Modell in Ihre GPU?

Achtung: Die Werte sind Modellgewichte + KV-Cache (bei 4K Kontext). Bei langen Kontexten oder vielen parallelen Anfragen erhöht sich der Bedarf um 20–50%.

3. Kostenvergleich: VRAM-Problemlösungen im Überblick

4. DSGVO-Bewertung

VRAM-Probleme führen oft zu Workarounds, die datenschutzrechtliche Implikationen haben:

• CPU-Offloading auf RAM/Disk: Die Daten verlassen den Server nicht. Bei On-Premise-Betrieb auf eigenen Servern in Deutschland ist das DSGVO-konform. Keine Zertifizierung nötig.

• GPU-Cloud / GPU-Mieten: Sobald Inference in einer Cloud läuft, muss der Anbieter Auftragsverarbeitung (AVV) nach Art. 28 DSGVO anbieten. Wichtig: Nur GPU-Miete ohne Modell-Transfer (Inference on demand) ≠ Cloud-Betrieb mit Datenübertragung. AVV erforderlich.

• GPU-Aufrüstung / Zweite GPU: Bleiben die Daten im Unternehmen? Dann keine DSGVO-Probleme. Einzige Ausnahme: Die neue GPU wird im EU-Ausland (z. B. USA) beschafft – dann gelten Export-Kontrollen für Hard- und Software.

• Quantisierung: Reduziert die Modellqualität minimal, aber die Daten bleiben lokal. DSGVO-konform.

Empfehlung für den Mittelstand: VRAM-Probleme sollten immer zuerst durch Software-Optimierung gelöst werden (Quantisierung, CPU-Offloading, Context-Reduzierung). Erst wenn das nicht reicht, in Hardware investieren. Hardware-Kauf (eigene GPU) ist DSGVO-technisch immer sicherer als GPU-Miete in der Cloud – und auf 3 Jahre gerechnet meist günstiger.

5. Entscheidungsmatrix: Welche Lösung passt zu Ihnen?

6. FAQ

Was ist der schnellste Fix für "CUDA out of memory"?

Quantisierung. Laden Sie die Q4- oder Q8-Version Ihres Modells statt der FP16-Version. Das reduziert den VRAM-Bedarf um 50–75%. Ollama lädt standardmäßig quantisierte Modelle – prüfen Sie mit ollama show <name>, welche Quantisierung aktiv ist.

Kann ich VRAM nachträglich aufrüsten?

Nein, VRAM ist auf der GPU fest verlötet. Es gibt keine Steckplätze für nachträgliche Erweiterung. Die einzigen Optionen sind: GPU tauschen, CPU-Offloading, Quantisierung oder Multi-GPU-Betrieb. Mehr dazu im Artikel VRAM erhöhen für KI: 4 Wege zu mehr GPU-Speicher.

Hilft virtueller GPU-Speicher (Shared Memory) bei KI-Inference?

In der Regel nein. Shared Memory (die GPU leiht sich RAM vom System) ist für KI-Inference zu langsam. Die Latenz ist 10–100× höher als bei echtem VRAM. Nur als temporärer Workaround bis zur Hardware-Aufrüstung geeignet.

Wann brauche ich eine Multi-GPU-Lösung?

Wenn ein Modell mehr VRAM braucht als die größte Einzel-GPU bietet (z. B. 70B+ Modelle) oder wenn Sie mehrere Modelle gleichzeitig betreiben wollen. Ollama und vLLM unterstützen Multi-GPU nativ. Lesen Sie dazu: GPU-Server Vergleich: Mieten oder Kaufen.

Warum reichen 8 GB VRAM nicht für lokale KI?

8 GB VRAM reichen für die meisten 1–3B Modelle in quantisierter Form. Sobald Sie 7B+ Modelle oder längere Kontexte (>8K Token) nutzen, stoßen 8 GB an ihre Grenzen. Empfehlung für den Mittelstand: Mindestens 16 GB, besser 24 GB VRAM. Mehr zur GPU-Wahl: Lokale KI GPU-Wahl 16GB vs 24GB.

Kann ich KI auch ohne GPU betreiben?

Ja, aber deutlich langsamer. CPU-Inference ist für Echtzeitanwendungen (Chat, Assistenz) meist nicht praktikabel. Für Batch-Verarbeitung (nächtliche Dokumentenanalyse) ist CPU-Inference aber eine valide Option. Lesen Sie: KI-On-Premise Einstieg.

Welche GPU sollte ich für einen Mittelstands-KI-Server kaufen?

Stand 2026: Die RTX 3090 (gebraucht ~800 €, 24 GB VRAM) ist das optimale Preis-Leistungs-Verhältnis. Für kleinere Teams reicht eine RTX 4060 Ti (16 GB) für ca. 500 €. Empfehlung: GPU-Server-Vergleich Mieten oder Kaufen 2026.

7. Quellen

1. NVIDIA CUDA Out of Memory Guide – docs.nvidia.com
2. Ollama Troubleshooting – github.com/ollama
3. BentoML - GPU Memory und LLM Inference – bentoml.com
4. Spheron - AI Memory Wall Problem – spheron.network
5. VRAM erhöhen für KI – ki-mittelstand.eu
6. GPU-Server Vergleich Mieten oder Kaufen – ki-mittelstand.eu
7. Lokale KI GPU-Wahl – ki-mittelstand.eu
8. KI-On-Premise Einstieg – ki-mittelstand.eu