NVIDIA-Treiber & CUDA installieren: Das komplette GPU-Setup 2026

Kurzantwort: NVIDIA-Treiber und CUDA in 30 Minuten installieren

Auf einem KI-Server mit Ubuntu 24.04 lassen sich NVIDIA-Treiber und CUDA in 30-60 Minuten einrichten: Treiber aus dem Ubuntu-Repository installieren (nvidia-driver-550), mit nvidia-smi verifizieren, dann das CUDA-Toolkit für vLLM und Training nachrüsten. Die zwei häufigsten Fehler: Secure Boot blockiert die Treiber-Signierung, und die Treiber-Version passt nicht zur CUDA-Version. Mit dieser Anleitung und der Fehlerbehebung unten gelingt das Setup auch ohne tiefe Linux-Erfahrung.

Dieser Beitrag ist die praktische Anleitung für IT-Verantwortliche im Mittelstand — mit allen Kommandos, den Versionstabelle und den typischen Fallstricken.

Voraussetzungen

Die passende Hardware: KI-Server kaufen: Hardware-Guide und VRAM-Rechner für KI-Modelle.

Schritt 1: NVIDIA-Treiber installieren

Der einfachste Weg führt über das Ubuntu-Repository — keine manuellen Downloads, automatische Updates:

# System aktualisieren
sudo apt update && sudo apt upgrade -y

# Verfügbare Treiber prüfen
ubuntu-drivers devices

# Empfohlenen Treiber installieren (oder explizit nvidia-driver-550)
sudo apt install -y nvidia-driver-550
sudo reboot

Nach dem Neustart prüfen:

nvidia-smi

Die Ausgabe zeigt GPU-Modell, Treiber-Version und CUDA-Version. Beispiel:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 550.120    Driver Version: 550.120    CUDA Version: 12.4         |
+-----------------------------------------------------------------------------+
|   0  NVIDIA GeForce RTX 4090           On |   00000000:01:00.0 Off |                 0 |

Wenn nvidia-smi einen Fehler meldet, springt zur Fehlerbehebung.

Schritt 2: CUDA-Toolkit installieren

Das CUDA-Toolkit wird für vLLM, Training und manche Inferenz-Tools benötigt. Ollama bringt seine eigene Laufzeit mit und braucht kein CUDA-Toolkit.

# CUDA-Toolkit aus dem Ubuntu-Repository (einfachste Variante)
sudo apt install -y nvidia-cuda-toolkit

# Verifizieren
nvcc --version

Für die aktuellste CUDA-Version (z. B. 12.8) direkt von NVIDIA:

# NVIDIA CUDA-Repository hinzufügen (Ubuntu 24.04)
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
sudo apt install -y cuda

Wichtig: CUDA-Version und Treiber-Version müssen zusammenpassen. Die Tabelle in Schritt 3 zeigt die Kombinationen.

Schritt 3: Versionen abstimmen

Die Treiber-Version bestimmt, welche CUDA-Versionen unterstützt werden. Die Kompatibilitätstabelle (Stand 2026):

Faustregel: Den neuesten stabilen Treiber aus dem Ubuntu-Repository nehmen (550+). Nur bei sehr neuen GPUs (B100, H200) die NVIDIA-Direct-Variante.

Schritt 4: GPU-Test mit einem KI-Modell

Nach Treiber + CUDA den kompletten Stack testen:

# Ollama installieren (bringt eigene CUDA-Laufzeit mit)
curl -fsSL https://ollama.com/install.sh | sh

# Modell laden und testen
ollama pull llama3.1:8b
ollama run llama3.1:8b "Test auf Deutsch"

Für vLLM (Produktion):

# Python-Umgebung
python3 -m venv /opt/vllm
source /opt/vllm/bin/activate
pip install vllm

# GPU-Auslastung prüfen
nvidia-smi

Die Engine-Wahl: Ollama vs. vLLM vs. LM Studio und der Durchsatz-Benchmark.

Secure Boot: Der häufigste Stolperstein

Secure Boot blockiert unsignierte NVIDIA-Treiber. Zwei Lösungen:

Option A: Secure Boot deaktivieren (einfach, für interne Server)

# Im BIOS/UEFI: Secure Boot auf Disabled setzen
# Dann Treiber neu installieren
sudo apt install --reinstall nvidia-driver-550
sudo reboot

Option B: Treiber signieren (für Systeme, die Secure Boot brauchen)

Beim ersten Treiber-Laden fragt Ubuntu nach einem MOK (Machine Owner Key) Passwort. Diesen Prozess durchlaufen:

1. Treiber-Installation startet und fragt nach MOK-Passwort
2. Passwort setzen, Neustart
3. Im blauen MOK-Manager "Enroll MOK" wählen
4. Passwort eingeben, bestätigen

Nach dem zweiten Neustart ist der Treiber geladen.

Fehlerbehebung

Die GPU-Temperatur- und Last-Überwachung nach dem Setup: Prometheus + Grafana + DCGM.

Der komplette KI-Server-Stack danach

Nach Treiber + CUDA ist der Weg frei für den vollen Stack. Die Reihenfolge:

1. Treiber + CUDA (dieser Leitfaden)
2. Ollama oder vLLM — Modell-Server einrichten
3. Open WebUI — Chat-Oberfläche installieren
4. Docker — Containerisierung
5. Monitoring — Grafana + DCGM

Die komplette Server-Konfiguration inklusive Netzwerk und Firewall: KI-Server konfigurieren.

FAQ

Wie installiere ich NVIDIA-Treiber auf Ubuntu?

sudo apt install -y nvidia-driver-550 (oder die empfohlene Version aus ubuntu-drivers devices), dann neu starten und mit nvidia-smi prüfen. Bei Secure Boot den MOK-Prozess durchlaufen.

Was ist der Unterschied zwischen Treiber und CUDA?

Der Treiber steuert die GPU-Hardware (nvidia-smi). CUDA ist die Programmier-Plattform für GPU-Berechnungen — nötig für vLLM, Training und eigene KI-Anwendungen. Ollama bringt eine eigene Laufzeit mit und braucht kein CUDA-Toolkit.

Brauche ich CUDA für Ollama?

Nein. Ollama nutzt eine eigene, gebündelte CUDA-Laufzeit. CUDA-Toolkit wird nur für vLLM, Training (z. B. LoRA) und eigene CUDA-Programme benötigt.

Was bedeutet "NVIDIA driver version mismatch"?

Treiber und CUDA-Toolkit passen nicht zusammen. Jede Treiber-Version unterstützt bestimmte CUDA-Versionen (z. B. Treiber 550 → CUDA 12.4). Treiber aktualisieren oder CUDA-Version anpassen.

Wie teste ich, ob meine GPU funktioniert?

nvidia-smi zeigt GPU, Treiber und CUDA-Version. Für den Lasttest gpu-burn installieren und 10-30 Minuten laufen lassen — Temperaturen unter 85°C und keine Fehler sind das Ziel.

Secure Boot blockiert den Treiber — was tun?

Entweder Secure Boot im BIOS deaktivieren (einfach, für interne Server) oder den MOK-Prozess durchlaufen: Treiber-Installation fragt nach MOK-Passwort, nach dem Neustart im MOK-Manager den Schlüssel eintragen.