KI-Server konfigurieren: Die Schritt-für-Schritt-Anleitung 2026

Kurzantwort: KI-Server in 6 Schritten konfigurieren

Einen KI-Server zu konfigurieren dauert mit dieser Anleitung einen Arbeitstag: Ubuntu 24.04 installieren, NVIDIA-Treiber und CUDA einrichten, Ollama oder vLLM als Modell-Server installieren, ein Modell laden, Open WebUI als Benutzeroberfläche aufsetzen und Monitoring aktivieren. Die Grundkonfiguration kostet kein Geld (alles Open Source) und funktioniert auf jeder GPU-Hardware ab einer RTX 4090. Nach Schritt 6 können die ersten Mitarbeiter den Server produktiv nutzen.

Dieser Beitrag ist die praktische Anleitung für IT-Verantwortliche im Mittelstand — ohne Vorwissen vorauszusetzen, aber mit allen Kommandos und Fallstricken.

Voraussetzungen: Was Sie brauchen

Die Hardware-Wahl ist die halbe Miete: KI-Server kaufen: Der Leitfaden 2026 und der Hardware-Guide helfen bei der Auswahl.

Schritt 1: Ubuntu Server installieren

Die Basis für jeden KI-Server ist ein sauberes Linux. Ubuntu Server 24.04 LTS ist die Standardwahl, weil Treiber und Tools am besten unterstützt werden.

1. Ubuntu Server 24.04 ISO herunterladen und auf USB-Stick schreiben
2. Installation mit LVM oder ZFS (empfohlen für Snapshots)
3. SSH-Server während der Installation aktivieren
4. System aktualisieren: sudo apt update && sudo apt upgrade -y
5. Hostname setzen: sudo hostnamectl set-hostname ki-server

Wichtiger Hinweis: Die SSD-Aufteilung für Modelle einplanen — ein 70B-Modell braucht 40-150 GB. Die Storage-Strategien für KI-Server helfen bei der Planung.

Schritt 2: NVIDIA-Treiber und CUDA einrichten

Ohne korrekte GPU-Treiber passiert nichts. Der sauberste Weg auf Ubuntu:

# NVIDIA-Treiber installieren (empfohlen: 550+)
sudo apt install -y nvidia-driver-550
sudo reboot

# Prüfen, ob die GPU erkannt wird
nvidia-smi

# CUDA-Toolkit (für vLLM und Training)
sudo apt install -y nvidia-cuda-toolkit

Fallstrick: Nach dem Treiber-Installation nvidia-smi prüfen. Wenn kein Treiber geladen ist, Secure Boot deaktivieren oder die Treiber signieren. Die GPU-Treiber-Probleme sind der häufigste Grund für hängende KI-Server-Setups.

Schritt 3: Modell-Server installieren (Ollama oder vLLM)

Für den Start ist Ollama am einfachsten, für Produktions-Durchsatz vLLM. Beide lassen sich parallel betreiben.

Ollama (einfacher Einstieg)

curl -fsSL https://ollama.com/install.sh | sh

# Modell laden und testen
ollama pull llama3.1:8b
ollama run llama3.1:8b "Was ist ein KI-Server?"

vLLM (Produktions-Durchsatz)

# Python-Umgebung
sudo apt install -y python3-venv python3-pip
python3 -m venv /opt/vllm
source /opt/vllm/bin/activate

# vLLM installieren
pip install vllm

# Server starten (OpenAI-kompatible API)
vllm serve meta-llama/Llama-3.3-70B-Instruct --gpu-memory-utilization 0.9

Der Vergleich der Engines: Ollama vs. vLLM vs. LM Studio und der Durchsatz-Benchmark. Die ausführliche vLLM-Anleitung: vLLM-Server für den Mittelstand.

Schritt 4: Open WebUI als Benutzeroberfläche

Die Mitarbeiter sollen nicht in der Kommandozeile arbeiten. Open WebUI ist die Standard-Chat-Oberfläche:

# Docker installieren (falls noch nicht vorhanden)
curl -fsSL https://get.docker.com | sh

# Open WebUI starten
docker run -d -p 3000:8080 \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://localhost:11434 \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Danach ist die Oberfläche unter http://<server-ip>:3000 erreichbar. Die vollständige Anleitung: Open WebUI mit Docker installieren.

Schritt 5: Netzwerk, Firewall und Zugriffssicherung

Ein KI-Server ist ein Server mit sensiblen Daten — die Absicherung gehört zur Konfiguration:

# Firewall: Nur SSH und Open WebUI freigeben
sudo ufw allow 22/tcp
sudo ufw allow 3000/tcp
sudo ufw enable

# Reverse-Proxy mit HTTPS (empfohlen)
# Caddy oder Nginx vor Open WebUI setzen

Der komplette Hardening-Leitfaden für LLM-Deployments beschreibt Firewall, API-Absicherung, Benutzerverwaltung und Updates. Wer mehrere Modelle über eine API bereitstellt, nutzt einen Load Balancer oder LiteLLM als Gateway.

Schritt 6: Monitoring und Betrieb

Ohne Monitoring ist der KI-Server ein Blindflug. Die Standard-Kombination:

1. Prometheus + Grafana + DCGM: GPU-Auslastung, Temperatur, VRAM, Token-Durchsatz. Anleitung: KI-Server-Monitoring.
2. Langfuse (optional): LLM-Tracing für Qualität und Kosten je Anfrage. Anleitung: Langfuse Self-Hosted.
3. Backup-Routine: Modelle und Vektordatenbanken regelmäßig sichern. Strategien: Backup für Vektordatenbanken.

Die laufende Wartung (Updates, Logs, Temperatur-Checks) gehört zum Betrieb: KI-Server-Wartung mit Linux.

Erweiterte Konfiguration: Was nach der Grundkonfiguration kommt

Typische Fehler bei der Konfiguration

1. Secure Boot blockiert Treiber: NVIDIA-Treiber laden nicht → Secure Boot deaktivieren oder Treiber signieren.
2. Falsche GPU-Nutzung: vLLM mit --gpu-memory-utilization 0.9 statt Default — sonst bleibt VRAM ungenutzt.
3. Swap statt VRAM: Große Modelle auf den Swap zu schieben, macht den Server unbrauchbar langsam. Lieber ein kleineres Modell wählen.
4. Offene Ports: Ollama lauscht standardmäßig auf 11434 ohne Auth — Firewall vor dem Internet-Zugriff schließen.
5. Kein Backup: Nach der Konfiguration sofort die Backup-Strategie einrichten.

FAQ

Wie konfiguriere ich einen KI-Server?

In 6 Schritten: Ubuntu 24.04 installieren, NVIDIA-Treiber einrichten, Ollama oder vLLM installieren, Modell laden, Open WebUI aufsetzen, Monitoring aktivieren. Die komplette Anleitung mit allen Kommandos steht in diesem Beitrag.

Was kostet die Konfiguration eines KI-Servers?

Die Software ist komplett Open Source (Ollama, vLLM, Open WebUI, Prometheus, Grafana). Es fallen nur Arbeitszeit an: 4-8 Stunden für die Grundkonfiguration, etwa 2-4 Stunden/Monat für Wartung. Alternativ übernimmt ein managed KI-Server die Konfiguration gegen Monatspauschale.

Welches Betriebssystem für einen KI-Server?

Ubuntu Server 24.04 LTS ist die Standardwahl — beste Treiber-Unterstützung, größte Community, alle KI-Tools getestet. Andere Distributionen funktionieren, bringen aber mehr Konfigurationsaufwand.

Ollama oder vLLM: Was soll ich installieren?

Ollama für den schnellen Start und wenige Nutzer, vLLM für Produktions-Durchsatz mit vielen parallelen Requests. Beide können parallel laufen: Ollama für Tests, vLLM für den produktiven Betrieb.

Wie sichere ich meinen KI-Server ab?

Firewall nur für SSH und das Web-Frontend öffnen, HTTPS per Reverse-Proxy, API-Ports nicht ins Internet exponieren, Updates regelmäßig einspielen, Benutzerverwaltung aktivieren. Der Hardening-Leitfaden deckt alle Punkte ab.

Wie lange dauert die Konfiguration?

Die Grundkonfiguration (Schritte 1-6) dauert mit dieser Anleitung 4-8 Stunden. Danach ist der Server produktiv nutzbar. Erweiterungen wie RAG oder Cluster-Ausbau kommen je nach Komplexität mit 1-3 Tagen dazu.