- Published on
Ollama Docker installieren: Compose-Setup 2026
- Authors

- Name
- Phillip Pham
- @ddppham
Ollama mit Docker aufsetzen — containerisierte KI-Installation
Ollama kann nicht nur auf Linux oder Windows direkt installiert werden — es läuft auch in einem Docker-Container. Das bietet Vorteile bei Portabilität, Isolierung und Deployment.
Warum Ollama in Docker?
- Isolierung — Kein Konflikt mit bestehenden System-Paketen
- Reproduzierbarkeit — Exakt dieselbe Umgebung auf jedem System
- Einfaches Update —
docker pullaktualisiert Ollama - Multi-Plattform — Läuft auf Linux, Windows und macOS
- Docker-Compose — Einfaches Management mehrerer Container
Installation Schritt für Schritt
Voraussetzungen
- Docker und Docker-Compose installiert
- GPU-Treiber installiert, danach das NVIDIA Container Toolkit
Ollama Docker-Image pullen
docker pull ollama/ollama
Ollama Container starten
docker run -d -v ollama:/root/.ollama --name ollama --gpus all ollama/ollama
-d: Detachiert (im Hintergrund)-v ollama:/root/.ollama: Persistenter Volume für Modelle--gpus all: GPU-Zugriff (Linux mit NVIDIA Driver)
Ollama mit Docker-Compose
Erstellen Sie eine docker-compose.yml:
services:
ollama:
image: ollama/ollama
volumes:
- ollama:/root/.ollama
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
restart: unless-stopped
volumes:
ollama:
Starten mit docker compose up -d.
Modelle installieren
Nach der Installation:
# Modell in Container ziehen
docker exec -it ollama ollama pull llama3
# Modell auflisten
docker exec -it ollama ollama list
Ollama Docker auf Windows
Auf Windows:
- Docker Desktop installieren
- WSL2 mit Linux-Distro konfigurieren
- NVIDIA Container Toolkit für WSL2 einrichten
- Docker-Compose wie oben verwenden
Ob Sie Ollama nativ unter Windows oder erst in WSL2 in den Container heben, klärt Ollama Windows GPU: nativ oder WSL2.
Ollama Docker auf macOS
Auf macOS:
- Docker Desktop installieren
- Kein GPU-Unterstützung (Apple Silicon läuft auf CPU)
- Docker-Compose funktioniert wie auf Linux
Fazit: Docker ist die produktivste Option
Für den produktiven Betrieb ist Ollama in Docker die stabilste und wartbarste Lösung. Die Containerisierung vereinfacht Updates, Backups und den Betrieb auf mehreren Servern. Das Image ziehen Sie wie in Ollama Update, das Volume mit den Modellen bleibt. Home Assistant spricht denselben gemappten Port 11434 als externen Server an; Ablauf in Ollama Home Assistant.
📖 Verwandte Artikel
Weitere interessante Beiträge zu ähnlichen Themen
KI-Server-Docker: Containerisierung für LLM-Pipelines
KI-Server mit Docker und Docker Compose: LLM, Vektordatenbank und Frontend in Containern — reproduzierbar, skalierbar und einfach zu warten.
NVIDIA Container Toolkit: GPU in Docker
Der Treiber macht nvidia-smi auf dem Host. Erst das Container Toolkit reicht die GPU an Docker durch. Ohne nvidia-ctk sieht der Container keine Karte.
Ollama auf Synology NAS: Docker Setup in 30 Min
Ollama auf Synology NAS via Docker installieren in 30 Minuten. Phi-3 antwortet in 3-8 Sek., 7B-Modelle ab 16 GB RAM. Ohne Cloud.
Bereit für KI im Mittelstand?
Nutzen Sie unsere 10 kostenlosen KI-Tools und Praxis-Guides – oder sprechen Sie direkt mit unseren Experten.
Pexon Consulting – KI-Beratung für den Mittelstand | Scaly Academy – Geförderte KI-Weiterbildung (KI-Spezialist, KI-Experte, Workflow-Automatisierung)