Published on

Ollama Docker installieren: Compose-Setup 2026

Authors

Ollama mit Docker aufsetzen — containerisierte KI-Installation

Ollama kann nicht nur auf Linux oder Windows direkt installiert werden — es läuft auch in einem Docker-Container. Das bietet Vorteile bei Portabilität, Isolierung und Deployment.

Warum Ollama in Docker?

  • Isolierung — Kein Konflikt mit bestehenden System-Paketen
  • Reproduzierbarkeit — Exakt dieselbe Umgebung auf jedem System
  • Einfaches Update — docker pull aktualisiert Ollama
  • Multi-Plattform — Läuft auf Linux, Windows und macOS
  • Docker-Compose — Einfaches Management mehrerer Container

Installation Schritt für Schritt

Voraussetzungen

Ollama Docker-Image pullen

docker pull ollama/ollama

Ollama Container starten

docker run -d -v ollama:/root/.ollama --name ollama --gpus all ollama/ollama
  • -d: Detachiert (im Hintergrund)
  • -v ollama:/root/.ollama: Persistenter Volume für Modelle
  • --gpus all: GPU-Zugriff (Linux mit NVIDIA Driver)

Ollama mit Docker-Compose

Erstellen Sie eine docker-compose.yml:

services:
  ollama:
    image: ollama/ollama
    volumes:
      - ollama:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    restart: unless-stopped

volumes:
  ollama:

Starten mit docker compose up -d.

Modelle installieren

Nach der Installation:

# Modell in Container ziehen
docker exec -it ollama ollama pull llama3

# Modell auflisten
docker exec -it ollama ollama list

Ollama Docker auf Windows

Auf Windows:

  1. Docker Desktop installieren
  2. WSL2 mit Linux-Distro konfigurieren
  3. NVIDIA Container Toolkit für WSL2 einrichten
  4. Docker-Compose wie oben verwenden

Ob Sie Ollama nativ unter Windows oder erst in WSL2 in den Container heben, klärt Ollama Windows GPU: nativ oder WSL2.

Ollama Docker auf macOS

Auf macOS:

  1. Docker Desktop installieren
  2. Kein GPU-Unterstützung (Apple Silicon läuft auf CPU)
  3. Docker-Compose funktioniert wie auf Linux

Fazit: Docker ist die produktivste Option

Für den produktiven Betrieb ist Ollama in Docker die stabilste und wartbarste Lösung. Die Containerisierung vereinfacht Updates, Backups und den Betrieb auf mehreren Servern. Das Image ziehen Sie wie in Ollama Update, das Volume mit den Modellen bleibt. Home Assistant spricht denselben gemappten Port 11434 als externen Server an; Ablauf in Ollama Home Assistant.

📖 Verwandte Artikel

Weitere interessante Beiträge zu ähnlichen Themen