Ollama Docker aufsetzen — Containerisierte KI-Installation

Ollama mit Docker aufsetzen — containerisierte KI-Installation

Ollama kann nicht nur auf Linux oder Windows direkt installiert werden — es läuft auch in einem Docker-Container. Das bietet Vorteile bei Portabilität, Isolierung und Deployment.

Warum Ollama in Docker?

• Isolierung — Kein Konflikt mit bestehenden System-Paketen
• Reproduzierbarkeit — Exakt dieselbe Umgebung auf jedem System
• Einfaches Update — docker pull aktualisiert Ollama
• Multi-Plattform — Läuft auf Linux, Windows und macOS
• Docker-Compose — Einfaches Management mehrerer Container

Installation Schritt für Schritt

Voraussetzungen

• Docker und Docker-Compose installiert
• GPU-Treiber installiert (Linux: NVIDIA Container Toolkit)

Ollama Docker-Image pullen

docker pull ollama/ollama

Ollama Container starten

docker run -d -v ollama:/root/.ollama --name ollama --gpus all ollama/ollama

• -d: Detachiert (im Hintergrund)
• -v ollama:/root/.ollama: Persistenter Volume für Modelle
• --gpus all: GPU-Zugriff (Linux mit NVIDIA Driver)

Ollama mit Docker-Compose

Erstellen Sie eine docker-compose.yml:

services:
  ollama:
    image: ollama/ollama
    volumes:
      - ollama:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    restart: unless-stopped

volumes:
  ollama:

Starten mit docker compose up -d.

Modelle installieren

Nach der Installation:

# Modell in Container ziehen
docker exec -it ollama ollama pull llama3

# Modell auflisten
docker exec -it ollama ollama list

Ollama Docker auf Windows

Auf Windows:

1. Docker Desktop installieren
2. WSL2 mit Linux-Distro konfigurieren
3. NVIDIA Container Toolkit für WSL2 einrichten
4. Docker-Compose wie oben verwenden

Ollama Docker auf macOS

Auf macOS:

1. Docker Desktop installieren
2. Kein GPU-Unterstützung (Apple Silicon läuft auf CPU)
3. Docker-Compose funktioniert wie auf Linux

Fazit: Docker ist die produktivste Option

Für den produktiven Betrieb ist Ollama in Docker die stabilste und wartbarste Lösung. Die Containerisierung vereinfacht Updates, Backups und den Betrieb auf mehreren Servern.