KI-Server-Modell-Update: Neue LLM-Versionen deployen

Blue (aktuell)  →  Green (neu)
     │                │
  Produktiv     Vorbereiten + Test
     │                │
     └── Switch ──────┘
          │
     Blue (archive)

95% Traffic → Blue (aktuell)
5% Traffic  → Green (neu)
              │
         Wenn OK: 100% auf Green
         Wenn Nein: 100% auf Blue

#!/bin/bash
# deploy-model.sh

MODEL_NAME="llama3.3:70b"
OLD_MODEL="llama3.1:70b"

# 1. Neues Modell herunterladen
echo "Downloading $MODEL_NAME..."
ollama pull $MODEL_NAME

# 2. In Docker Compose aktualisieren
sed -i "s/$OLD_MODEL/$MODEL_NAME/g" docker-compose.yml

# 3. Container neu starten (Zero-Downtime)
docker compose up -d --no-deps llm

# 4. Health-Check
sleep 30
curl -s http://localhost:8000/health || {
    echo "ERROR: Health check failed! Rolling back..."
    docker compose down
    docker compose up -d  # Rollback
    exit 1
}

echo "SUCCESS: $MODEL_NAME deployed"