KI-Server-Sicherheit: Hardening für LLM-Deployments

KI-Server absichern: Die wichtigsten Maßnahmen

Ein KI-Server enthält wertvollste Daten — er muss genauso abgesichert werden wie jeder andere Server im Unternehmen.

1. SSH-Hardening

# /etc/ssh/sshd_config
PermitRootLogin no
PasswordAuthentication no
PubkeyAuthentication only
AllowUsers admin
MaxAuthTries 3

2. Firewall (UFW)

# Firewall aktivieren
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp  # SSH
sudo ufw allow 8000/tcp # vLLM API
sudo ufw allow 3000/tcp # Open WebUI
sudo ufw enable

3. Docker-Security

# docker-compose.yml: Nicht-root Benutzer
services:
  llm:
    user: "1000:1000"
    read_only: true
    security_opt:
      - no-new-privileges:true
    volumes:
      - ./models:/models:ro

4. Network Segmentation

KI-Server (10.0.0.10)
├── SSH: Nur aus 10.0.0.0/24
├── API: Nur aus 10.0.0.0/24
├── WebUI: Optional öffentlich (Auth!)
└── Keine Internet-Connectivity nötig

5. Backup-Strategie

|| Was | Wie oft | Wo | Verschlüsselt | ||---|---|---|---| || Vektordatenbank | Täglich | NAS | Ja (AES-256) | || Modelle | Wöchentlich | External Drive | Nein (öffentlich) | || Konfiguration | Täglich | Git Repo | Ja |

6. Monitoring

# Unusual login detection
sudo journalctl -u sshd --since "1 hour ago" | grep "Failed"

# Network connection monitoring
sudo ss -tunap | grep ESTAB

Checkliste für den produktiven KI-Server

• SSH: Key-basiert, Root-Login deaktiviert
• Firewall: UFW aktiv, nur benötigte Ports
• Docker: Non-root user, read-only filesystem
• Updates: Monatlich apt update && upgrade
• Backup: Täglich, verschlüsselt, getestet
• Monitoring: Prometheus + Grafana
• Logging: Alle Zugriffe protokolliert

Fazit

KI-Server sind keine Spielwiesen — sie enthalten wertvollste Firmendaten. Die oben genannten Maßnahmen kosten ~2h Initialaufwand, schützen aber Ihre Daten für Jahre.

👉 DSGVO-Compliance-Check: Kostenlos 👉 Pexon Consulting: IT-Security